Chuyển tới nội dung chính

Quản trị hành vi Agent (Agent Governance)

Trạng thái

Owner: Tech lead · Trạng thái: draft · Nguồn chuẩn: flezi.app.ai.agent/docs/governance/agt-policy-overview.md

Tài liệu này giải thích các cơ chế kỹ thuật bảo đảm an toàn cho các tác nhân AI tự trị, ngăn chặn hành vi rò rỉ dữ liệu hoặc thực thi các thao tác phá hoại thông qua hệ thống AGT Policy và ToolGuard.

Lớp bảo vệ ToolGuard​

Khi một Agent quyết định gọi một công cụ (Tool Call), lệnh gọi đó không được thực thi ngay mà phải vượt qua lớp kiểm duyệt độc lập ToolGuard:

Kiểm soát tham số động (Dynamic Parameter Guard)​

ToolGuard hỗ trợ regex và JSON schema validation trên từng tham số:

  • Ngăn chặn SQL Injection trong các công cụ query database.
  • Ngăn chặn Path Traversal (../) trong các công cụ đọc/ghi tệp tin sandbox.
  • Ngăn chặn lệnh shell nguy hiểm (rm -rf, mkfs, fork bomb).

Kiểm soát hiện có​

  • Chính sách AGT Policy YAML được validate bởi thư viện agent-governance-toolkit==4.1.0.
  • Cơ chế Human-in-the-loop (HITL) bắt buộc cho mọi thao tác có khả năng gây thiệt hại dữ liệu hoặc tài chính.

Bằng chứng (file / config)​

  • flezi.app.ai.agent/app/governance/
  • flezi.app.api.backend/app/features/policies/validator.py

Hạn chế & roadmap​

  • Tích hợp thêm AI Guardrails phát hiện prompt injection từ dữ liệu đầu vào người dùng trước khi chuyển tới mô hình.