ARKGENESYS / Soluções
Segurança em agentes de IA.
Agentes de IA podem consultar dados e acionar ferramentas. Segurança precisa entrar no desenho da solução, não apenas depois do go-live.
Menor privilégio
Cada agente deve acessar apenas dados e ações necessários para o processo.
Entrada não confiável
Mensagens de usuários e documentos recuperados devem ser tratados como dados, não instruções soberanas.
Ferramentas protegidas
Ações críticas precisam de validação, autorização e aprovação humana.
Auditoria
Toda consulta, decisão relevante e ação executada precisa de rastreabilidade.
Autenticação
Identificar usuário, canal, organização e sessão antes de liberar contexto.
Autorização
Aplicar escopos por função, projeto, departamento, tipo de dado e ação.
Validação
Checar entradas, parâmetros, destino e impacto antes de chamar ferramentas.
Monitoramento
Detectar comportamento anormal, custo incomum, vazamento de contexto e falhas repetidas.
Prompt injection
Instruções maliciosas podem tentar substituir regras do agente.
Exposição de dados
RAG e ferramentas mal configuradas podem revelar conteúdo indevido.
Ação indevida
O agente pode executar alteração sensível sem revisão se a arquitetura permitir.
Checklist
Separar instruções do sistema, dados do usuário e documentos recuperados. Bloquear ferramentas sensíveis sem aprovação humana. Registrar uso de ferramentas e dados consultados. Testar prompt injection, dados incompletos e tentativas de bypass. Revisar permissões periodicamente.