Segurança em agentes de IA.
Agentes de IA podem consultar dados e acionar ferramentas. Segurança precisa entrar no desenho da solução, não apenas depois do go-live.
Pilares técnicos
Menor privilégio
Cada agente deve acessar apenas dados e ações necessários para o processo.
Entrada não confiável
Mensagens de usuários e documentos recuperados devem ser tratados como dados, não instruções soberanas.
Ferramentas protegidas
Ações críticas precisam de validação, autorização e aprovação humana.
Auditoria
Toda consulta, decisão relevante e ação executada precisa de rastreabilidade.
Modelo de arquitetura
Autenticação
Identificar usuário, canal, organização e sessão antes de liberar contexto.
Autorização
Aplicar escopos por função, projeto, departamento, tipo de dado e ação.
Validação
Checar entradas, parâmetros, destino e impacto antes de chamar ferramentas.
Monitoramento
Detectar comportamento anormal, custo incomum, vazamento de contexto e falhas repetidas.
Riscos que precisam de controle
Prompt injection
Instruções maliciosas podem tentar substituir regras do agente.
Exposição de dados
RAG e ferramentas mal configuradas podem revelar conteúdo indevido.
Ação indevida
O agente pode executar alteração sensível sem revisão se a arquitetura permitir.
Checklist de implementação
Separar instruções do sistema, dados do usuário e documentos recuperados. · Bloquear ferramentas sensíveis sem aprovação humana. · Registrar uso de ferramentas e dados consultados. · Testar prompt injection, dados incompletos e tentativas de bypass. · Revisar permissões periodicamente.
Referências técnicas
As fontes abaixo ajudam a sustentar os conceitos de arquitetura, segurança, governança e SEO técnico usados neste estudo.
- IBM — guia sobre agentes de IADefinições e aplicações empresariais de agentes de IA.
- AWS — o que são agentes de IAVisão técnica sobre agentes, ambiente, dados e execução de tarefas.
- NIST AI Risk Management FrameworkReferência para gestão de risco, confiabilidade e governança em IA.
- OWASP Top 10 for LLM ApplicationsRiscos de segurança relevantes para aplicações com LLMs e agentes.