Por Hylda Cavalcanti
O Superior Tribunal de Justiça (STJ) determinou, nesta quarta-feira (20/05), a abertura de um inquérito policial e procedimento administrativo para investigar tentativas de fraude processual com uso de comandos ocultos em petições para manipular o sistema de inteligência artificial da Corte.
A prática, conhecida como “prompt injection”, tem sido muito divulgada depois que duas advogadas trabalhistas foram condenadas no Pará e suspensas das suas atividades pela Ordem dos Advogados do Brasil (OAB) por um período de 30 dias, por terem utilizado esse modelo. O prompt injection consiste em inserir instruções invisíveis ao olho humano em documentos judiciais para tentar influenciar respostas geradas por ferramentas de IA.
Petições encontradas na Corte
A decisão se deu depois de técnicos do tribunal identificarem em seu acervo de processos petições com a injeção do comando. Segundo o presidente do STJ, Herman Benjamin, o sistema de IA do tribunal, nomeado como ‘STJ Logos’, foi desenvolvido com mecanismos capazes de bloquear esse tipo de ação. Mesmo assim, o colegiado considera a investigação necessária.
“O STJ Logos já foi desenvolvido com comandos específicos que impedem estas artimanhas de atuar, mas o Tribunal está identificando casos de pessoas que fizeram tentativas para burlar o sistema e seus responsáveis, de forma a permitir eventual aplicação de sanções processuais e responsabilização criminal e administrativa”, frisou Benjamin, durante sessão da Corte Especial.
Registros nos processos
Ficou definido pelos ministros da Corte superior, também, que as tentativas de manipulação foram neutralizadas pelas camadas de segurança do sistema, mas passarão a ser registradas nos autos dos processos.
Conforme informações da área de Tecnologia da Informação (TI) do Tribunal, no caso do STJ Logos, mesmo que o sistema receba petições com as injeções de comando ocultas, camadas de segurança e integridade impedem que essas ordens maliciosas sejam executadas.
Estratégia em três níveis
Isto porque, para mitigar vulnerabilidades como a da injeção de comandos, o STJ Logos adota uma estratégia de defesa estruturada em três níveis complementares.
No primeiro nível, conforme explicaram analistas judiciários, o sistema realiza um pré-processamento rigoroso para garantir a segregação estrita entre instruções e dados, utilizando uma camada de proteção que isola e neutraliza comandos maliciosos em documentos ou inputs externos antes mesmo que eles cheguem ao modelo de IA.
Filtro de conformidade
No segundo nível, o sistema estabelece uma delimitação de escopo contextual, de modo a impedir que eventuais diretrizes externas sobreponham suas regras centrais. Por fim, no último nível, o sistema aplica um filtro de conformidade para a revisão da saída gerada, para garantir que o resultado sugerido esteja alinhado às políticas de segurança.
Com o início das apurações, a área administrativa da Corte informou que, no âmbito do STJ, além do inquérito policial e procedimento administrativo, seja ainda realizada oitiva dos advogados e escritórios envolvidos, com vista à eventual responsabilização no âmbito criminal e correicional.
— Com informações do STJ
