A inteligência artificial generativa tem gerado preocupações crescentes no sistema judiciário após casos em que modelos de linguagem produziram decisões judiciais inteiramente fictícias, comprometendo a integridade de processos reais. O caso mais emblemático envolveu o litígio Mata v. Avianca, Inc., julgado em tribunal federal nos Estados Unidos, em que um advogado apresentou ao juiz seis precedentes federais que simplesmente não existiam, todos fabricados por uma ferramenta de IA baseada em modelos de linguagem, conhecidos como LLMs (Large Language Models). O episódio evidenciou que o uso não verificado dessas tecnologias pode causar danos concretos à administração da justiça.
O caso Mata v. Avianca teve ampla repercussão no meio jurídico internacional. O advogado Roberto Mata entrou com uma ação contra a companhia aérea Avianca e, ao fundamentar sua petição, utilizou uma ferramenta de IA para buscar jurisprudência favorável. O problema é que o modelo gerou citações completas de decisões que nunca foram proferidas por nenhum tribunal. Quando a parte contrária e o juiz tentaram localizar as decisões citadas, descobriram que as referências eram fraudulentas. O juiz do caso aplicou sanções ao advogado responsável, que afirmou ter usado a ferramenta de forma ingênua, sem checar a veracidade das informações.
Esse tipo de falha é tecnicamente chamado de alucinação, um fenômeno conhecido dos modelos de linguagem. Esses sistemas funcionam prevendo a próxima palavra mais provável em uma sequência de texto, sem qualquer verificação factual embutida. Quando solicitados a citar decisões judiciais, podem gerar nomes de tribunais, números de processos, datas e trechos de votos que parecem plausíveis, mas que são inteiramente inventados. O risco é particularmente elevado no contexto jurídico, onde a precisão das citações é fundamental para o convencimento do juiz e para a validade dos argumentos apresentados.
Além das alucinações, o artigo publicado no ConJur aborda outra ameaça relevante para o sistema judiciário: o chamado prompt injection, ou injeção de instruções. Trata-se de uma técnica em que um atacante insere comandos ocultos em documentos ou textos que serão processados por sistemas de IA. No contexto jurídico, isso significa que um agente mal-intencionado poderia embutir instruções invisíveis em petições, pareceres ou outros documentos processuais digitais. Quando esses documentos fossem analisados por ferramentas de IA utilizadas por juízes, procuradores ou advogados, as instruções ocultas poderiam manipular o comportamento do modelo, induzindo-o a emitir conclusões tendenciosas ou ocultar informações relevantes.
O prompt injection funciona explorando a forma como os modelos de linguagem processam texto. Esses modelos não distinguem entre instruções legítimas e conteúdo malicioso embutido em documentos. Se um sistema de IA usado por um tribunal recebe um documento contaminado com comandos ocultos, ele pode interpretar esses comandos como ordens prioritárias, ignorando as diretrizes originais de sua programação. Em um cenário em que tribunais adotam cada vez mais ferramentas de IA para triagem de processos, resumo de peças e até sugestão de decisões, a vulnerabilidade ganha dimensão sistêmica.
A digitalização dos processos judiciais ampliou a superfície de ataque. No Brasil, o processo judicial eletrônico é obrigatório em praticamente todas as instâncias, e os sistemas de automação utilizados por tribunais frequentemente incorporam funcionalidades baseadas em IA. Isso inclui desde ferramentas de triagem e classificação processual até assistentes que auxiliam magistrados na elaboração de sentenças. Cada ponto de integração entre IA e sistema processual representa uma potencial porta de entrada para ataques de prompt injection.
O caso Mata v. Avianca ilustrou também a falta de preparo dos profissionais do direito para lidar com as limitações das ferramentas de IA. O advogado envolvido declarou à corte que não tinha conhecimento de que o modelo poderia gerar informações falsas e que confiara na precisão das respostas apresentadas pela ferramenta. A ingenuidade revelada no caso demonstra que a capacitação técnica é urgente, não apenas para advogados, mas para todos os operadores do direito que interagem com essas tecnologias.
A combinação entre alucinações de modelos de linguagem e ataques de prompt injection cria um cenário de duplo risco para a Justiça. De um lado, profissionais que utilizam IA de forma acrítica podem disseminar informações falsas nos autos, comprometendo a fundamentação de decisões. De outro, agentes mal-intencionados podem explorar vulnerabilidades técnicas para manipular o resultado de processos, ferindo princípios constitucionais como o contraditório, a ampla defesa e a imparcialidade do julgador.
Diante desses riscos, especialistas têm defendido a criação de marcos regulatórios específicos para o uso de IA no Poder Judiciário. A regulamentação precisaria estabelecer padrões de verificação obrigatória para qualquer documento gerado ou auxiliado por IA, além de requisitos de segurança para os sistemas utilizados por tribunais. Também seria necessário definir responsabilidades claras para profissionais do direito que utilizem essas ferramentas sem os devidos cuidados, como ocorreu no caso americano.
No Brasil, o Conselho Nacional de Justiça já discute diretrizes para o uso ético e responsável de IA no âmbito do Judiciário, mas o debate ainda está em fase inicial. A Resolução nº 332 do CNJ, de 2020, estabeleceu princípios para o uso de IA por tribunais, mas não trata especificamente dos riscos de prompt injection ou das alucinações de LLMs em contextos processuais. A atualização dessas normas será necessária para acompanhar a velocidade com que a tecnologia evolui e com que novos vetores de ataque são identificados.
A experiência do caso Mata v. Avianca serve como alerta para a comunidade jurídica brasileira. A adoção crescente de ferramentas de IA por escritórios de advocacia, defensorias, ministérios públicos e tribunais é uma tendência irreversível, mas precisa ser acompanhada de protocolos rigorosos de checagem e validação. Sem isso, o sistema de justiça corre o risco de ver sua credibilidade abalada por decisões fundamentadas em informações que existem apenas na saída de um modelo estatístico.
