Pesquisa e publicaçõeso que a IA erra em direito, medido.

Não é alucinação. É granularidade.

A IA, sozinha, lê uma decisão e extrai no nível de detalhe errado. Trata um obiter dictum como se fosse a ratio. Resume o dispositivo de um jeito plausível, mas operacionalmente furado. Não inventa fato — entrega no recorte errado. É o erro que parece certo, e por isso passa.

Not Hallucination but Granularity (Sens, 2026) auditou, uma a uma, as informações que o sistema extraiu de decisões reais de STJ, TJPR, TJSP e TRF4. O erro mais comum não foi inventar — foi o nível de detalhe.

Casa palavra, não conceito.

A IA, sozinha, procura o que você escreveu, não o que você quis dizer. A mesma tese aparece como “exclusão de sócio” num processo e “saída do sócio” em outro — e ela não conecta os dois. Você conclui que não há precedente. Ou cita um mais fraco, porque foi o que casou a palavra.

JusBR-ER (Sens, 2026) é um benchmark público de resolução de entidades para conceitos jurídicos brasileiros: verifica se o sistema reconhece quando dois termos significam a mesma coisa — sem confundir o que deve permanecer separado.

O default mais perigoso: afirmar com confiança sem ter prova.

A IA, sozinha, afirma “a fonte sustenta isso” por coincidência de palavras. Monta uma peça polida sobre um valor ou um fato que o documento não prova. Parece certo. É frágil — e o erro só aparece quando já está protocolado.

Aqui não há número porque não é um benchmark — é o princípio que governa o sistema. Dentro do Silo, toda afirmação remete a um trecho literal da fonte. Quando o lastro não existe, o sistema mostra a lacuna em vez de preencher com texto plausível.

Not Hallucination but Granularity

Sens, Diego · 2026

Auditoria, uma a uma, das informações que o sistema extraiu de decisões reais de STJ, TJPR, TJSP e TRF4. O erro mais comum não foi inventar fatos — foi extrair no nível de detalhe errado (mais amplo ou mais específico do que o ideal). É a base empírica para a tese de infraestrutura auditável do Silo.

Estudo público, ainda em versão preliminar (preprint). O recorte de 96,0% e “zero alucinações” refere-se à amostra auditada, não a uma métrica de produção.

@techreport{sens2026granularity,
  author = {Sens, Diego},
  title  = {Not Hallucination but Granularity},
  year   = {2026},
  type   = {Preprint},
  doi    = {10.5281/zenodo.20818610},
  url    = {https://doi.org/10.5281/zenodo.20818610},
  note   = {SSRN 6496861. Codigo e dados: github.com/sensdiego/extraction-quality-audit. Licenca CC BY 4.0}
}

JusBR-ER

Sens, Diego · 2026

Benchmark público de resolução de entidades para conceitos jurídicos brasileiros: verifica se o sistema reconhece quando dois termos significam a mesma coisa (sinônimos e variações) sem confundir conceitos que devem permanecer separados — a base para conectar o conhecimento sem misturar o que não deve.

Comparar só as palavras acerta entre 20% e 66% dos casos; entender o sentido eleva esse acerto a 85,9% nesse teste — não uma métrica de produção. Licença não comercial (NC).

@misc{sens2026jusbrer,
  author = {Sens, Diego},
  title  = {JusBR-ER},
  year   = {2026},
  doi    = {10.5281/zenodo.20818528},
  url    = {https://doi.org/10.5281/zenodo.20818528},
  note   = {Benchmark de resolucao de entidades para conceitos juridicos brasileiros. SSRN 6455978. Codigo e dados: github.com/sensdiego/jusbr-er. Licenca CC BY-NC-SA 4.0}
}