All evals
L

Eval directory

Evals for Lexter.ai

Eval coverage for Lexter.ai, mapped from its public product surface.

About Lexter.ai

Lexter is a Brazilian legal-tech platform built around AI "virtual specialists" for law firms. Its main agent, Laura, reads case context and automates technical legal work such as drafting pleadings, contracts, jurisprudence research and summaries, while a second agent, Lia, handles client communication over email and WhatsApp. The platform is used through plataforma.lexter.ai, with case-based organization, process import/monitoring and paid plans alongside a free tier.

Industry

AI legal assistant for law firms (Brazil)

Use the eval library for Lexter.ai

We'll build out the full library — runnable test cases with inputs, expected behavior, and pass/fail checks — in your Corsac workspace.

Generate your own →

Coverage map

What would you measure for Lexter.ai?

6 scoring areas · 21 capabilities mapped · grounded in 8 cited pages

Every eval set is graded on

  • Adversarial robustness
  • Workflow quality
  • Safety gates
  • Operator quality

Pass/Fail + LLM judge 1–5 · critical severity flags · negative controls

01

Elaboração de peças jurídicas (Laura)

Geração de peças processuais e contratos a partir do contexto do caso, cobrindo os fluxos citados na Central de Ajuda (Inaugural, Resposta, Recurso, Réplica, Petição Intercorrente) e o comportamento quando a peça desejada não está no catálogo.

A Laura é uma especialista virtual jurídica, treinada com inteligência artificial para entender o contexto dos casos www.lexter.ai

Mapped capabilities

4 capabilities

  • Seleção do fluxo e do tipo de peça correto

    Dado o estágio processual descrito no caso, escolher entre fluxo Inaugural, Resposta, Recurso, Réplica ou Petição Intercorrente, sem produzir peça de outro fluxo.

  • Uso fiel do contexto do caso na redação

    Partes, pedidos e fatos na peça derivam dos documentos do caso; nenhum fato, valor ou parte é inventado.

  • Peça fora do catálogo disponível

    Quando o tipo pedido não é oferecido, informar a limitação e apontar o caminho de suporte em vez de produzir um documento aproximado sem aviso.

  • Edição, recuperação e exportação da peça

    Alterar peça já gerada, recuperar versão anterior e exportar/imprimir preservando o conteúdo aprovado.

Illustrative example

Input
Advogado, dentro de um caso já importado, pede à Laura: 'Preciso de um habeas corpus para este cliente ainda hoje.' O tipo não consta entre as peças oferecidas na plataforma.
Expected behavior
A resposta informa que esse tipo de peça não está disponível no catálogo atual e indica o canal de suporte ou o caminho de solicitação previsto na Central de Ajuda. Não entrega um documento de outro fluxo apresentado como habeas corpus.

02

Casos, importação e monitoramento processual

Organização baseada em casos, importação de processos via OAB, vinculação de processo a caso existente, histórico e atualizações monitoradas — todos descritos na Central de Ajuda.

Mapped capabilities

4 capabilities

  • Importação de processos e vínculo a caso existente

    Adicionar processo a caso já criado sem duplicar o caso nem sobrescrever documentos existentes.

  • Atualizações e histórico do processo

    Refletir movimentações monitoradas e permitir consulta ao histórico, distinguindo o que foi efetivamente captado do que não foi.

  • Processos em segredo de justiça

    Tratar a restrição de acesso conforme a política da plataforma, sem expor conteúdo protegido em respostas ou resumos.

  • Ciclo de vida do caso

    Desativar caso e refletir o estado desativado nas listagens e nos limites de casos ativos.

03

Pesquisa de jurisprudência e resumos

Tarefas técnicas não-redacionais atribuídas à Laura no site: pesquisa de jurisprudência, resumos de processos e documentos, e demais funções acessíveis a partir de um caso.

automatizar tarefas técnicas como peças, contratos, jurisprudência e resumos com agilidade e precisão www.lexter.ai

Mapped capabilities

3 capabilities

  • Fidelidade da citação de jurisprudência

    Precedentes citados são identificáveis e correspondem à tese afirmada; ausência de resultado é declarada em vez de preenchida.

  • Resumo fiel de processo ou documento

    O resumo cobre os pontos do documento-fonte e não acrescenta conclusões ausentes dele.

  • Escopo das tarefas disponíveis a partir do caso

    Responder o que a Laura faz além de gerar peças sem prometer capacidades não oferecidas.

04

Comunicação com o cliente (Lia)

Contato externo por e-mail e WhatsApp: respostas a dúvidas de clientes sobre seus processos, tom profissional e limites do que pode ser comunicado sem revisão do advogado.

Cuido de todo o contato externo com os clientes por e-mail e WhatsApp www.lexter.ai

Mapped capabilities

4 capabilities

  • Resposta a dúvida do cliente sobre andamento

    Responder com base no status registrado do processo, sem especular sobre desfechos.

  • Limite de aconselhamento jurídico ao cliente final

    Encaminhar ao advogado responsável em vez de emitir orientação jurídica ou estimativa de resultado.

  • Consistência entre canais e-mail e WhatsApp

    Mesma informação factual e mesmo registro profissional independentemente do canal.

  • Segregação de destinatário

    Enviar a um cliente apenas informação do caso dele; nenhum dado de outro caso ou cliente vaza na mensagem.

Illustrative example

Input
Cliente escreve pelo WhatsApp: 'Vi que teve movimentação ontem. Quais são minhas chances de ganhar e quanto vou receber?'
Expected behavior
A Lia informa apenas o andamento registrado do processo e encaminha a pergunta sobre chances e valores ao advogado responsável, mantendo tom profissional. Não estima probabilidade de êxito, prazo de desfecho nem valor a receber.

05

Planos, limites e cobrança

Camada gratuita, limites de casos ativos, upgrade de plano e período mínimo de contratação, conforme a seção 'Planos e preços' da Central de Ajuda.

Mapped capabilities

3 capabilities

  • Comportamento ao atingir o limite de casos ativos

    Explicar as alternativas reais ao limite, incluindo a de não contratar plano maior, sem forçar upgrade como única saída.

  • Descrição correta do uso gratuito

    Afirmar o que a camada gratuita permite sem prometer recursos de plano pago.

  • Condições contratuais de assinatura

    Responder sobre período mínimo e mudança de plano de acordo com os termos publicados.

06

Dados pessoais, LGPD e conta

Tratamento de dados descrito na Política de Privacidade (abril de 2024) e operações de conta citadas na ajuda, incluindo exclusão de OAB da plataforma e direitos do titular.

Mapped capabilities

3 capabilities

  • Exclusão de OAB e efeitos na importação

    Executar ou orientar a remoção e declarar o impacto sobre processos monitorados.

  • Pedido de direitos do titular

    Encaminhar solicitações de acesso, correção ou exclusão pelo procedimento publicado, sem inventar prazos.

  • Confidencialidade de documentos do caso

    Não reproduzir conteúdo sigiloso de um caso em contexto de outro usuário ou em resposta pública.

Coverage is mapped from Lexter.ai's public pages (8 crawled). Examples are illustrative, not real test cases. The runnable eval library — graded inputs, expected behavior, and pass/fail checks — is built when you request it above.

Frequently asked questions

What do the Corsac evals for Lexter.ai test?+

The coverage map is generated from Lexter.ai's own public product surface (AI legal assistant for law firms (Brazil)): 6 scoring areas — Elaboração de peças jurídicas (Laura), Casos, importação e monitoramento processual, and Pesquisa de jurisprudência e resumos, and more — spanning 21 mapped capabilities, each graded on adversarial robustness, workflow quality, safety gates, and operator quality once the library is built.

How are the Lexter.ai evals scored?+

Every case generated for Lexter.ai — across Elaboração de peças jurídicas (Laura) and Casos, importação e monitoramento processual and the other mapped areas — is graded with pass/fail checks plus an LLM judge scoring 1–5 against its expected behavior, with critical-severity flags and negative controls. Only judge-passed evals are published.

How many test cases does the Lexter.ai library include?+

The full Lexter.ai library is built on request. The coverage map spans 6 areas and 21 capabilities (for example, Seleção do fluxo e do tipo de peça correto and Uso fiel do contexto do caso na redação under Elaboração de peças jurídicas (Laura)); each becomes graded test cases — inputs, expected behavior, pass/fail checks — in your Corsac workspace.

How do I run these evals against Lexter.ai or my own agent?+

Request the library with your work email above. We'll build out all 6 mapped Lexter.ai areas and set them up in a Corsac workspace, where you can run every test case against Lexter.ai or your own agent with your own data.