Pular para o conteúdo principal
Um Canvas, Workflow ou Agente que funciona nos três documentos que você testou à mão ainda não é algo em que você pode confiar para processar mil. Um Caso de Teste é a forma de transformar cada exemplo que você conferiu em uma verificação que roda de novo, toda vez que você muda o prompt, o modelo ou uma etapa. Esta seção explica como montar esse conjunto de verificações, como ler o que ele diz e como usá-lo para decidir o que publicar. As páginas usam um único exemplo: um Canvas que extrai campos de notas fiscais de fornecedores. O seu Formato de Saída tem quatro atributos, supplier_name, total_amount, due_date e category, e ele tem uma variável de arquivo, invoice. A suíte de testes tem alguns casos: uma nota fiscal limpa em PDF, uma escaneada, uma com duas moedas e um documento que não é nota fiscal.

​
O que é um Caso de Teste

Um Caso de Teste é uma entrada salva: o valor de cada variável do Canvas, incluindo os arquivos, mais um título e categorias opcionais. Quando você o executa, o Tela roda o Canvas com essas entradas e guarda o resultado como uma execução daquele Caso de Teste naquela versão. O que faz dele um teste é o que você anexa ao resultado:
  • Revisões. Cada atributo do resultado recebe um polegar para cima ou para baixo. Na nota fiscal limpa, total_amount = 1,250.00 é Bom; due_date = 2024-01-05 quando a nota diz 2024-05-01 é Ruim.
  • Exemplos. Os valores que você marca ficam guardados como Respostas Esperadas e Respostas Erradas do Caso de Teste. Na próxima execução, um atributo que coincide com um deles é revisado automaticamente.
  • Regras. Regras em linguagem natural por atributo, como O total deve ser um número sem símbolo de moeda, que um juiz de IA aplica quando nenhum exemplo coincide.
Um Caso de Teste tem uma execução por versão do Canvas. Revisões, exemplos e regras pertencem ao Caso de Teste, então o acompanham de versão em versão. É isso que permite medir uma versão nova com a mesma régua da anterior.
Na API, um Caso de Teste é um objeto test-case com variables, variablesRichContent, files, title, answers (os exemplos) e validationRules. Cada execução é uma generation. Veja Create Test Cases.

​
Por que testar

  • Validar resultados em entradas reais. Executar o Canvas de notas fiscais uma vez no Craft mostra que ele funciona naquela nota. Cinco Casos de Teste com layouts diferentes mostram onde ele não funciona.
  • Medir a qualidade ao longo do tempo. A Pontuação de Precisão de uma versão é calculada a partir das suas revisões. Ela dá um número para comparar antes e depois de uma mudança no prompt.
  • Pegar regressões. Mudar o prompt para corrigir a nota escaneada pode quebrar a que tem duas moedas. Rodar a suíte mostra isso antes que o seu time veja na Workstation.
  • Decidir o que publicar. Uma versão com uma suíte revisada e verde é uma versão que você publica em Production e entrega à API com confiança. Veja Publicação e ambientes.
  • Aprender com a produção. Toda tarefa que o seu time corrige na Workstation é uma entrada real com uma saída verificada. Transformá-la em Caso de Teste fecha o ciclo entre a produção e a próxima versão.

​
Onde os Casos de Teste ficam

Todo Canvas e Workflow tem as experiências Criar, Testar e Usage no centro superior da página (na página de um Agente elas aparecem como Craft, Test e Usage). Os Casos de Teste ficam em Testar.
Experiência Testar do Canvas de notas fiscais, com o card de resumo, os cards Novo caso de teste e Solte arquivos aqui e a tabela de Casos de Teste
A experiência Testar tem três partes: Clique em uma linha para abrir o Caso de Teste em tela cheia: o resultado à esquerda, atributo por atributo, e as entradas à direita. É aqui que você revisa. A experiência Testar sempre mostra as execuções da versão que você está vendo, a marcada como Atual no Histórico de Versões. Troque de versão e a tabela, os status e as métricas trocam junto.
Testar fica oculta quando o armazenamento de arquivos está desabilitado no seu Workspace. Quando a retenção de dados está ativa, um aviso no topo da experiência informa depois de quantas horas arquivos e Casos de Teste são excluídos.

​
Em Workflows

Um Workflow tem a mesma experiência Testar. Uma execução roda todas as etapas, e o resultado é agrupado por etapa; os atributos que você revisa são os dos Formatos de Saída das etapas de IA. A documentação de Workflow explica o que vira revisável e as particularidades dos Casos de Teste em um Workflow.

​
Em Agentes

Agentes têm os próprios casos de teste, com um Output esperado, Regras para um avaliador e um veredito de aprovado ou reprovado com um motivo. As métricas no topo da experiência são as mesmas. A documentação de Agentes trata deles em Testando um Agente.

​
O ciclo de vida

1

Criar

Salve uma execução de que você gostou no Craft, transforme uma tarefa revisada na Workstation em Caso de Teste, solte arquivos na experiência Testar ou crie um manualmente. Para o Canvas de notas fiscais, comece pela nota limpa e pelo documento que não é nota fiscal.
2

Executar

Executar Todos, ou abra um Caso de Teste e clique em Executar. Cada Caso de Teste roda contra a versão que você está vendo.
3

Revisar

Abra cada resultado e marque cada atributo como Bom ou Ruim. Adicione o valor certo quando algo estiver errado. O status passa de Revisão Pendente para Concluído quando não sobra nada para revisar.
4

Corrigir e executar de novo

Mude o prompt no Criar, volte para Testar e execute de novo. Atributos que coincidem com os seus exemplos ou passam nas suas regras são revisados automaticamente; você só olha o que mudou.
5

Comparar e publicar

Abra a versão anterior no Histórico de Versões e compare a Pontuação de Precisão dela com a nova. Quando a versão nova for pelo menos tão boa em todos os casos que importam, clique em Publicar.
Um Caso de Teste cuja execução terminou mostra Revisão Pendente, não Concluído. Uma suíte que rodou mas nunca foi revisada não prova nada. A Pontuação de Precisão só conta atributos revisados.

​
Páginas desta seção

Criando Casos de Teste

A partir de uma execução no Craft, de uma tarefa da Workstation, de arquivos, manualmente, em lote ou pela API

Executando e revisando

Execute um ou todos, leia os status, revise atributo por atributo, execute de novo

Regras de validação e métricas

Respostas Esperadas, Respostas Erradas, regras de IA e como a Pontuação de Precisão é calculada

Comparando versões

Rode os mesmos Casos de Teste em várias versões, leia a diferença e escolha o que publicar