contract, uma question e as saídas answer e risky_clauses.
O painel Teste seu agente
O painel direito da experiência Craft fica sempre visível. Antes de uma execução ele mostra Teste seu agente e Envie uma mensagem ou adicione inputs. Ele executa a versão que você está editando (a branchmain, ou a branch para a qual você trocou), não a publicada.
1
Preencha as Variáveis
Abra Variáveis na parte de baixo do painel. Ele lista as Entradas do Agente, com um contador de quantas são obrigatórias. Arraste ou envie o contrato na entrada de arquivo e digite a pergunta na entrada de texto.
2
Inicie a execução
Com o Chat ligado, digite uma mensagem na caixa (Descreva o que você quer que o agente faça…) e envie; você também pode anexar arquivos à mensagem. Com o Chat desligado, clique em Executar. As entradas obrigatórias precisam estar preenchidas antes de começar.
3
Acompanhe o trabalho
O botão vira Executando… com um controle Parar (depois Cancelando…). O painel mostra os passos de raciocínio do Agente conforme acontecem. Quando um subagent é chamado, clique nele para ver os passos dele e depois volte.
4
Leia o resultado
Um resultado estruturado aparece como um card por atributo, um resultado em texto livre aparece como Markdown. Com o Chat ligado, continue a conversa na caixa (Envie uma mensagem de acompanhamento…): o Agente mantém o contexto, então você pode perguntar sobre outra cláusula sem enviar o contrato de novo.
Quando você volta a um Agente sem nenhuma execução na tela, Ver a última execução traz a anterior de volta. Se uma execução termina em erro, Recuperar deixa o Agente tentar novamente com uma abordagem diferente.
Casos de teste
Um caso de teste é um conjunto salvo de entradas com uma saída esperada e, opcionalmente, regras para o avaliador. Rode os casos de teste de novo após cada mudança no Objetivo, no modelo ou nas skills, e você descobre, antes de publicar, se o Agente continua se comportando como esperado. Abra a experiência Test no centro superior. O card de resumo no topo mostra a Pontuação de Precisão da versão atual, quantos casos de teste foram Revisados e quantos Atributos estão cobertos, com dois botões: Executar, que roda os casos de teste contra a versão atual, e Avaliar, que inicia a revisão dos resultados. Abaixo, os chips Pendente e Concluído filtram a lista, e você também pode filtrar por Data e usuário, criar Categorias para organizar os casos de teste e pesquisar pelo nome. Critérios e Novo test ficam à direita. A tabela lista cada caso de teste com Status, Pontuação, Categorias, Custo, Duração e uma coluna por atributo de saída.
Criando um caso de teste
Há dois caminhos: clicar em Revisar no painel Teste seu agente após uma execução de que você gostou, o que salva as entradas, a conversa e o resultado como caso de teste, ou clicar em Novo test e preencher o diálogo:- Input: os valores das Entradas. Para o assistente de contratos, envie o contrato e digite a pergunta.
- Output esperado: como deve ser um resultado correto. Com Saídas estruturadas você preenche um campo por atributo; caso contrário, descreva ou cole o texto ou JSON esperado.
- Regras: como o avaliador deve julgar o resultado, por exemplo A resposta deve citar o número da cláusula e a lista de cláusulas arriscadas deve incluir a cláusula de responsabilidade ilimitada. Deixe vazio para usar uma avaliação genérica.
Lendo um resultado
Clique em um caso de teste para abri-lo. À esquerda você vê a execução: o raciocínio do Agente, o resultado card por card e, em uma conversa, a troca inteira. À direita, as entradas usadas. Abaixo do resultado, o Resultado da avaliação dá um veredito de aprovado ou reprovado, com Motivo e Sugestões. Revise o resultado também: cada atributo tem um polegar para cima e um para baixo. O seu feedback fica guardado com a execução daquela versão, conta para os Revisados e ensina ao avaliador como é uma boaanswer ou uma risky_clauses completa.
Com o Chat ligado, um caso de teste pode continuar a conversa: digite uma mensagem de acompanhamento abaixo do resultado e o avaliador julga a nova rodada.
Cada caso de teste tem uma execução por versão do Agente. Ao abrir um caso de teste enquanto visualiza uma versão antiga, o detalhe mostra Sem execução para esta versão; volte para a versão atual para executá-lo. Edite um caso de teste com Editar caso de teste e Salvar e Executar para rodá-lo de novo.
Rodando todos
Clique em Executar no card de resumo para rodar todos os casos de teste contra a versão atual, ou selecione algumas linhas e rode só essas. Casos de teste que já rodaram nesta versão são pulados. A Pontuação de Precisão é atualizada conforme os resultados chegam, então, depois de uma mudança no Objetivo, você pode compará-la com a versão anterior no Histórico de execuções de cada caso de teste. Duas ferramentas refinam a avaliação:- Critérios agrupa atributos para que o resumo mostre separadamente a precisão de, por exemplo, sinalizações de risco e respostas.
- Configurar avaliador define um prompt global que guia como cada caso de teste é avaliado, além das regras de cada caso.
Para desenvolvedores. As execuções de teste são indexadas por caso de teste e hash do commit: uma execução por caso de teste por versão do Agente. O feedback por atributo é enviado como um array de
{ path, feedback }, em que path é um caminho de atributo de saída como aparece no resumo de validação da execução e feedback é 1, 0 ou null.Usage: o histórico de execuções
A experiência Usage lista todas as sessões do Agente: execuções de teste, execuções publicadas pela API, etapas de Workflow, agendamentos e tarefas. Para cada sessão você vê o Custo, o Status (bem-sucedida, com falha, cancelada ou pendente), a Duração, o Modelo, a Data, a Hora de Início e a Hora de Término, o ID da Sessão, os Turnos, o Total de Tokens e as Tags Personalizadas. Clique em Carregar mais no fim para sessões mais antigas. Clique em uma sessão para abrir os Detalhes da execução: o status e as métricas, a linha do tempo com cada passo, chamada de ferramenta e subagent, e os arquivos que a execução produziu. Abrir em nova aba dá à execução uma página própria, e Compartilhar copia um link para ela que colegas com acesso ao Agente podem abrir.
Uma execução bem-sucedida que aguarda uma mensagem de acompanhamento continua sendo um sucesso: a sessão fica aberta para a conversa. Só execuções com falha ou canceladas indicam um problema.