IA para empresas · · 2 min de leitura
Ai2 testa se assistentes de IA entendem o problema por trás da pergunta
A Ai2 apresentou o XYBench, avaliação com 8.115 perguntas para testar se assistentes reconhecem premissas equivocadas e ajudam a resolver o objetivo real do usuário.
O estudo compara cinco modelos em perguntas de programação e atividades cotidianas. Segundo os pesquisadores, eles frequentemente incluem uma solução útil, mas continuam dando mais atenção ao caminho errado sugerido na pergunta.
Nas questões do Stack Overflow, as respostas priorizaram o objetivo subjacente em 35% a 41% dos casos. A avaliação ocorreu em uma única interação por pergunta; esses percentuais não medem a resolução de chamados em um atendimento real.
A base combina perguntas de fóruns, exemplos selecionados manualmente e questões geradas a partir de guias WikiHow. O julgamento principal usa Claude Sonnet 4.5, com comparação humana em uma amostra. Portanto, o conjunto não é formado apenas por perguntas espontâneas de usuários.
Os autores limitam o trabalho a perguntas em inglês e principalmente problemas de procedimento. Outras línguas e contextos de conversa permanecem como extensão futura.
O que isso muda para a sua empresa
Análise NVS: avaliar atendimento pode exigir mais do que verificar se a IA cumpriu o pedido literal. Equipes podem criar casos em português nos quais o cliente sugere uma solução inadequada e medir se o assistente identifica a necessidade. A hipótese deve ser testada no próprio contexto, com revisão humana.