Pular para o conteúdo
alvera

← Blog

Um estudo novo colocou a resposta de um veterinário ao lado da resposta do ChatGPT para a mesma pergunta de tutor — e o tutor confiou mais na IA. O motivo não é o que parece

Publicado em 2 de outubro na revista científica Frontiers in Veterinary Science, o estudo de Griot e Ward comparou como tutores avaliam respostas escritas de um veterinário e do ChatGPT para a mesma pergunta sobre a saúde do pet. A IA levou menos notas "ruim" e mais confiança declarada. O detalhe que a manchete deixa de fora é o que realmente importa para quem atende.

Um estudo publicado em 2 de outubro na revista científica Frontiers in Veterinary Science, de autoria de Griot e Ward, pegou perguntas reais de tutores sobre a saúde do próprio pet e fez duas fontes responderem à mesma pergunta: um veterinário e o ChatGPT (na versão GPT-4o, de maio de 2024). As respostas foram anonimizadas e colocadas lado a lado numa pesquisa, sem indicar qual vinha de quem. O resultado, à primeira vista, parece favorecer a máquina — mas o que o estudo mostra de verdade é outra coisa, e vale mais a atenção de uma clínica do que o placar em si.

Como o teste foi montado

A pesquisa foi distribuída por listas de e-mail e grupos públicos de tutores no Facebook. Quem respondia via as duas respostas sem saber a origem e avaliava cada uma em critérios como qualidade, empatia e estrutura do texto. Entre os respondentes havia tanto tutores comuns quanto pessoas com formação veterinária — e, como vai aparecer mais adiante, os dois grupos não julgaram a mesma coisa do mesmo jeito.

O placar que vale a manchete

Os números, conforme publicados no estudo: a nota média de qualidade do ChatGPT ficou em 4,28, contra 4,03 do veterinário. A diferença mais chamativa aparece nas respostas classificadas como “ruim” ou “muito ruim” — o veterinário recebeu 18 notas nessa faixa, contra 5 do ChatGPT, uma diferença de 3,6 vezes. Já na faixa de respostas “boas” ou “muito boas”, a diferença não foi estatisticamente significativa: 75,1% para o veterinário contra 85,3% para o ChatGPT. E, no quesito confiança declarada, 88% dos participantes disseram confiar na informação do ChatGPT, contra 80% no caso do veterinário.

Lido assim, parece um resultado desconfortável para qualquer profissional. Mas o próprio estudo já avisa que a leitura direta — “a IA é melhor” — erra o ponto.

O detalhe que a manchete ignora

Apesar da confiança mais alta no texto do ChatGPT, a maioria dos participantes disse que não usaria a IA sozinha para decidir diagnóstico ou plano de tratamento. Ou seja: o tutor pode achar o texto da IA mais claro e mais agradável de ler — e, ainda assim, não abrir mão do veterinário na hora que importa. Confiança na forma e confiança na decisão clínica não são a mesma coisa, e o estudo capturou as duas separadamente.

Outro detalhe reforça essa leitura: participantes com formação veterinária avaliaram a estrutura das respostas de forma mais exigente do que o público geral. Quem entende de medicina notou coisas que o tutor comum não notou. O que o tutor sem formação técnica está julgando, na prática, é comunicação — tom, clareza, organização do texto — não acurácia clínica. E é exatamente aí que o veterinário, no dia a dia apressado da consulta, tende a perder pontos sem perceber: não por saber menos, mas por explicar rápido demais, ou deixar pra memória do tutor algo que devia estar escrito.

Vale lembrar ainda o que o estudo não testa: ele compara texto com texto, pergunta simples de tutor com pergunta simples de tutor — não uma consulta real, com exame físico, histórico do paciente e doença em curso diante do veterinário. O ChatGPT não examinou nenhum animal.

O que isso ensina pra quem atende, não pra quem pergunta

A lição útil aqui não é temer que o tutor troque a clínica por um chatbot. É notar que, aos olhos de quem recebe a informação, a forma como ela é comunicada pesa tanto quanto — às vezes mais que — o conteúdo clínico em si. Isso não é um problema de competência do veterinário; é um problema de estrutura do que sobra da consulta depois que o tutor vai para casa.

É por isso que, no Alvera Vet, cada consulta termina com um resumo organizado, gerado automaticamente e enviado por e-mail ao tutor, documentando o que foi conversado e o que ficou combinado. Não é a IA decidindo nada no lugar do veterinário — ela segue apoiando a decisão clínica dele, nunca substituindo — mas é exatamente o tipo de estrutura que o estudo sugere estar faltando quando a avaliação do tutor despenca: não a falta de conhecimento técnico, e sim a falta de um registro claro do que foi dito.

A pergunta que a sua clínica deveria tirar desse estudo não é “um chatbot vai roubar meu cliente?”. É: quando o seu tutor sai da sala, o que ele carrega por escrito sobre o que acabou de ouvir — e isso está tão claro quanto poderia estar?


Quer que cada consulta termine com um resumo claro para o tutor, sem depender da memória de ninguém? Experimente o Alvera Vet grátis por 7 dias — cadastre-se aqui.

Falar com o comercial