Deflexão não é resolução
A métrica estrela do mercado de chatbots de IA conta quantos tickets não chegam à sua equipa, não quantos clientes ficam bem atendidos. Este relatório explica porque essa diferença importa e que métricas deveria exigir em seu lugar.
O que este relatório sustenta
O mercado de chatbots de IA vende deflexão: a percentagem de conversas que nunca chegam a um humano. É uma métrica de custo disfarçada de métrica de qualidade, e comprá-la sem mais tem consequências em clientes, marca e fatura.
É o intervalo que boa parte do mercado anuncia. O dado diz quantas conversas não chegaram à sua equipa; não diz quantos clientes obtiveram uma resposta correta nem quantos desistiram pelo caminho.
Um cliente que fecha o chat frustrado sem pedir um agente conta o mesmo que um perfeitamente atendido: como conversa "deflectida". A métrica não distingue entre resolver e desencorajar.
Um tribunal canadiano obrigou a Air Canada a cumprir a política de reembolsos que o seu chatbot inventou. Desde então, a qualidade das respostas deixou de ser apenas um problema de experiência: é um risco legal.
Resolução verificada, satisfação pós-conversa, qualidade do escalamento, taxa de abandono e respostas com fonte. Cinco métricas que nenhum fornecedor lhe mostra na demo e que este relatório define.
O que a deflexão mede de verdade
A deflexão (deflection rate) mede a percentagem de conversas que terminam sem intervenção de um agente humano. Nasceu como métrica interna de custo nos help desks e o mercado de IA adotou-a como métrica principal de venda.
Uma métrica de custo, não de qualidade
Um ticket não chegar à sua equipa pode significar três coisas muito diferentes: que o chatbot resolveu a dúvida, que o cliente abandonou frustrado, ou que o cliente foi para outro canal (um email, uma chamada, uma avaliação pública) onde o problema já não conta. Para a deflexão, os três casos são idênticos: sucesso.
Esse enviesamento não é um acidente. A deflexão é a métrica que justifica internamente a compra ("poupamos X agentes") e, ao mesmo tempo, a que menos compromete o fornecedor: não exige demonstrar que as respostas foram corretas, só que o humano não interveio. Por isso é o número de todas as capas de produto.
O conflito de interesses de quem conta
Em boa parte do mercado, quem mede a métrica é quem cobra por ela. Os modelos de preço por resolução faturam cada conversa que o sistema classifica como "resolvida", e essa classificação é feita pelo próprio sistema. O fornecedor define a métrica, mede-a e fatura segundo o resultado.
Não é preciso presumir má-fé para ver o problema: quando o critério de "resolvido" é fixado por quem fatura por resolução, a definição tenderá a ser generosa. Qualquer auditoria séria de um chatbot começa por perguntar quem decide o que conta como resolvido e como se pode verificar de forma independente.
A experiência mental do interruptor
Um chatbot que respondesse "não posso ajudar com isso" a todas as perguntas e nunca oferecesse o botão de falar com um agente teria uma deflexão próxima de 100%: nenhum ticket chegaria à sua equipa. Seria, segundo a métrica estrela do mercado, o melhor chatbot possível. Se uma métrica premeia desligar o suporte, não mede a qualidade do suporte.
As cinco métricas que deveria exigir
Nenhuma destas métricas aparece na demo, porque nenhuma pode ser medida numa demo: todas exigem conversas reais e revisão posterior. É exatamente por isso que importam.
1. Resolução verificada
Percentagem de conversas em que uma revisão humana (por amostragem) confirma que a resposta foi correta e completa. É a versão honesta da deflexão: em vez de contar tickets que não chegaram, conta clientes bem atendidos. Mede-se auditando uma amostra semanal de conversas contra a documentação real.
2. Satisfação pós-conversa
CSAT perguntado ao terminar a conversa com o bot, não o inquérito genérico do helpdesk. Separa duas perguntas que o mercado mistura: "resolveu o seu problema?" e "como foi a experiência?". Um CSAT baixo com deflexão alta é a assinatura clássica do bot que afugenta em vez de resolver.
3. Qualidade do escalamento
Duas faces: quantas conversas que precisavam de um humano foram escaladas a tempo (não reter o cliente num ciclo), e quantos escalamentos eram desnecessários (não interromper a sua equipa com o que o bot podia resolver). Um bom assistente acerta nas duas direções e transfere com todo o contexto.
4. Taxa de abandono
Percentagem de conversas que o cliente corta sem despedida, sem resolução e sem pedir agente. É o buraco negro da deflexão: todos estes casos contam hoje como sucesso. Medi-la exige registar como termina cada conversa, não apenas se um humano interveio.
5. Respostas com fonte
Percentagem de respostas que citam o documento de onde saem. Sem citação, não há forma de distinguir se uma resposta vem da sua documentação ou da imaginação do modelo, nem de auditar erros a posteriori. Depois do precedente da Air Canada, esta métrica é também uma defesa legal.
A síntese: custo por resolução real
O que paga por mês dividido pelas conversas com resolução verificada (métrica 1). É o único número que permite comparar de verdade dois fornecedores com modelos de preço diferentes. Pode estimá-lo com o seu volume na nossa calculadora de custo de chatbot.
Quer saber quanto lhe custaria um chatbot com o seu volume real?
Calculadora de custo →Porque é que o mercado não mede isto
Não é um descuido técnico: cada métrica ausente tem um incentivo económico por trás. Entendê-los ajuda a negociar com qualquer fornecedor, incluindo nós.
A resolução verificada custa dinheiro ao fornecedor
Verificar resoluções exige pessoas a rever conversas contra a documentação real do cliente. É trabalho contínuo que não escala com um prompt. Uma plataforma self-service com milhares de contas não pode oferecê-lo sem mudar de modelo de negócio, pelo que a métrica é substituída pela autoavaliação do próprio bot.
O CSAT pós-bot mete medo
Perguntar "resolvemos o seu problema?" logo depois de falar com o bot produz dados incómodos que não acompanham o argumento de venda. O inquérito adia-se, agrega-se ao da equipa humana ou simplesmente não se faz. Se um fornecedor não lhe oferece CSAT separado do bot, pergunte-se porquê.
O abandono é invisível por design
Distinguir "resolvido" de "desistiu" exige classificar o final de cada conversa, e toda a conversa não classificada engorda o número bom. O incentivo do fornecedor é deixar a ambiguidade como está: a deflexão sobe sozinha.
Citar fontes expõe os erros
Um bot que cita o documento de onde responde permite auditar cada erro: vê-se o que inventou e o que interpretou mal. Um bot que não cita é incontestável. A opacidade não é uma limitação técnica (RAG com citações é standard há anos): é uma escolha de produto.
A conclusão não é que as plataformas mintam: é que medem o que o seu modelo de negócio lhes permite medir. Um fornecedor que fatura por conversa não tem incentivo para reduzir conversas; um que fatura por resolução não o tem para endurecer o critério de resolução; e um com tarifa fixa só retém o cliente se o assistente funcionar de verdade. Antes de comparar preços, compare incentivos.
Checklist: o que pedir antes de assinar
Sete perguntas para qualquer fornecedor de chatbots de IA, incluindo nós. As respostas separam quem vende deflexão de quem se compromete com a resolução.
Quem define "resolvido"?
Peça a definição exata de conversa resolvida e quem a aplica. Se é o próprio bot que a classifica e ninguém a audita, o número que lhe mostram é uma autoavaliação.
Posso auditar conversas?
Exija acesso completo ao histórico de conversas e a possibilidade de as rever por amostragem com a sua equipa. Sem acesso às conversas não há métrica verificável.
As respostas citam a sua fonte?
Cada resposta deveria ligar ao documento de onde sai. É a diferença entre poder auditar um erro e descobri-lo quando um cliente (ou um tribunal) o sofre.
Como se mede o abandono?
Pergunte o que acontece às conversas que o cliente corta sem resolução. Se a resposta é que contam como deflectidas, já sabe como foi construída a percentagem da capa.
Há CSAT do bot, separado?
A satisfação do bot deve medir-se ao terminar a conversa com o bot e reportar-se separada da da equipa humana. Agregá-las esconde exatamente o que quer saber.
O que acontece quando duplicar o volume?
Faça as contas do pricing com o seu volume atual e com o dobro. Se a fatura cresce proporcionalmente ao sucesso do assistente, o modelo de preço trabalha contra si.
Quem mantém o assistente?
As perguntas dos seus clientes mudam; a sua documentação, também. Pergunte quem revê as conversas falhadas cada semana e ajusta o assistente: se a resposta é "você", o preço real inclui horas da sua equipa.
A nossa posição neste debate não é neutra e convém dizê-lo: o assistente de IA da Soamee cita as suas fontes em cada resposta, inclui revisão de conversas com o cliente e trabalha com tarifa acordada de antemão, precisamente porque construímos o produto sobre as respostas que gostaríamos de receber a estas sete perguntas. Este relatório explica o critério com que também nos pode avaliar a nós.
Como elaborámos este relatório
Este relatório baseia-se na documentação pública das principais plataformas de chatbots e assistentes de IA do mercado (páginas de produto, documentação técnica e páginas de preços publicadas), na literatura pública sobre métricas de atendimento ao cliente (deflection rate, CSAT, FCR) e na decisão do tribunal civil da Colúmbia Britânica (Canadá) no caso Moffatt contra a Air Canada, de fevereiro de 2024, disponível publicamente.
As definições das cinco métricas propostas provêm da nossa experiência a colocar assistentes de IA em produção para clientes de setores diferentes. Não incluímos dados de nenhum cliente concreto nem números internos de nenhum projeto: os exemplos numéricos do relatório são ilustrativos.
Este relatório é publicado com fins informativos. A Soamee desenvolve e comercializa um assistente de IA próprio e, portanto, tem uma posição no mercado que aqui se analisa; procurámos que cada afirmação seja verificável de forma independente e assinalamos a nossa posição onde é relevante. Se detetar algum erro, escreva-nos para info@soamee.com e corrigimo-lo.
Ponha-nos à prova com as sete perguntas
Traga-nos a sua documentação real e mostramos-lhe o assistente a responder às perguntas que os seus clientes fazem de verdade, com as fontes citadas. Sem compromisso.
Conte-nos seu desafio. Propomos uma solução.
Sem compromisso. Em menos de 24 horas, você recebe uma proposta com escopo, cronograma e orçamento. Sem letras miúdas.