Todos os fornecedores de chatbots de IA (nós incluídos) contamos a mesma história: “ligue a sua base de conhecimento e o assistente responderá com a sua informação”. A história é verdadeira. O que quase nunca se diz é a letra pequena: o assistente responderá com a sua informação tal como está, e na maioria das empresas, tal como está significa desatualizada, contraditória e incompleta.
Um modelo de linguagem não corrige uma documentação má: amplifica-a. Onde antes havia um PDF desatualizado que quase ninguém lia, agora há um assistente que recita esse PDF com total segurança a cada cliente que pergunta. A qualidade de um assistente tem um teto, e esse teto é a sua documentação.
Depois de ligar assistentes a bases de conhecimento de setores muito diferentes, estes são os dez problemas que encontramos uma e outra vez. Use-os como auditoria: se marcar mais de três, tem trabalho a fazer antes (ou ao mesmo tempo) que o chatbot.
A checklist
1. Há contradições entre documentos?
O clássico: o site diz devoluções em 30 dias, o PDF de condições diz 15, e a FAQ interna diz “consultar o responsável”. Um humano resolve a contradição com contexto; um motor de pesquisa semântica recupera qualquer uma das três versões consoante a formulação da pergunta. Teste rápido: escolha as suas cinco políticas mais importantes e procure-as em todos os seus repositórios de conteúdo. Se aparecerem versões diferentes, o assistente vai servi-las todas.
2. O conteúdo está datado e versionado?
Sem datas, ninguém (nem você, nem o assistente, nem quem auditar um erro) pode saber que versão de uma política estava em vigor quando. Cada documento precisa de um responsável, data da última revisão e data da próxima revisão. É aborrecido e é a diferença entre poder auditar uma resposta e não poder.
3. Quanto conhecimento vive só em cabeças?
Faça este exercício: pegue nas últimas 50 conversas do seu suporte e verifique quantas respostas dadas pela sua equipa estão escritas em algum documento. O resultado habitual surpreende: boa parte do conhecimento real (as exceções, os casos raros, o “isto na verdade faz-se assim”) não está documentada em lado nenhum. Esse conhecimento tribal é invisível para qualquer IA. Documentá-lo é o trabalho de maior valor de toda esta lista, e ninguém o pode fazer por si.
4. As perguntas frequentes reais têm resposta escrita?
Relacionado mas diferente: as suas FAQ públicas costumam responder às perguntas que o marketing gostaria de receber, não às que o suporte recebe. A fonte de verdade sobre o que os seus clientes perguntam é a sua caixa de tickets, não a sua página de FAQ. Cruze as duas e escreva o que falta.
5. O conteúdo está em formatos processáveis?
Um PDF digitalizado, uma tabela de preços numa imagem, um vídeo tutorial sem transcrição: para um sistema de recuperação, tudo isso é ruído ou silêncio. O conteúdo crítico deve existir como texto estruturado (títulos claros, um tema por secção, tabelas como tabelas). Sobre como a estrutura afeta a recuperação escrevemos na página de RAG e bases de conhecimento.
6. Há conteúdo órfão ou zombie?
Manuais de produtos descontinuados, promoções caducadas, versões antigas de políticas que ninguém apagou. Para o motor de pesquisa semântica tudo pesa o mesmo: uma promoção de 2023 pode ser o fragmento mais “parecido” com a pergunta de hoje. Antes de ligar seja o que for, é precisa uma purga: o que se apaga, o que se arquiva fora do alcance do assistente e o que se atualiza.
7. Está claro o que é público e o que é interno?
Em muitas empresas convivem no mesmo espaço a política pública de devoluções e a margem com que se negoceiam exceções, o preço de tabela e o desconto máximo autorizado. Se ligar o assistente “a tudo”, mais cedo ou mais tarde recitará algo interno a um cliente. A separação público/interno tem de existir na fonte, com um critério simples: tudo o que o assistente pode ler, pode dizer.
8. Alguém é dono de cada área de conteúdo?
“A documentação é de todos” significa que não é de ninguém. Cada área (preços, políticas, produto, operação) precisa de um dono com nome que responda pela sua exatidão. Quando o assistente falhar (vai falhar), a pergunta “de quem é este conteúdo?” deve ter resposta imediata.
9. Existe um processo de atualização, ou só boa vontade?
A documentação não se desatualiza por preguiça, mas porque atualizar não está em nenhum processo: muda-se o preço no sistema e ninguém tem a tarefa de o mudar na documentação. A regra que propomos aos nossos clientes: nenhuma alteração de política, preço ou produto se dá por terminada até que o seu documento esteja atualizado. Sem isto, qualquer assistente tem prazo de validade, como contamos em porque os chatbots falham em produção.
10. Sabe que perguntas não têm resposta?
A última e a mais ignorada: mantenha uma lista explícita de temas sobre os quais o assistente não deve responder (legal, médico, casos que exigem humano) e de perguntas frequentes que ainda não têm documento. A primeira define o perímetro de segurança; a segunda é o seu backlog de documentação priorizado por procura real.
A ordem correta: não espere pelo 10/10
A conclusão errada desta checklist seria “primeiro corrigimos toda a documentação e depois colocamos o assistente”. Não funciona assim: sem assistente, não há feedback sobre que documentação falta ou falha, e o projeto de “corrigir a documentação” morre de abstração às três semanas.
A ordem que funciona é a inversa: lança-se o assistente sobre um subconjunto curado e fiável da documentação (mesmo que seja pequeno), com o perímetro bem fechado e com fontes citadas em cada resposta, e usa-se o que os clientes perguntam para priorizar o que documentar a seguir. As conversas falhadas de cada semana são a lista de tarefas de documentação da seguinte. Em três meses, a base de conhecimento está melhor do que nunca, não porque alguém a auditou em abstrato, mas porque cada lacuna foi assinalada por uma pergunta real.
Esse ciclo (conversas falhadas → documentação → melhor assistente) é exatamente o trabalho recorrente que o nosso assistente de IA inclui, e a razão pela qual deve desconfiar de qualquer projeto de chatbot que comece por “carregue os seus documentos” e não por “vejamos o que os seus clientes perguntam”.