Tutti i fornitori di chatbot IA (noi compresi) raccontiamo la stessa storia: “collega la tua base di conoscenza e l’assistente risponderà con le tue informazioni”. La storia è vera. Quello che quasi mai si dice è la clausola in piccolo: l’assistente risponderà con le tue informazioni così come sono, e nella maggior parte delle aziende, così come sono significa non aggiornate, contraddittorie e incomplete.
Un modello linguistico non sistema una documentazione cattiva: la amplifica. Dove prima c’era un PDF non aggiornato che quasi nessuno leggeva, ora c’è un assistente che recita quel PDF con totale sicurezza a ogni cliente che chiede. La qualità di un assistente ha un tetto, e quel tetto è la tua documentazione.
Dopo aver collegato assistenti a basi di conoscenza di settori molto diversi, questi sono i dieci problemi che troviamo continuamente. Usali come audit: se ne spunti più di tre, hai del lavoro da fare prima (o insieme) al chatbot.
La checklist
1. Ci sono contraddizioni tra documenti?
Il classico: il sito dice resi entro 30 giorni, il PDF delle condizioni dice 15, e la FAQ interna dice “chiedere al responsabile”. Un umano risolve la contraddizione con il contesto; un motore di ricerca semantico recupera una qualsiasi delle tre versioni a seconda di come viene formulata la domanda. Test rapido: scegli le tue cinque politiche più importanti e cercale in tutti i tuoi repository di contenuti. Se compaiono versioni diverse, l’assistente le servirà tutte.
2. I contenuti sono datati e versionati?
Senza date, nessuno (né tu, né l’assistente, né chi verifica un errore) può sapere quale versione di una politica era in vigore quando. Ogni documento ha bisogno di un responsabile, una data di ultima revisione e una data di prossima revisione. È noioso ed è la differenza tra poter verificare una risposta e non poterlo fare.
3. Quanta conoscenza vive solo nelle teste?
Fai questo esercizio: prendi le ultime 50 conversazioni del tuo supporto e verifica quante risposte date dal tuo team sono scritte in qualche documento. Il risultato abituale sorprende: buona parte della conoscenza reale (le eccezioni, i casi rari, il “questo in realtà si fa così”) non è documentata da nessuna parte. Quella conoscenza tribale è invisibile per qualsiasi IA. Documentarla è il lavoro di maggior valore di tutta questa lista, e nessuno può farlo al posto tuo.
4. Le domande frequenti reali hanno una risposta scritta?
Collegato ma diverso: le tue FAQ pubbliche di solito rispondono alle domande che al marketing piacerebbe ricevere, non a quelle che il supporto riceve. La fonte di verità su cosa chiedono i tuoi clienti è la tua casella dei ticket, non la tua pagina FAQ. Incrocia le due e scrivi ciò che manca.
5. I contenuti sono in formati processabili?
Un PDF scansionato, una tabella prezzi dentro un’immagine, un video tutorial senza trascrizione: per un sistema di recupero, tutto questo è rumore o silenzio. I contenuti critici devono esistere come testo strutturato (titoli chiari, un tema per sezione, tabelle come tabelle). Su come la struttura influisce sul recupero abbiamo scritto nella pagina di RAG e basi di conoscenza.
6. Ci sono contenuti orfani o zombie?
Manuali di prodotti fuori catalogo, promozioni scadute, vecchie versioni di politiche che nessuno ha cancellato. Per il motore di ricerca semantico tutto pesa uguale: una promozione del 2023 può essere il frammento più “simile” alla domanda di oggi. Prima di collegare qualsiasi cosa, serve una pulizia: cosa si cancella, cosa si archivia fuori dalla portata dell’assistente e cosa si aggiorna.
7. È chiaro cosa è pubblico e cosa è interno?
In molte aziende convivono nello stesso spazio la politica pubblica dei resi e il margine con cui si negoziano le eccezioni, il prezzo di listino e lo sconto massimo autorizzato. Se colleghi l’assistente “a tutto”, prima o poi reciterà qualcosa di interno a un cliente. La separazione pubblico/interno deve esistere nella fonte, con un criterio semplice: tutto ciò che l’assistente può leggere, lo può dire.
8. Qualcuno è proprietario di ogni area di contenuto?
“La documentazione è di tutti” significa che non è di nessuno. Ogni area (prezzi, politiche, prodotto, operatività) ha bisogno di un proprietario con nome e cognome che risponda della sua esattezza. Quando l’assistente sbaglierà (sbaglierà), la domanda “di chi è questo contenuto?” deve avere una risposta immediata.
9. Esiste un processo di aggiornamento, o solo buona volontà?
La documentazione non invecchia per pigrizia, ma perché aggiornare non fa parte di alcun processo: si cambia il prezzo nel sistema e nessuno ha il compito di cambiarlo nella documentazione. La regola che proponiamo ai nostri clienti: nessun cambio di politica, prezzo o prodotto si considera concluso finché il suo documento non è aggiornato. Senza questo, qualsiasi assistente ha una data di scadenza, come raccontiamo in perché i chatbot falliscono in produzione.
10. Sai quali domande non hanno risposta?
L’ultima e la più ignorata: mantieni una lista esplicita di temi su cui l’assistente non deve rispondere (legale, medico, casi che richiedono un umano) e di domande frequenti che ancora non hanno un documento. La prima definisce il perimetro di sicurezza; la seconda è il tuo backlog di documentazione prioritizzato in base alla domanda reale.
L’ordine giusto: non aspettare il 10/10
La conclusione sbagliata di questa checklist sarebbe “prima sistemiamo tutta la documentazione e poi mettiamo l’assistente”. Non funziona così: senza assistente, non c’è feedback su quale documentazione manca o fallisce, e il progetto di “sistemare la documentazione” muore di astrazione dopo tre settimane.
L’ordine che funziona è quello inverso: si lancia l’assistente su un sottoinsieme curato e affidabile della documentazione (anche se piccolo), con il perimetro ben chiuso e con le fonti citate in ogni risposta, e si usa ciò che i clienti chiedono per dare priorità a cosa documentare dopo. Le conversazioni fallite di ogni settimana sono la lista dei compiti di documentazione della successiva. In tre mesi, la base di conoscenza è meglio che mai, non perché qualcuno l’ha verificata in astratto, ma perché ogni lacuna l’ha segnalata una domanda reale.
Quel ciclo (conversazioni fallite → documentazione → assistente migliore) è esattamente il lavoro ricorrente incluso nel nostro assistente IA, ed è il motivo per cui dovresti diffidare di qualsiasi progetto di chatbot che cominci con “carica i tuoi documenti” e non con “vediamo cosa chiedono i tuoi clienti”.