Esiste un modo di rispettare sulla carta l’obbligo di sorveglianza umana che non serve a nulla: mettere una persona davanti a una coda di proposte del sistema con un pulsante “approva”. Dopo una settimana approva quasi tutto, in pochi secondi, perché il sistema ci azzecca quasi sempre e controllare con cura ogni caso non conviene a nessuno.
Questo effetto ha un nome, bias di automazione, ed è studiato da decenni nell’aviazione e in medicina. L’AI Act lo cita espressamente. Questo post spiega cosa richiede la legge, perché la sorveglianza fallisce e come misurare se nel tuo sistema funziona.
Cosa richiede l’AI Act
L’articolo 14 si applica ai sistemi ad alto rischio, che nel caso dell’Allegato III (selezione del personale, credito, assicurazioni, istruzione, servizi essenziali) diventano obbligatori dal 2 dicembre 2027, dopo il rinvio introdotto dall’Omnibus digitale. Il sistema deve essere progettato in modo che la persona che lo sorveglia possa:
- Capirne le capacità e i limiti, e monitorarne il funzionamento per individuare anomalie.
- Essere consapevole della tendenza a fidarsi troppo di ciò che il sistema propone, il bias di automazione, in particolare quando il sistema fornisce raccomandazioni su cui deve decidere una persona.
- Interpretarne correttamente l’output.
- Decidere di non usarlo, oppure ignorare, annullare o ribaltare ciò che propone.
- Intervenire o fermarlo.
L’articolo 26 aggiunge la parte che spetta all’azienda che lo usa, il deployer: deve affidare la sorveglianza a persone con la competenza, la formazione e l’autorità necessarie, e dare loro il supporto di cui hanno bisogno. Qui si incrocia con l’alfabetizzazione in materia di IA.
Perché la sorveglianza fallisce
Nel 2010 Raja Parasuraman e Dietrich Manzey hanno passato in rassegna la ricerca su come le persone usano i sistemi automatici nelle cabine di pilotaggio, nella diagnosi medica e nel controllo industriale (Complacency and Bias in Human Use of Automation). Due conclusioni valgono direttamente per l’IA:
- Più il sistema è affidabile, meno lo si controlla. Se ci azzecca il 95% delle volte, la persona smette di cercare il restante 5%. Approvare senza guardare è la strategia che funziona meglio giorno per giorno, fino al giorno in cui fallisce.
- Esperienza e formazione non lo eliminano. Anche gli esperti ne soffrono. Quello che riduce l’effetto è il disegno del compito: quali informazioni si vedono, in che ordine e che conseguenze ha sbagliare.
Il caso europeo più noto è quello dei sussidi per l’assistenza all’infanzia nei Paesi Bassi. L’amministrazione fiscale ha usato un modello di rischio per segnalare possibili frodi, e le segnalazioni del modello sono state trattate come prove: migliaia di famiglie hanno dovuto restituire sussidi che spettavano loro. Il governo si è dimesso nel gennaio 2021 e l’autorità per la protezione dei dati ha poi multato l’amministrazione fiscale per aver usato la nazionalità nel trattamento. Nel processo c’erano persone, ma in pratica decideva il sistema.
Come progettarla perché funzioni
Mostra le prove e non solo la conclusione. “Candidato scartato” non si può verificare. “Scartato perché non ha la laurea X: nel CV compare Y” sì. Se il sistema non sa spiegare su cosa si basa, la persona non ha nulla da controllare.
Chiedi la decisione prima di mostrare la proposta, in una parte dei casi. Su un campione, la persona decide prima e solo dopo vede cosa proponeva il sistema. Se quasi sempre coincidono, bene. Se la persona concorda molto di più quando vede prima la proposta, sta copiando.
Separa ciò che non può restare senza revisione. Scartare un candidato, negare un servizio o segnalare qualcuno come sospetto di frode sono decisioni che danneggiano una persona, e lì la revisione deve essere completa. Classificare un ticket o suggerire una risposta si può controllare a campione.
Fai in modo che dissentire costi quanto approvare. Se approvare è un clic e rifiutare obbliga a compilare un modulo di cinque campi, il design spinge ad approvare. Chiedi una motivazione in entrambi i casi, o in nessuno.
Limita il carico. Una persona con 400 casi al giorno non sorveglia niente. Calcola quanto tempo richiede un caso controllato bene e dimensiona il team su quel numero.
Metti un pulsante per fermarlo. Qualcuno deve poter disattivare il sistema e tornare al processo manuale senza chiedere il permesso a tre reparti. E quel processo manuale deve continuare a esistere.
Come misurare se funziona
Tre metriche, dalla più facile alla più rivelatrice:
| Metrica | Cosa indica | Segnale d’allarme |
|---|---|---|
| Tasso di approvazione | Quanto si corregge il sistema | Sopra il 98-99% in modo costante, se si sa che il sistema sbaglia più di così |
| Tempo per revisione | Se c’è il tempo di controllare qualcosa | Secondi su casi che richiedono di leggere un documento |
| Individuazione dei casi di controllo | Se la persona trova gli errori | Meno della metà degli errori inseriti apposta individuati |
La terza è quella che dice davvero qualcosa. Consiste nell’inserire nella coda, ogni tanto, proposte del sistema che sai essere sbagliate (un candidato ben qualificato segnato come scartato, una domanda corretta segnalata come frode) e contare quante ne individua la persona. È la stessa idea che usano i controlli di sicurezza degli aeroporti con i bagagli di prova. Se i casi di controllo passano senza che nessuno li veda, passano anche gli errori reali.
Queste metriche vanno registrate per persona e per periodo, e riviste. Non servono a sanzionare chi esercita la sorveglianza: un tasso di individuazione basso di solito indica un problema di disegno del compito, di carico o di formazione.
Da dove cominciare
Se hai già un sistema con revisione umana, estrai il tasso di approvazione e il tempo medio per caso degli ultimi tre mesi. Di solito basta per capire se la revisione è reale. Se i numeri escono male, la correzione parte dal design della schermata di revisione, prima che dalla formazione.
Misurare la sorveglianza umana è una delle verifiche del nostro audit di IA responsabile, insieme ai test sui bias e alla revisione della trasparenza. Il calendario completo degli obblighi è nella guida all’AI Act.