Há uma forma de cumprir no papel a supervisão humana que não serve para nada: pôr uma pessoa à frente de uma fila de propostas do sistema com um botão de “aprovar”. Ao fim de uma semana aprova quase tudo, em poucos segundos, porque o sistema acerta na maioria das vezes e rever cada caso com cuidado não compensa a ninguém.
Esse efeito tem nome, viés de automação, e é estudado há décadas na aviação e na medicina. O AI Act cita-o expressamente. Este artigo explica o que a lei exige, porque é que a supervisão falha e como medir se funciona no seu sistema.
O que exige o AI Act
O artigo 14.º aplica-se aos sistemas de risco elevado, que no caso do Anexo III (recrutamento, crédito, seguros, educação, serviços essenciais) são obrigatórios a partir de 2 de dezembro de 2027, depois do adiamento do Omnibus Digital. O sistema tem de estar concebido para que a pessoa que o supervisiona possa:
- Compreender as suas capacidades e limitações, e acompanhar o seu funcionamento para detetar anomalias.
- Estar consciente da tendência para confiar em excesso no que o sistema propõe, o viés de automação, em especial quando o sistema dá recomendações para uma pessoa decidir.
- Interpretar corretamente o seu resultado.
- Decidir não o usar, ou ignorar, anular ou reverter o que propõe.
- Intervir ou pará-lo.
O artigo 26.º acrescenta a parte da empresa que o usa: tem de atribuir a supervisão a pessoas com a competência, a formação e a autoridade necessárias, e dar-lhes o apoio de que precisem. É aqui que se cruza com a literacia em IA.
Porque é que a supervisão falha
Em 2010, Raja Parasuraman e Dietrich Manzey reviram a investigação sobre a forma como as pessoas usam sistemas automáticos em cockpits de avião, no diagnóstico médico e no controlo industrial (Complacency and Bias in Human Use of Automation). Duas conclusões aplicam-se diretamente à IA:
- Quanto mais fiável é o sistema, menos se revê. Se acerta em 95% das vezes, a pessoa deixa de procurar os 5% restantes. Aprovar sem olhar é a estratégia que melhor funciona no dia a dia, até ao dia em que falha.
- A experiência e a formação não o eliminam. Os especialistas também o sofrem. O que reduz o efeito é o desenho da tarefa: que informação se vê, por que ordem e que consequências tem errar.
O caso europeu mais conhecido é o dos subsídios de guarda de crianças nos Países Baixos. A administração fiscal usou um modelo de risco para assinalar possíveis fraudes, e os sinais do modelo foram tratados como provas: milhares de famílias tiveram de devolver subsídios a que tinham direito. O governo demitiu-se em janeiro de 2021, e a autoridade de proteção de dados multou depois a administração fiscal por usar a nacionalidade no tratamento. Havia pessoas no processo, mas na prática quem decidia era o sistema.
Como desenhá-la para que funcione
Mostre a evidência e não só a conclusão. “Candidato excluído” não se pode rever. “Excluído porque não tem a licenciatura X: no CV aparece Y” já se pode. Se o sistema não consegue explicar em que se baseia, a pessoa não tem nada para verificar.
Peça a decisão antes de mostrar a proposta, numa parte dos casos. Numa amostra, a pessoa decide primeiro e só depois vê o que o sistema propunha. Se quase sempre coincidem, ótimo. Se a pessoa coincide muito mais quando vê a proposta antes, está a copiar.
Separe o que não pode ficar sem revisão. Excluir um candidato, recusar um serviço ou marcar alguém como suspeito de fraude são decisões que prejudicam uma pessoa, e aí a revisão tem de ser completa. Classificar um ticket ou sugerir uma resposta pode rever-se por amostragem.
Faça com que discordar custe o mesmo que aprovar. Se aprovar é um clique e rejeitar obriga a preencher um formulário de cinco campos, o desenho empurra para aprovar. Peça uma razão nos dois casos, ou em nenhum.
Limite a carga. Uma pessoa com 400 casos por dia não supervisiona nada. Calcule quanto tempo exige um caso bem revisto e dimensione a equipa com esse número.
Ponha um botão para parar. Alguém tem de poder desativar o sistema e voltar ao processo manual sem pedir autorização a três departamentos. E esse processo manual tem de continuar a existir.
Como medir se funciona
Três métricas, da mais fácil à mais reveladora:
| Métrica | O que indica | Sinal de alarme |
|---|---|---|
| Taxa de aprovação | Quanto se corrige o sistema | Acima de 98-99% de forma sustentada, quando se sabe que o sistema erra mais do que isso |
| Tempo por revisão | Se há tempo para rever alguma coisa | Segundos em casos que exigem ler um documento |
| Deteção de casos de controlo | Se a pessoa encontra os erros | Menos de metade dos erros introduzidos de propósito detetados |
A terceira é a que informa de verdade. Consiste em pôr na fila, de tempos a tempos, propostas do sistema que sabe que estão erradas (um candidato bem qualificado marcado como excluído, um pedido correto marcado como fraude) e contar quantas a pessoa deteta. É a mesma ideia que os controlos de segurança dos aeroportos usam com malas de teste. Se os casos de controlo passam sem que ninguém os veja, os erros reais também passam.
Estas métricas têm de ser registadas por pessoa e por período, e revistas. Não servem para sancionar quem supervisiona: uma taxa de deteção baixa costuma indicar um problema de desenho da tarefa, de carga ou de formação.
Por onde começar
Se já tem um sistema com revisão humana, extraia a taxa de aprovação e o tempo médio por caso dos últimos três meses. Costuma bastar para ver se a revisão é real. Se os números saírem mal, a correção começa pelo desenho do ecrã de revisão, antes da formação.
Medir a supervisão humana é uma das provas da nossa auditoria de IA responsável, juntamente com os testes de viés e a revisão de transparência. Encontra o calendário completo de obrigações no guia do AI Act.