Em 2019, três investigadores do ETH de Zurique reuniram todas as diretrizes de ética da IA que encontraram publicadas por empresas, governos e organizações. Contaram 84 documentos. Os princípios que mais se repetiam eram cinco: transparência, justiça, não causar dano, responsabilidade e privacidade. Desde então a lista cresceu, e muitas empresas de média dimensão já têm a sua própria página de “princípios de IA responsável”.
Essa página não diz se o seu chatbot trata uma cliente chamada Lúcia da mesma forma que uma chamada Fátima. Para o saber, é preciso enviar-lhe as duas conversas e comparar as respostas. Este post é sobre esse passo: como passar de um princípio a um teste que se possa executar, medir e repetir.
Porque é que os princípios não chegam
No mesmo ano, o filósofo Brent Mittelstadt publicou um artigo com um título que resume tudo: Principles alone cannot guarantee ethical AI. O argumento compara a IA com a medicina, de onde vem a abordagem por princípios (autonomia, beneficência, não maleficência, justiça). Na medicina os princípios funcionam porque assentam em quatro coisas que no desenvolvimento de software não existem:
- Um fim partilhado. O médico trabalha para a saúde do doente. Uma equipa de produto trabalha para a empresa, e os interesses do utilizador às vezes coincidem e às vezes não.
- Uma profissão com história. Séculos de casos, normas deontológicas e ordens profissionais que interpretam o que significa “não causar dano” em cada situação.
- Métodos para descer do princípio ao caso. Comissões de ética, protocolos clínicos, consentimento informado.
- Consequências por incumprimento. Um médico pode perder a cédula profissional. Um programador que publica um modelo enviesado, por agora, não.
A conclusão prática para uma empresa é que o princípio só faz alguma coisa quando alguém o converte num teste com um limiar e lhe atribui um responsável.
Os sete requisitos europeus e o teste que corresponde a cada um
O grupo de peritos de alto nível da Comissão Europeia publicou em 2019 sete requisitos para uma IA de confiança. São o antecedente direto do AI Act, por isso faz sentido partir deles. Esta é a tradução que usamos para um sistema típico de empresa, como um chatbot de apoio ao cliente ou um assistente que organiza pedidos:
| Requisito | Pergunta concreta | Teste |
|---|---|---|
| Ação e supervisão humanas | Uma pessoa consegue rever e anular o que o sistema decide? Fá-lo de facto? | Medir a taxa de aprovação e o tempo por revisão de quem supervisiona |
| Solidez técnica e segurança | O que faz o sistema com perguntas fora do seu âmbito ou com tentativas de o manipular? | Bateria de perguntas fora de âmbito e de injeção de instruções |
| Privacidade e governação dos dados | Que dados pessoais saem para o fornecedor do modelo e onde são tratados? | Revisão das chamadas à API e do contrato de tratamento de dados |
| Transparência | O utilizador sabe que está a falar com uma IA? É possível reconstruir porque respondeu algo? | Verificar o aviso na primeira resposta e que cada resposta fica registada com o seu contexto |
| Diversidade e não discriminação | A resposta muda se mudar o nome, o género ou a idade do utilizador? | Testes contrafactuais: pares de conversas idênticas exceto nesse dado |
| Bem-estar social e ambiental | O sistema empurra o utilizador para decisões que o prejudicam? | Revisão dos casos em que o sistema recomenda ou vende |
| Responsabilização | Quem responde se o sistema se enganar? O utilizador pode reclamar? | Um responsável com nome por sistema e um canal de reclamação que chegue a uma pessoa |
Nenhum destes testes precisa de uma equipa de investigação. Os contrafactuais, por exemplo, seguem a mesma ideia que Bertrand e Mullainathan usaram em 2004 para medir a discriminação na contratação: enviaram currículos idênticos com nomes diferentes e contaram quantos recebiam chamada. Com um modelo de linguagem pode fazer-se o mesmo com centenas de pares numa tarde, e avaliar as diferenças de tom com um LLM como juiz calibrado com revisão humana.
Quando dois princípios colidem
A parte que os códigos de ética mais evitam é que os princípios entram em conflito, e é aí que a ética deixa de ser uma lista e passa a ser uma decisão.
Equidade contra equidade. Em 2016, a ProPublica analisou o COMPAS, um sistema que pontua o risco de reincidência nos Estados Unidos, e descobriu que se enganava mais com os arguidos negros, classificando-os como de alto risco. A empresa respondeu que o sistema estava igualmente bem calibrado para os dois grupos: a mesma pontuação significava a mesma probabilidade de reincidir. As duas coisas eram verdade ao mesmo tempo. Nesse mesmo ano, Kleinberg, Mullainathan e Raghavan demonstraram que, salvo em casos excecionais, é matematicamente impossível cumprir ao mesmo tempo as duas definições de equidade quando os grupos têm taxas de base diferentes. É preciso escolher qual importa mais no seu caso, e essa escolha não pode ser feita pelo modelo.
Transparência contra privacidade. Para poder explicar porque o sistema disse algo, é preciso guardar a conversa inteira com o seu contexto. Para minimizar dados pessoais, como pede o RGPD, convém guardar o mínimo possível. A saída habitual é guardar tudo durante um período curto, pseudonimizado, e conservar por mais tempo apenas os casos marcados como incidente. É um compromisso, e deve ficar escrito como tal.
Supervisão humana contra custo. Rever cada decisão de um sistema elimina boa parte da poupança que justificava automatizar. Rever uma amostra é mais barato, mas deixa decisões por rever. A pergunta útil é que decisões não podem ficar sem revisão (excluir um candidato, recusar um serviço) e quais podem (classificar um ticket).
Nos três casos, o que se pode exigir a uma empresa é o mesmo: decidir de forma explícita, escrever o motivo e pôr o nome de quem decidiu. É isto que faltava a Mittelstadt: um método para descer do princípio ao caso, ainda que modesto.
Que parte é obrigatória
O AI Act transformou em lei uma parte desses sete requisitos, com datas diferentes:
- Desde agosto de 2026, qualquer chatbot tem de informar que é uma IA e o conteúdo sintético tem de ir marcado (artigo 50.º).
- A partir de dezembro de 2027, após o adiamento introduzido pelo Omnibus Digital, os sistemas de risco elevado (recrutamento, crédito, seguros, educação, serviços essenciais) precisam de gestão de riscos, dados de qualidade, registos, supervisão humana e, em alguns casos, uma avaliação de impacto sobre os direitos fundamentais.
Explicamo-lo com mais detalhe no nosso guia do AI Act. Os restantes requisitos, como o bem-estar do utilizador ou o que fazer quando a equidade colide consigo mesma, ficam fora da lei para a maioria dos sistemas e dependem do que cada empresa decidir.
Por onde começar numa PME
- Faça um inventário. Registe cada sistema de IA usado na empresa, incluindo as funções de IA do CRM, do ATS ou do helpdesk. Costuma haver mais do que a direção pensa.
- Escolha um sistema que afete pessoas e escreva três perguntas da tabela acima que se lhe apliquem.
- Converta cada pergunta num teste com um limiar. Por exemplo: “em 200 pares de conversas que só mudam o nome, a diferença na taxa de respostas que oferecem uma solução não ultrapassa os dois pontos”.
- Execute-o, guarde o resultado e repita-o sempre que mudar de modelo ou de prompt. O comportamento de um LLM muda com cada versão, e um teste que passou em março não diz nada sobre a versão de junho.
- Documente os conflitos que surgirem e quem decidiu o quê.
Se preferir que sejamos nós a fazê-lo, fazemos auditorias de IA responsável: inventário, baterias de testes sobre os sistemas que importam e um relatório com um plano de ação que sirva à sua equipa técnica e ao seu assessor jurídico.