Auditoria de IA que testa o sistema, não só a documentação
Lançamos centenas de conversas contra o seu chatbot, o seu agente ou o seu sistema de scoring para ver o que faz de facto: se trata de forma diferente duas pessoas que só diferem no nome, se inventa condições que não existem, se avisa que é uma IA. Com o que encontramos escrevemos um relatório que serve à sua equipa técnica e ao seu consultor jurídico.
Uma auditoria de IA responsável verifica como se comporta um sistema de inteligência artificial face aos princípios que a empresa diz seguir e face às obrigações do Regulamento Europeu da IA (AI Act). Na Soamee fazemo-la a partir da engenharia: inventariamos os sistemas de IA da empresa, incluindo os que vêm dentro de ferramentas SaaS, classificamo-los por nível de risco e lançamos baterias de testes sobre os que importam. Medimos enviesamentos com testes contrafactuais, detetamos respostas inventadas, revemos a transparência que o artigo 50.º exige desde agosto de 2026 e a supervisão humana que o alto risco exigirá a partir de dezembro de 2027. O resultado é um relatório com evidências e um plano de ação priorizado. A avaliação jurídica final cabe ao advogado da empresa.
Seis coisas que se podem comprovar com testes
Um documento de princípios éticos escreve-se numa tarde e não garante nada. Nós olhamos para o que o sistema faz quando alguém o usa, e cada constatação vem acompanhada da conversa ou do registo que a demonstra.
Inventário e nível de risco
Listamos cada sistema de IA em uso: os que a empresa construiu, as APIs de modelos e as funções de IA do seu CRM, ATS ou helpdesk. Para cada um, se a empresa é fornecedora ou responsável pela implantação e em que nível de risco do AI Act se enquadra.
Enviesamentos com testes contrafactuais
Enviamos os mesmos pedidos mudando apenas um dado: o nome, o género, a idade ou a origem. Se a resposta, o tom ou a decisão mudam, medimo-lo e documentamo-lo com os pares de conversas.
Respostas inventadas e promessas
Procuramos o que o sistema afirma sem fundamento: políticas de devolução que não existem, prazos, preços, diagnósticos. Se um chatbot promete um reembolso, a empresa responde por essa promessa.
Transparência (artigo 50.º)
Se o chatbot diz que é uma IA antes de o utilizador perguntar, se o conteúdo gerado vem marcado e se o aviso se mantém quando alguém tenta que o sistema finja ser uma pessoa.
Supervisão humana real
Quando uma pessoa aprova o que a IA propõe, medimos quanto tempo demora, quantas vezes corrige e se tem a informação necessária para o fazer. Aprovar 99% em quatro segundos não conta como supervisão.
Rastreabilidade e dados
O que fica registado de cada decisão, durante quanto tempo e quem o pode consultar. E que dados pessoais saem para o fornecedor do modelo, em que região são tratados e com que contrato.
O que o AI Act exige e quando
Datas após o Omnibus Digital aprovado em julho de 2026, que adiou o alto risco mas deixou a transparência e as proibições como estavam.
| Desde | O que se aplica | O que verificamos |
|---|---|---|
| 2 fev 2025 | Práticas proibidas (art. 5.º) e literacia em IA (art. 4.º) | Que nenhum sistema manipule, faça pontuação social ou reconheça emoções no trabalho. Que formação tem quem usa a IA e se está documentada. |
| 2 ago 2026 | Transparência (art. 50.º): chatbots, conteúdo sintético e deepfakes | Que o sistema se identifique como IA e que o conteúdo gerado esteja etiquetado onde deve. |
| 2 dez 2026 | Marcação legível por máquina em sistemas generativos que já estavam no mercado | Que imagens, áudio e vídeo gerados levem marca técnica, além do aviso visível. |
| 2 dez 2027 | Alto risco do Anexo III: emprego, crédito, seguros, educação, serviços essenciais | Gestão de riscos, registos, supervisão humana, qualidade dos dados e rascunho da avaliação de impacto sobre os direitos fundamentais (art. 27.º). |
| 2 ago 2028 | Alto risco integrado em produtos regulados (Anexo I) | Que parte da avaliação de conformidade do produto depende do componente de IA. |
O que recebe
Um documento com seis secções. As duas primeiras são para a direção; as restantes, para a equipa que tem de corrigir o que aparecer.
O relatório não é um parecer jurídico nem um certificado. Para a maioria dos sistemas, o AI Act não prevê qualquer certificado. É a evidência técnica de como se comporta a sua IA, que é aquilo de que o seu consultor jurídico precisa para avaliar o cumprimento.
- 01
Resumo para a direção
Uma página: que sistemas tem, quais têm problemas, o que é urgente por data e o que pode esperar.
- 02
Inventário de sistemas
Cada sistema com o seu fornecedor, o papel da empresa segundo o AI Act, o seu nível de risco e a data a partir da qual lhe é aplicável cada obrigação.
- 03
Resultados dos testes
O que lançámos, quantas vezes e como o avaliámos. Cada falha vem com a conversa ou o registo que a demonstra.
- 04
Mapa de obrigações
Por sistema: que artigo se aplica, o que já se cumpre e o que falta.
- 05
Plano de ação
Priorizado por risco e por data. Separa o que se corrige em código, o que é uma mudança de processo e o que o seu advogado tem de rever.
- 06
Bateria de testes reutilizável
Os casos de teste ficam com a sua equipa, para os voltar a lançar sempre que mudar de modelo ou de prompt.
Engenharia e ética na mesma equipa
A auditoria é dirigida por Javier Manzano, fundador da Soamee. É engenheiro de software e estuda Filosofia, e essa combinação serve para algo prático: converter um princípio como «não discriminar» ou «que uma pessoa possa intervir» num teste que se executa, se mede e se repete.
Na Soamee construímos agentes de IA, chatbots e pipelines com modelos de linguagem para clientes. As técnicas da auditoria são as mesmas que usamos nos nossos desenvolvimentos: baterias de casos, avaliação com um LLM como juiz calibrado contra revisão humana e registo de cada resposta.
Não somos um escritório de advogados. Trabalhamos com o consultor jurídico da empresa: nós mostramos o que o sistema faz e ele decide o que isso significa juridicamente.
Do inventário ao plano de ação
Começamos por saber que IA existe na empresa. Costuma haver mais do que a direção pensa.
Inventário
Entrevistas com as equipas e revisão das ferramentas contratadas. Daqui sai a lista de sistemas, o seu nível de risco e quais merecem testes.
Testes
Desenhamos e lançamos as baterias num ambiente de testes: enviesamentos, respostas inventadas, transparência e supervisão humana.
Relatório
Entregamos o relatório e revemo-lo com a direção, com a equipa técnica e, se quiser, com o seu consultor jurídico.
Revisão
Quando muda de modelo ou de prompt, o comportamento muda. Voltamos a lançar a bateria e comparamos com a vez anterior.
Perguntas frequentes sobre auditoria de IA
Uma auditoria de IA é obrigatória? +
O AI Act não obriga a auditar qualquer sistema. Obriga, sim, a cumprir a transparência em chatbots e conteúdo gerado desde agosto de 2026, e a ter um sistema de gestão de riscos, registos e supervisão humana nos sistemas de alto risco a partir de dezembro de 2027. A auditoria é a forma de saber se cumpre e de ter evidência por escrito se alguém perguntar.
Substitui o aconselhamento jurídico? +
Não. Nós documentamos como se comporta o sistema e que obrigações técnicas lhe são aplicáveis. A interpretação jurídica e a responsabilidade legal são do advogado da empresa, e o relatório está pensado para que ele possa trabalhar com factos.
Podem auditar uma ferramenta SaaS que não fomos nós a desenvolver? +
Sim, de fora: testamos o seu comportamento com a sua configuração e os seus dados de teste, e pedimos ao fornecedor a documentação que o AI Act o obriga a entregar-lhe. Se usa um ATS que ordena candidatos, o sistema é de alto risco embora tenha sido programado por outros, e a sua empresa tem obrigações como responsável pela implantação.
Precisam de acesso a dados reais de clientes? +
Não. Sempre que possível trabalhamos num ambiente de testes com dados sintéticos. Se for preciso rever registos reais, faz-se ao abrigo de um acordo de confidencialidade e com os dados pessoais minimizados.
O que tem a ética a ver com o AI Act? +
O AI Act converte em obrigações uma parte dos princípios éticos que a Comissão Europeia publicou em 2019: supervisão humana, solidez técnica, privacidade, transparência, não discriminação e responsabilização. Outra parte fica fora da lei e depende do que a empresa decidir. A auditoria cobre as duas e separa no relatório o obrigatório do recomendável.
O que acontece se encontrarem um problema grave? +
Dizemos-lhe assim que o vemos, sem esperar pelo relatório. Se a correção for técnica, podemos fazê-la nós ou deixá-la especificada para a sua equipa.
Também lhe pode interessar
Diga-nos que IA usa
Diga-nos que sistemas tem, mesmo que seja uma lista a meio: o chatbot do site, a função de IA do CRM, o filtro de currículos. Dizemos-lhe quais merecem testes e por onde começaríamos.
Diga-nos que IA usaConte-nos seu desafio. Propomos uma solução.
Sem compromisso. Em menos de 24 horas, você recebe uma proposta com escopo, cronograma e orçamento. Sem letras miúdas.