Auditoría de IA que prueba el sistema, no solo la documentación
Lanzamos cientos de conversaciones contra tu chatbot, tu agente o tu sistema de scoring para ver qué hace de verdad: si trata distinto a dos personas que solo se diferencian en el nombre, si inventa condiciones que no existen, si avisa de que es una IA. Con lo que encontramos escribimos un informe que sirve a tu equipo técnico y a tu asesor legal.
Una auditoría de IA responsable comprueba cómo se comporta un sistema de inteligencia artificial frente a los principios que la empresa dice seguir y frente a las obligaciones del Reglamento europeo de IA (AI Act). En Soamee la hacemos desde la ingeniería: inventariamos los sistemas de IA de la empresa, incluidos los que vienen dentro de herramientas SaaS, los clasificamos por nivel de riesgo y lanzamos baterías de pruebas sobre los que importan. Medimos sesgos con pruebas contrafactuales, detectamos respuestas inventadas, revisamos la transparencia que exige el artículo 50 desde agosto de 2026 y la supervisión humana que exigirá el alto riesgo desde diciembre de 2027. El resultado es un informe con evidencias y un plan de acción priorizado. La valoración jurídica final corresponde al abogado de la empresa.
Seis cosas que se pueden comprobar con pruebas
Un documento de principios éticos se escribe en una tarde y no garantiza nada. Nosotros miramos lo que el sistema hace cuando alguien lo usa, y cada hallazgo va con la conversación o el registro que lo demuestra.
Inventario y nivel de riesgo
Listamos cada sistema de IA en uso: los que habéis construido, las APIs de modelos y las funciones de IA de vuestro CRM, ATS o helpdesk. Para cada uno, si sois proveedor o responsable del despliegue y en qué nivel de riesgo del AI Act cae.
Sesgos con pruebas contrafactuales
Mandamos las mismas peticiones cambiando solo un dato: el nombre, el género, la edad o el origen. Si la respuesta, el tono o la decisión cambian, lo medimos y lo documentamos con los pares de conversaciones.
Respuestas inventadas y promesas
Buscamos lo que el sistema afirma sin tener base: políticas de devolución que no existen, plazos, precios, diagnósticos. Si un chatbot promete un reembolso, la empresa responde por esa promesa.
Transparencia (artículo 50)
Si el chatbot dice que es una IA antes de que el usuario lo pregunte, si el contenido generado lleva marca y si el aviso aguanta cuando alguien intenta que el sistema finja ser una persona.
Supervisión humana real
Cuando una persona aprueba lo que propone la IA, medimos cuánto tarda, cuántas veces corrige y si tiene la información para hacerlo. Aprobar el 99% en cuatro segundos no cuenta como supervisión.
Trazabilidad y datos
Qué se registra de cada decisión, durante cuánto tiempo y quién puede consultarlo. Y qué datos personales salen hacia el proveedor del modelo, en qué región se procesan y con qué contrato.
Qué exige el AI Act y cuándo
Fechas tras el Ómnibus Digital aprobado en julio de 2026, que retrasó el alto riesgo pero dejó la transparencia y las prohibiciones como estaban.
| Desde | Qué se aplica | Qué comprobamos |
|---|---|---|
| 2 feb 2025 | Prácticas prohibidas (art. 5) y alfabetización en IA (art. 4) | Que ningún sistema manipule, puntúe socialmente o reconozca emociones en el trabajo. Qué formación tiene quien usa la IA y si está documentada. |
| 2 ago 2026 | Transparencia (art. 50): chatbots, contenido sintético y deepfakes | Que el sistema se identifique como IA y que el contenido generado vaya etiquetado donde toca. |
| 2 dic 2026 | Marcado legible por máquina en sistemas generativos que ya estaban en el mercado | Que imágenes, audio y vídeo generados lleven marca técnica, además del aviso visible. |
| 2 dic 2027 | Alto riesgo del Anexo III: empleo, crédito, seguros, educación, servicios esenciales | Gestión de riesgos, registros, supervisión humana, calidad de los datos y borrador de la evaluación de impacto en derechos fundamentales (art. 27). |
| 2 ago 2028 | Alto riesgo integrado en productos regulados (Anexo I) | Qué parte de la evaluación de conformidad del producto depende del componente de IA. |
Qué recibes
Un documento con seis apartados. Los dos primeros los lee dirección; los demás, el equipo que tiene que arreglar lo que salga.
El informe no es un dictamen jurídico ni un certificado. Para la mayoría de sistemas, el AI Act no prevé ningún certificado. Es la evidencia técnica de cómo se comporta vuestra IA, que es lo que vuestro asesor legal necesita para valorar el cumplimiento.
- 01
Resumen para dirección
Una página: qué sistemas tenéis, cuáles tienen problemas, qué urge por fecha y qué puede esperar.
- 02
Inventario de sistemas
Cada sistema con su proveedor, vuestro rol según el AI Act, su nivel de riesgo y la fecha a partir de la cual le aplica cada obligación.
- 03
Resultados de las pruebas
Qué lanzamos, cuántas veces y cómo lo evaluamos. Cada fallo va con la conversación o el registro que lo demuestra.
- 04
Mapa de obligaciones
Por sistema: qué artículo aplica, qué se cumple ya y qué falta.
- 05
Plan de acción
Priorizado por riesgo y por fecha. Separa lo que se arregla en código, lo que es un cambio de proceso y lo que tiene que revisar vuestro abogado.
- 06
Batería de pruebas reutilizable
Los casos de prueba quedan para vuestro equipo, para volver a lanzarlos cada vez que cambiéis de modelo o de prompt.
Ingeniería y ética en el mismo equipo
La auditoría la dirige Javier Manzano, fundador de Soamee. Es ingeniero de software y estudia Filosofía, y esa combinación sirve para algo práctico: convertir un principio como «no discriminar» o «que una persona pueda intervenir» en una prueba que se ejecuta, se mide y se repite.
En Soamee construimos agentes de IA, chatbots y pipelines con modelos de lenguaje para clientes. Las técnicas de la auditoría son las mismas que usamos en nuestros desarrollos: baterías de casos, evaluación con un LLM como juez calibrado contra revisión humana y registro de cada respuesta.
No somos un despacho de abogados. Trabajamos con el asesor legal de la empresa: nosotros aportamos qué hace el sistema y él decide qué significa jurídicamente.
Del inventario al plan de acción
Empezamos por saber qué IA hay en la empresa. Suele haber más de la que dirección cree.
Inventario
Entrevistas con los equipos y revisión de las herramientas contratadas. Sale la lista de sistemas, su nivel de riesgo y cuáles merecen pruebas.
Pruebas
Diseñamos y lanzamos las baterías sobre un entorno de pruebas: sesgos, respuestas inventadas, transparencia y supervisión humana.
Informe
Entregamos el informe y lo repasamos con dirección, con el equipo técnico y, si queréis, con vuestro asesor legal.
Revisión
Al cambiar de modelo o de prompt, el comportamiento cambia. Volvemos a lanzar la batería y comparamos con la vez anterior.
Preguntas frecuentes sobre auditoría de IA
¿Es obligatoria una auditoría de IA? +
El AI Act no obliga a auditar cualquier sistema. Sí obliga a cumplir transparencia en chatbots y contenido generado desde agosto de 2026, y a un sistema de gestión de riesgos, registros y supervisión humana en los sistemas de alto riesgo desde diciembre de 2027. La auditoría es la forma de saber si cumplís y de tener evidencia por escrito si alguien lo pregunta.
¿Sustituye al asesoramiento legal? +
No. Nosotros documentamos cómo se comporta el sistema y qué obligaciones técnicas le aplican. La interpretación jurídica y la responsabilidad legal son del abogado de la empresa, y el informe está pensado para que pueda trabajar con hechos.
¿Podéis auditar una herramienta SaaS que no hemos desarrollado nosotros? +
Sí, desde fuera: probamos su comportamiento con vuestra configuración y vuestros datos de prueba, y pedimos al proveedor la documentación que el AI Act le obliga a daros. Si usáis un ATS que ordena candidatos, el sistema es de alto riesgo aunque lo haya programado otro, y vosotros tenéis obligaciones como responsables del despliegue.
¿Necesitáis acceso a datos reales de clientes? +
No. Trabajamos sobre un entorno de pruebas con datos sintéticos siempre que se puede. Si hace falta revisar registros reales, se hace bajo acuerdo de confidencialidad y con los datos personales minimizados.
¿Qué tiene que ver la ética con el AI Act? +
El AI Act convierte en obligaciones una parte de los principios éticos que la Comisión Europea publicó en 2019: supervisión humana, solidez técnica, privacidad, transparencia, no discriminación y rendición de cuentas. Otra parte queda fuera de la ley y depende de lo que la empresa decida. La auditoría cubre las dos y separa en el informe lo obligatorio de lo recomendable.
¿Qué pasa si encontráis un problema grave? +
Os lo decimos en cuanto lo vemos, sin esperar al informe. Si el arreglo es técnico, podemos hacerlo nosotros o dejarlo especificado para vuestro equipo.
También te puede interesar
Cuéntanos qué IA usáis
Dinos qué sistemas tenéis, aunque sea una lista a medias: el chatbot de la web, la función de IA del CRM, el filtro de currículums. Te decimos cuáles merecen pruebas y por dónde empezaríamos.
Cuéntanos qué IA usáisCuéntanos tu reto. Te proponemos solución.
Sin compromiso. En menos de 24 h recibes una propuesta con alcance, plazos y presupuesto. Sin letra pequeña.