Ein KI-Audit, das das System testet, nicht nur die Dokumentation
Wir schicken Hunderte von Gesprächen an Ihren Chatbot, Ihren Agenten oder Ihr Scoring-System und sehen nach, was es tatsächlich tut: ob es zwei Personen unterschiedlich behandelt, die sich nur im Namen unterscheiden, ob es Bedingungen erfindet, die es nicht gibt, ob es darauf hinweist, dass es eine KI ist. Aus den Ergebnissen schreiben wir einen Bericht, mit dem Ihr Technikteam und Ihre Rechtsberatung arbeiten können.
Ein Audit verantwortungsvoller KI prüft, wie sich ein KI-System verhält, gemessen an den Grundsätzen, denen das Unternehmen nach eigener Aussage folgt, und an den Pflichten der europäischen KI-Verordnung (AI Act). Bei Soamee gehen wir das als Ingenieure an: Wir erfassen die KI-Systeme des Unternehmens, auch die, die in SaaS-Tools eingebaut sind, ordnen sie nach Risikostufe ein und führen Testreihen mit den relevanten Systemen durch. Wir messen Bias mit kontrafaktischen Tests, finden erfundene Antworten, prüfen die Transparenz, die Artikel 50 seit August 2026 verlangt, und die menschliche Aufsicht, die für Hochrisiko-Systeme ab Dezember 2027 gilt. Das Ergebnis ist ein Bericht mit Belegen und ein priorisierter Maßnahmenplan. Die abschließende rechtliche Bewertung liegt bei der Rechtsberatung des Unternehmens.
Sechs Punkte, die sich mit Tests belegen lassen
Ein Papier mit ethischen Grundsätzen ist an einem Nachmittag geschrieben und garantiert nichts. Wir schauen uns an, was das System tut, wenn jemand es benutzt, und jeder Befund kommt mit dem Gespräch oder dem Log-Eintrag, der ihn belegt.
Bestandsaufnahme und Risikostufe
Wir listen jedes KI-System im Einsatz auf: die selbst entwickelten, die Modell-APIs und die KI-Funktionen in Ihrem CRM, ATS oder Helpdesk. Für jedes System klären wir, ob Sie Anbieter oder Betreiber sind und in welche Risikostufe der KI-Verordnung es fällt.
Bias mit kontrafaktischen Tests
Wir senden dieselben Anfragen und ändern dabei nur eine Angabe: Name, Geschlecht, Alter oder Herkunft. Ändern sich Antwort, Ton oder Entscheidung, messen wir das und dokumentieren es mit den Gesprächspaaren.
Erfundene Antworten und Zusagen
Wir suchen nach Aussagen ohne Grundlage: Rückgaberegeln, die es nicht gibt, Fristen, Preise, Diagnosen. Wenn ein Chatbot eine Erstattung verspricht, haftet das Unternehmen für dieses Versprechen.
Transparenz (Artikel 50)
Ob der Chatbot sagt, dass er eine KI ist, bevor der Nutzer fragt, ob generierte Inhalte gekennzeichnet sind und ob der Hinweis auch dann bestehen bleibt, wenn jemand versucht, das System als Mensch auftreten zu lassen.
Echte menschliche Aufsicht
Wenn eine Person freigibt, was die KI vorschlägt, messen wir, wie lange sie dafür braucht, wie oft sie korrigiert und ob sie die nötigen Informationen dafür hat. 99 % Freigaben in vier Sekunden zählen nicht als Aufsicht.
Nachvollziehbarkeit und Daten
Was zu jeder Entscheidung protokolliert wird, wie lange und wer es einsehen kann. Und welche personenbezogenen Daten an den Modellanbieter gehen, in welcher Region sie verarbeitet werden und auf Grundlage welches Vertrags.
Was die KI-Verordnung verlangt und ab wann
Termine nach dem im Juli 2026 verabschiedeten Digital-Omnibus, der die Hochrisiko-Pflichten verschoben, Transparenz und Verbote aber unverändert gelassen hat.
| Ab | Was gilt | Was wir prüfen |
|---|---|---|
| 2. Feb. 2025 | Verbotene Praktiken (Art. 5) und KI-Kompetenz (Art. 4) | Dass kein System manipuliert, Social Scoring betreibt oder am Arbeitsplatz Emotionen erkennt. Welche Schulung die Personen haben, die KI nutzen, und ob sie dokumentiert ist. |
| 2. Aug. 2026 | Transparenz (Art. 50): Chatbots, synthetische Inhalte und Deepfakes | Dass sich das System als KI zu erkennen gibt und generierte Inhalte dort gekennzeichnet sind, wo es vorgeschrieben ist. |
| 2. Dez. 2026 | Maschinenlesbare Kennzeichnung bei generativen Systemen, die bereits auf dem Markt waren | Dass generierte Bilder, Audio- und Videodateien zusätzlich zum sichtbaren Hinweis eine technische Markierung tragen. |
| 2. Dez. 2027 | Hochrisiko nach Anhang III: Beschäftigung, Kredit, Versicherung, Bildung, grundlegende Dienste | Risikomanagement, Protokollierung, menschliche Aufsicht, Datenqualität und ein Entwurf der Grundrechte-Folgenabschätzung (Art. 27). |
| 2. Aug. 2028 | Hochrisiko-KI in regulierten Produkten (Anhang I) | Welcher Teil der Konformitätsbewertung des Produkts von der KI-Komponente abhängt. |
Was Sie erhalten
Ein Dokument mit sechs Abschnitten. Die ersten beiden liest die Geschäftsleitung, den Rest das Team, das die Befunde beheben muss.
Der Bericht ist weder ein Rechtsgutachten noch ein Zertifikat. Für die meisten Systeme sieht die KI-Verordnung gar kein Zertifikat vor. Er ist der technische Nachweis, wie sich Ihre KI verhält, und genau den braucht Ihre Rechtsberatung, um die Konformität zu bewerten.
- 01
Zusammenfassung für die Geschäftsleitung
Eine Seite: welche Systeme Sie haben, welche Probleme zeigen, was wegen einer Frist dringend ist und was warten kann.
- 02
Systeminventar
Jedes System mit seinem Anbieter, Ihrer Rolle nach der KI-Verordnung, seiner Risikostufe und dem Datum, ab dem jede Pflicht dafür gilt.
- 03
Testergebnisse
Was wir getestet haben, wie oft und wie wir es bewertet haben. Jeder Fehler kommt mit dem Gespräch oder Log-Eintrag, der ihn belegt.
- 04
Pflichtenübersicht
Pro System: welcher Artikel gilt, was bereits erfüllt ist und was fehlt.
- 05
Maßnahmenplan
Nach Risiko und Frist priorisiert. Er trennt, was im Code behoben wird, was eine Prozessänderung ist und was Ihre Rechtsberatung prüfen muss.
- 06
Wiederverwendbare Testreihe
Die Testfälle bleiben bei Ihrem Team, damit Sie sie bei jedem Wechsel von Modell oder Prompt erneut ausführen können.
Technik und Ethik im selben Team
Das Audit leitet Javier Manzano, Gründer von Soamee. Er ist Softwareingenieur und studiert Philosophie, und diese Kombination hat einen praktischen Nutzen: einen Grundsatz wie „nicht diskriminieren“ oder „ein Mensch muss eingreifen können“ in einen Test zu übersetzen, der läuft, gemessen und wiederholt wird.
Bei Soamee entwickeln wir KI-Agenten, Chatbots und Pipelines mit Sprachmodellen für Kunden. Im Audit nutzen wir dieselben Techniken wie in unseren eigenen Projekten: Testfallreihen, Bewertung durch ein LLM als Richter, das gegen menschliche Prüfung kalibriert ist, und die Protokollierung jeder Antwort.
Wir sind keine Anwaltskanzlei. Wir arbeiten mit der Rechtsberatung des Unternehmens zusammen: Wir zeigen, was das System tut, und sie entscheidet, was das rechtlich bedeutet.
Von der Bestandsaufnahme zum Maßnahmenplan
Zuerst klären wir, welche KI im Unternehmen im Einsatz ist. Meist ist es mehr, als die Geschäftsleitung annimmt.
Bestandsaufnahme
Gespräche mit den Teams und Durchsicht der lizenzierten Tools. Daraus entsteht die Liste der Systeme, ihre Risikostufe und welche davon Tests verdienen.
Tests
Wir entwerfen die Testreihen und führen sie in einer Testumgebung aus: Bias, erfundene Antworten, Transparenz und menschliche Aufsicht.
Bericht
Wir übergeben den Bericht und gehen ihn mit der Geschäftsleitung, dem Technikteam und auf Wunsch mit Ihrer Rechtsberatung durch.
Überprüfung
Wenn Sie Modell oder Prompt wechseln, ändert sich das Verhalten. Wir führen die Testreihe erneut aus und vergleichen mit dem letzten Durchlauf.
Häufige Fragen zum KI-Audit
Ist ein KI-Audit Pflicht? +
Die KI-Verordnung schreibt nicht für jedes System ein Audit vor. Sie verlangt aber seit August 2026 Transparenz bei Chatbots und generierten Inhalten und ab Dezember 2027 für Hochrisiko-Systeme ein Risikomanagementsystem, Protokollierung und menschliche Aufsicht. Mit dem Audit wissen Sie, ob Sie diese Pflichten erfüllen, und haben einen schriftlichen Nachweis, falls jemand danach fragt.
Ersetzt das Audit die Rechtsberatung? +
Nein. Wir dokumentieren, wie sich das System verhält und welche technischen Pflichten dafür gelten. Die rechtliche Auslegung und die rechtliche Verantwortung liegen bei der Rechtsberatung des Unternehmens, und der Bericht ist so angelegt, dass sie mit Fakten arbeiten kann.
Können Sie ein SaaS-Tool prüfen, das wir nicht selbst entwickelt haben? +
Ja, von außen: Wir testen das Verhalten mit Ihrer Konfiguration und Ihren Testdaten und fordern beim Anbieter die Dokumentation an, die er Ihnen nach der KI-Verordnung bereitstellen muss. Wenn Sie ein ATS nutzen, das Bewerber sortiert, ist das System hochriskant, auch wenn es jemand anderes programmiert hat, und Sie haben als Betreiber eigene Pflichten.
Brauchen Sie Zugriff auf echte Kundendaten? +
Nein. Wo immer möglich arbeiten wir in einer Testumgebung mit synthetischen Daten. Wenn echte Protokolle geprüft werden müssen, geschieht das unter einer Vertraulichkeitsvereinbarung und mit auf das Nötigste reduzierten personenbezogenen Daten.
Was hat Ethik mit der KI-Verordnung zu tun? +
Die KI-Verordnung macht einen Teil der ethischen Leitlinien, die die Europäische Kommission 2019 veröffentlicht hat, zu Pflichten: menschliche Aufsicht, technische Robustheit, Datenschutz, Transparenz, Nichtdiskriminierung und Rechenschaftspflicht. Ein anderer Teil liegt außerhalb des Gesetzes und hängt davon ab, was das Unternehmen entscheidet. Das Audit deckt beides ab und trennt im Bericht Pflicht und Empfehlung.
Was passiert, wenn Sie ein schwerwiegendes Problem finden? +
Wir sagen es Ihnen, sobald wir es sehen, ohne auf den Bericht zu warten. Ist die Lösung technisch, können wir sie selbst umsetzen oder für Ihr Team spezifizieren.
Das könnte Sie auch interessieren
Sagen Sie uns, welche KI Sie nutzen
Nennen Sie uns Ihre Systeme, auch wenn die Liste noch unvollständig ist: der Chatbot auf der Website, die KI-Funktion im CRM, der Lebenslauf-Filter. Wir sagen Ihnen, welche davon Tests verdienen und wo wir anfangen würden.
Sagen Sie uns, welche KI Sie nutzenErzählen Sie uns Ihre Herausforderung. Wir schlagen die Lösung vor.
Unverbindlich. Innerhalb von 24 Stunden erhalten Sie ein Angebot mit Umfang, Zeitplan und Budget. Ohne Kleingedrucktes.