Einen KI-Agenten gegen den EU AI Act prüfen und zum Go-live führen

Ein Hersteller von Heiztechnik hat einen KI-Agenten für den Kundenservice entwickelt. Eingehende Kundenmails werden automatisch gelesen, mit einem Sprachmodell in drei Kategorien eingeordnet und als Ticket im Servicesystem angelegt, das zuständige Team erhält eine Benachrichtigung. Das System ist technisch fertig, es läuft auf eigenen Servern im Haus, und der Produktiv­betrieb soll beginnen. Offen ist die andere Frage: Darf es das? Ein KI-System, das Kunden­korrespondenz verarbeitet, berührt gleich mehrere Regelwerke auf einmal, und keines davon beantwortet die Frage allein. Gesucht ist deshalb kein Gutachten über Künstliche Intelligenz im Allgemeinen, sondern eine Prüfung dieses einen Systems mit einem Ergebnis, das die Geschäfts­führung vor die Entscheidung über den Go-live stellen kann — und ein Rahmen, der für die nächsten KI-Anwendungen nicht wieder von vorn beginnt.

Der bestätigende Bericht kam nach der Umsetzung, nicht davor. Der übliche Ablauf einer Prüfung ist eine Momentaufnahme: Man sieht sich das System an, schreibt auf, was fehlt, und übergibt. Was danach geschieht, ist die Sache des Kunden. Hier war es umgekehrt vereinbart. Die ersten fünf Prüfmodule liefen im März, daraus entstand der Maßnahmen­katalog. Das Unternehmen hat gearbeitet, den Stand dokumentiert und zurückgemeldet; wir haben nachgeprüft und erst im Mai die Gesamt­bewertung abgeschlossen. Ein Bericht, der einen Zustand bestätigt, den es noch nicht gibt, ist wertlos — und einer, der nur Mängel benennt, hilft niemandem über die Ziellinie.

Geprüft wurde gegen vier Rahmenwerke gleichzeitig, weil eines nicht reicht. Der EU AI Act beantwortet die Frage nach der Risikoklasse und den daraus folgenden Pflichten. Er sagt nichts darüber, auf welcher Rechts­grundlage Kundenmails verarbeitet werden dürfen, wie ein Löschkonzept aussieht oder wer Betroffenenrechte bearbeitet — das steht im Daten­schutz­recht, und weil ein Teil der Korrespondenz aus einem anderen Mitgliedstaat kommt, waren dessen nationale Besonderheiten mitzuprüfen. Wie das Unternehmen KI dauerhaft steuert, steht in keinem der beiden; dafür stand die Norm für KI-Management­systeme daneben. Vier Rahmenwerke in einer Prüfung zusammenzuführen ist aufwendiger als vier getrennte Prüfungen und der einzige Weg, an dessen Ende eine Entscheidung steht statt vier Teilbefunde.

Die Einstufung war der leichte Teil. Geringes Risiko klingt nach Entwarnung und ist keine. Die Aufgabe ist eng umgrenzt, ein Mensch entscheidet am Ende, autonome Entscheidungen mit rechtlicher Wirkung gibt es nicht — daraus folgt eine niedrige Klasse. Daraus folgt aber auch eine Reihe von Pflichten, die man erfüllen muss, gerade weil sie niemand für dringlich hält: Der Kunde muss erfahren, dass ein KI-System mitliest. Die menschliche Aufsicht muss beschrieben sein und nicht nur behauptet. Der Prompt gehört dokumentiert, das Protokoll gegen nachträgliche Änderung gesichert, die Einstufung jährlich neu bewertet. Der Aufwand einer Prüfung liegt nicht in der Klassifizierung, sondern in dem, was danach kommt.

Der Bericht sagt auch, was gut war, und er sagt, wo unsere Aussage endet. Aufgeschrieben ist ausdrücklich, dass die Verarbeitung im eigenen Haus stattfindet, dass die Einwilligung vor jeder KI-Verarbeitung einzeln eingeholt wird und damit über das gesetzlich Erforderliche hinausgeht und dass die Datenschutz-Folgenabschätzung bereits vorlag. Ebenso ausdrücklich steht im Brief an die Geschäfts­führung, dass er das fachlich-methodische Ergebnis unserer Prüfung dokumentiert, keine Rechts­beratung ist und die juristische Bewertung durch qualifizierte Rechts­beratung und den Daten­schutz­beauftragten empfohlen bleibt. Beides gehört zusammen: Wer eine Prüfung ernst nimmt, benennt ihre Reichweite.

Der zweite Teil des Auftrags war der Rahmen für alles Weitere. Ein einzelner geprüfter Arbeitsablauf ist ein guter Anfang und skaliert nicht: Jede weitere KI-Anwendung müsste erneut einzeln aufgesetzt, einzeln dokumentiert und einzeln geprüft werden. Vorgesehen war deshalb ein eigenes AI-Compliance-Framework für das Unternehmen — Rollenmodell und Freigabe­prozesse, eine unternehmens­spezifische Prüfliste mit Bewertungs­raster, Vorlagen für Risikoanalyse, Aufsichtsprotokolle und Audit-Nachweise sowie ein Betriebs­modell, das festlegt, wer eine KI-Anwendung verantwortet. Empfohlen haben wir zusätzlich, die weiteren Anwendungs­fälle systematisch zu erheben und die Agenten künftig auf einer gemeinsamen Plattform zu betreiben statt als einzelne Abläufe nebeneinander.