Prinzipien vertrauenswürdiger KI auf die Prüfung zuschneiden
Die Aufgabe
Leitlinien für vertrauenswürdige KI gibt es reichlich, alle allgemein. Ein Beruf, in dem ein Mensch für sein Urteil haftet, braucht wenige und bestimmte.
Kernprinzipien vertrauenswürdiger KI, aus siebenunddreißig Prinzipien der Literatur auf den Berufsstand reduziert — drei davon als zentral bewertet
Wirtschaftsprüfer, die die Prinzipien im bewertet haben, mit anschließender Quantifizierung über einen Fragebogen
Ausprägungen der Transparenz unterschieden — interpretierbar, erklärbar und nutzerzentriert nachvollziehbar
Kurz zum Kunden
Berufsverband der Wirtschaftsprüfer. Er vertritt die Interessen des Berufsstands, gibt fachliche Verlautbarungen heraus und erreicht mit ihnen Prüfungsgesellschaften jeder Größe — von den großen Häusern bis zur Einzelkanzlei. Das prägt jede Arbeit für ihn: Was er veröffentlicht, wird Orientierung für einen ganzen Beruf, und es muss für die kleine Kanzlei genauso anwendbar sein wie für die große.
Unsere Lösung
Transparenz ist kein Zustand, sondern drei verschiedene Dinge. Wer sie nicht unterscheidet, kann sie nicht fordern.
Die Aufgabe
Der Berufsstand hat ein Problem, das nach einem Luxusproblem klingt und keines ist: Es gibt zu viele Leitlinien für vertrauenswürdige Künstliche Intelligenz. Aus Wissenschaft und Praxis liegen Kataloge von Prinzipien vor, alle allgemein formuliert, keiner auf eine Situation zugeschnitten, in der ein Mensch mit Berufsaufsicht für sein Urteil persönlich einsteht. Für einen Prüfer ist die entscheidende Frage nicht, ob ein System ethisch umgesetzt ist, sondern ob er dessen Ergebnis in seinem Urteil verwenden darf — und das hängt daran, ob er es begründen kann. Die Aufgabe ist deshalb, aus der Fülle das Wenige zu bestimmen, das für diesen Beruf zählt, und den Begriff Transparenz so aufzuschlüsseln, dass man ihn anwenden kann. Zu einem Zeitpunkt, als das Thema noch keine Regulierung hatte.
Unser Ansatz
Siebenunddreißig auf neun, dann auf drei. Der Weg ist die Methode: erst alles erheben, was in der Literatur als Prinzip vertrauenswürdiger KI geführt wird, dann mit den Fachleuten des Verbands auf eine handhabbare Zahl reduzieren, dann von den Praktikern bewerten lassen. Am Ende standen drei Prinzipien, die für diesen Beruf zählen — Robustheit, Transparenz und Rechtssicherheit. Ein Katalog mit siebenunddreißig Punkten wird zitiert; drei Prinzipien werden angewendet.
Bewertet haben Praktiker, nicht Fachleute für Ethik. Zwanzig Wirtschaftsprüfer haben die Kernprinzipien im nach ihrer Relevanz für den Berufsstand beurteilt, und die Eindrücke wurden im Nachgang über einen Fragebogen quantifiziert. Der Unterschied zu einer Literaturarbeit ist nicht die Genauigkeit, sondern die Verbindlichkeit: Prinzipien, die der Berufsstand selbst als seine benannt hat, lassen sich in Verlautbarungen aufnehmen.
Transparenz in drei Ausprägungen, weil die Unterscheidung entscheidet. Ein interpretierbares System — ein Regelwerk, ein Entscheidungsbaum — wird von einem Fachkundigen unmittelbar verstanden. Ein erklärbares System wird nicht verstanden, sondern erklärt, global über sein Gesamtverhalten oder lokal für eine einzelne Entscheidung. Nachvollziehbarkeit schließlich ist keine Eigenschaft des Systems, sondern des Verhältnisses zum Nutzenden: Dieselbe Erklärung genügt einem Data Scientist und nicht einem Prüfungsassistenten. Wer diese drei nicht trennt, schreibt Anforderungen, die niemand prüfen kann.
Die Einsatzart bestimmt, wie viel Transparenz nötig ist. Zwischen einem System, das einen Vorschlag macht, und einem, das autonom handelt, liegt nicht ein Reifegrad, sondern ein anderer Verantwortungsübergang. Deshalb wurden die Ausprägungen der Transparenz gegen die Einsatzarten gestellt und gegen die Stellen im Prüfungsprozess, an denen sie vorkommen. Damit wird aus einem Prinzip eine Anforderung, die man an ein konkretes System richten kann.
Früh, und das ist rückblickend der Punkt. Die Arbeit fand statt, bevor es Regulierung zu diesem Thema gab und bevor Erklärbarkeit ein Schlagwort war. Für einen Berufsstand ist das die richtige Reihenfolge: Wer erst reagiert, wenn die Anforderungen von außen kommen, muss sie annehmen. Wer vorher bestimmt hat, welche Prinzipien für ihn zählen, kann sie einbringen.
Das Ergebnis
Aus der und praktischen Literatur sind die vorhandenen Leitlinien erhoben und die darin enthaltenen Prinzipien zu siebenunddreißig zusammengefasst worden.
Gemeinsam mit Fachleuten des Verbands sind sie auf neun Kernprinzipien reduziert worden — Robustheit, Transparenz, Rechenschaftspflicht, Rechtssicherheit, verantwortungsvolle Datennutzung, , Messbarkeit des Mehrwerts, wirtschaftliche Nachhaltigkeit und Bewusstsein für Missbrauch. Diese neun sind in einem mit zwanzig Wirtschaftsprüfern nach Relevanz für den Berufsstand bewertet und die Eindrücke anschließend über einen Fragebogen quantifiziert worden.
Als zentral für die Prüfung erwiesen sich drei: Robustheit, Transparenz und Rechtssicherheit. Transparenz ist als übergreifendes Prinzip gesondert aufgeschlüsselt worden — in interpretierbare Systeme, deren Entscheidungen ein Fachkundiger von sich aus versteht, in erklärbare Systeme, bei denen Informationen über das Gesamtverhalten oder über einzelne Entscheidungen gesammelt und aufbereitet werden, und in nutzerzentrierte Nachvollziehbarkeit, die davon abhängt, wie viel fachliche und technische Kenntnis der Nutzende mitbringt.
Dazu die Analyse, welche Ausprägung zu welcher Einsatzart passt — von der reinen Assistenz bis zum autonom handelnden System — und an welchen Stellen des Prüfungsprozesses sie anwendbar ist. Festgehalten in einem Whitepaper und einem Fachaufsatz.
Diese Leistungen steckten im Projekt
Weitere Projekte
Alle Referenzen ansehen


Kontakt
Sprechen Sie uns an
Schreiben Sie uns eine Zeile. Wir ordnen Ihre Frage ein und melden uns.
