Zum Inhalt springen
Strategion GmbH

Prinzipien vertrauens­würdiger KI auf die Prüfung zuschneiden

Die Aufgabe

Leitlinien für vertrauens­würdige KI gibt es reichlich, alle allgemein. Ein Beruf, in dem ein Mensch für sein Urteil haftet, braucht wenige und bestimmte.

Kunde
Berufsverband der Wirtschafts­prüfer
Branche
Finanz- und Prüfungs­wirtschaft
Dauer
Workshopreihe über zwei Jahre
Prinzipien vertrauenswürdiger KI auf die Prüfung zuschneiden
9

Kernprinzipien vertrauens­würdiger KI, aus siebenunddreißig Prinzipien der Literatur auf den Berufsstand reduziert — drei davon als zentral bewertet

20

Wirtschafts­prüfer, die die Prinzipien im Fokusgruppengespräch bewertet haben, mit anschließender Quantifizierung über einen Fragebogen

3

Ausprägungen der Transparenz unterschieden — interpretierbar, erklärbar und nutzerzentriert nachvoll­ziehbar

Kurz zum Kunden

Berufsverband der Wirtschafts­prüfer. Er vertritt die Interessen des Berufsstands, gibt fachliche Verlautbarungen heraus und erreicht mit ihnen Prüfungs­gesellschaften jeder Größe — von den großen Häusern bis zur Einzelkanzlei. Das prägt jede Arbeit für ihn: Was er veröffentlicht, wird Orientierung für einen ganzen Beruf, und es muss für die kleine Kanzlei genauso anwendbar sein wie für die große.

Unsere Lösung

Transparenz ist kein Zustand, sondern drei verschiedene Dinge. Wer sie nicht unterscheidet, kann sie nicht fordern.

Die Aufgabe

Der Berufsstand hat ein Problem, das nach einem Luxusproblem klingt und keines ist: Es gibt zu viele Leitlinien für vertrauens­würdige Künstliche Intelligenz. Aus Wissenschaft und Praxis liegen Kataloge von Prinzipien vor, alle allgemein formuliert, keiner auf eine Situation zugeschnitten, in der ein Mensch mit Berufsaufsicht für sein Urteil persönlich einsteht. Für einen Prüfer ist die entscheidende Frage nicht, ob ein System ethisch umgesetzt ist, sondern ob er dessen Ergebnis in seinem Urteil verwenden darf — und das hängt daran, ob er es begründen kann. Die Aufgabe ist deshalb, aus der Fülle das Wenige zu bestimmen, das für diesen Beruf zählt, und den Begriff Transparenz so aufzuschlüsseln, dass man ihn anwenden kann. Zu einem Zeitpunkt, als das Thema noch keine Regulierung hatte.

Unser Ansatz

Siebenunddreißig auf neun, dann auf drei. Der Weg ist die Methode: erst alles erheben, was in der Literatur als Prinzip vertrauens­würdiger KI geführt wird, dann mit den Fachleuten des Verbands auf eine handhabbare Zahl reduzieren, dann von den Praktikern bewerten lassen. Am Ende standen drei Prinzipien, die für diesen Beruf zählen — Robustheit, Transparenz und Rechts­sicherheit. Ein Katalog mit siebenunddreißig Punkten wird zitiert; drei Prinzipien werden angewendet.

Bewertet haben Praktiker, nicht Fachleute für Ethik. Zwanzig Wirtschafts­prüfer haben die Kernprinzipien im Fokusgruppengespräch nach ihrer Relevanz für den Berufsstand beurteilt, und die Eindrücke wurden im Nachgang über einen Fragebogen quantifiziert. Der Unterschied zu einer Literaturarbeit ist nicht die Genauigkeit, sondern die Verbindlichkeit: Prinzipien, die der Berufsstand selbst als seine benannt hat, lassen sich in Verlautbarungen aufnehmen.

Transparenz in drei Ausprägungen, weil die Unterscheidung entscheidet. Ein interpretierbares System — ein Regelwerk, ein Entscheidungs­baum — wird von einem Fachkundigen unmittelbar verstanden. Ein erklärbares System wird nicht verstanden, sondern erklärt, global über sein Gesamtverhalten oder lokal für eine einzelne Entscheidung. Nachvoll­ziehbarkeit schließlich ist keine Eigenschaft des Systems, sondern des Verhältnisses zum Nutzenden: Dieselbe Erklärung genügt einem Data Scientist und nicht einem Prüfungs­assistenten. Wer diese drei nicht trennt, schreibt Anforderungen, die niemand prüfen kann.

Die Einsatzart bestimmt, wie viel Transparenz nötig ist. Zwischen einem System, das einen Vorschlag macht, und einem, das autonom handelt, liegt nicht ein Reifegrad, sondern ein anderer Verantwortungs­übergang. Deshalb wurden die Ausprägungen der Transparenz gegen die Einsatzarten gestellt und gegen die Stellen im Prüfungs­prozess, an denen sie vorkommen. Damit wird aus einem Prinzip eine Anforderung, die man an ein konkretes System richten kann.

Früh, und das ist rückblickend der Punkt. Die Arbeit fand statt, bevor es Regulierung zu diesem Thema gab und bevor Erklärbarkeit ein Schlagwort war. Für einen Berufsstand ist das die richtige Reihenfolge: Wer erst reagiert, wenn die Anforderungen von außen kommen, muss sie annehmen. Wer vorher bestimmt hat, welche Prinzipien für ihn zählen, kann sie einbringen.

Das Ergebnis

Aus der wissenschaftlichen und praktischen Literatur sind die vorhandenen Leitlinien erhoben und die darin enthaltenen Prinzipien zu siebenunddreißig zusammengefasst worden.

Gemeinsam mit Fachleuten des Verbands sind sie auf neun Kernprinzipien reduziert worden — Robustheit, Transparenz, Rechenschafts­pflicht, Rechts­sicherheit, verantwortungs­volle Datennutzung, Schadensvermeidung, Messbarkeit des Mehrwerts, wirtschaftliche Nachhaltigkeit und Bewusstsein für Missbrauch. Diese neun sind in einem Fokusgruppengespräch mit zwanzig Wirtschafts­prüfern nach Relevanz für den Berufsstand bewertet und die Eindrücke anschließend über einen Fragebogen quantifiziert worden.

Als zentral für die Prüfung erwiesen sich drei: Robustheit, Transparenz und Rechts­sicherheit. Transparenz ist als übergreifendes Prinzip gesondert aufgeschlüsselt worden — in interpretierbare Systeme, deren Entscheidungen ein Fachkundiger von sich aus versteht, in erklärbare Systeme, bei denen Informationen über das Gesamtverhalten oder über einzelne Entscheidungen gesammelt und aufbereitet werden, und in nutzerzentrierte Nachvoll­ziehbarkeit, die davon abhängt, wie viel fachliche und technische Kenntnis der Nutzende mitbringt.

Dazu die Analyse, welche Ausprägung zu welcher Einsatzart passt — von der reinen Assistenz bis zum autonom handelnden System — und an welchen Stellen des Prüfungs­prozesses sie anwendbar ist. Festgehalten in einem Whitepaper und einem Fachaufsatz.

Diese Leistungen steckten im Projekt

Weitere Projekte

Alle Referenzen ansehen

Kontakt

Sprechen Sie uns an

Schreiben Sie uns eine Zeile. Wir ordnen Ihre Frage ein und melden uns.

Gespräch vereinbaren

Schreiben Sie uns, worum es geht. Wir melden uns zeitnah.

Lieber zur Kontaktseite