Skip to main content

Lernende Systeme brauchen Transparenz

Neue Anforderungen an Governance-Strukturen in Banken

 

(Erstabdruck: F.A.Z., 20.02.2019, Wirtschaft, Recht und Steuern, S.18)

 

Künstliche Intelligenz und selbstlernende Systeme sind zu einem wichtigen Erfolgsfaktor im Finanzsektor avanciert. Dabei birgt ihr Einsatz nicht nur Chancen, sondern gerade auch für den Vorstand zahlreiche Herausforderungen. Hier wird die Entwicklung zukunftsfähiger "Algo-Governance"-Strukturen eine wichtige Rolle einnehmen.

Das Geschäftsmodell von Banken basiert auf Informationen und deren Bewertung, sodass technische Neuerungen die Branche allzeit beeinflusst haben. Die fortschreitende Digitalisierung lässt große Datenmengen entstehen, aus denen neue Erkenntnisse gewonnen werden. Dies ermöglichen selbstlernende Systeme, auch bekannt als "Künstliche Intelligenz (KI)", unter anderem über die Fähigkeit zur Mustererkennung. Sie sind so programmiert, dass sie ihre Fähigkeiten stetig ausbauen, also lernen. KI-Systeme können ihre spezifischen Aufgaben oft besser und vor allem schneller lösen als Menschen. Aus ökonomischer Sicht ist es daher nahezu zwingend, dass zukünftig gerade komplexere Aufgaben mit Hilfe dieser Systeme bearbeitet werden.

Daneben erscheint es naheliegend, dass deren Einsatz in Bereichen wie Compliance oder Geldwäsche auch rechtlich zwingend werden könnte: Nur so kann der Komplexität und Geschwindigkeit digitaler Prozesse effizient begegnet werden.

Diese Entwicklung trifft in der Finanzbranche auf eine Industrie, in der bereits heute die Komplexität der Geschäftsmodelle und -prozesse so groß ist, dass die in § 25a KWG statuierte Verantwortung für eine ordnungsgemäße Geschäftsorganisation eine erhebliche Herausforderung für Bankvorstände ist.

Der Einsatz von KI zeigt sich aus dieser Perspektive janusköpfig: Zum einem verspricht er "bessere" Entscheidungen, da mehr Informationen automatisiert ausgewertet werden können. Auf der anderen Seite bringt er neuartige Herausforderungen an die Geschäftsorganisation mit sich.

Denn die entsprechende aufsichtsrechtliche Verpflichtung bedeutet, dass die Geschäftsleitung sämtliche Prozesse hinsichtlich ihres Risikoprofils beurteilen können muss. Kommen nun komplexere Algorithmen oder KI-Systeme zur Anwendung, muss der Vorstand in der Lage sein, diese Prozesse nicht nur zu verstehen, sondern auch zu dokumentieren. Er muss erläutern können, warum ein System eine bestimmte Handlungsempfehlung gibt oder eine Entscheidung getroffen hat, für die der Vorstand die aufsichtsrechtliche Letztverantwortung trägt.

Dies ist kompliziert: Neben dem angemessenen Know-How bezüglich der eingesetzten KI-Systeme auf Seiten des Vorstandes müssen diese so ausgestaltet sein, dass die Entwicklung bzw. der Lernprozess der KI nachvollzogen werden kann. Die Verantwortung, dass die von der KI entwickelten Ergebnisse auf den vorgegebenen Faktoren beruhen und den Erwartungen entsprechen, verbleibt beim Vorstand. Bei Bedarf muss der Vorstand steuernd eingreifen können. Hier sind bspw. die Anforderungen ungeklärt, sollte sich zeigen, dass die KI in kritischen Situationen zu besseren Entscheidungen fähig ist als der Mensch - welcher in der konkreten Situation die vorgeschlagene Lösung der KI aber u.U. nicht versteht, da es sich z.B. um einen völlig neuartigen Lösungsansatz handelt. Solche Szenarien konnten beim Einsatz von KI in Spielen wie Schach schon beobachtet werden. Für das Aufsichtsrecht stellt sich dann die Frage, wie es sich rechtfertigen lässt, dass die Letztverantwortung beim Menschen verbleibt. Oder wird in diesen Fällen eine Stelle erreicht, in der auf den Einsatz von KI (richtigerweise?) verzichtet werden muss?

Die BaFin hat sich in einer "spekulativen Studie" bereits mit künftigen Herausforderungen und Implikationen für Aufsicht und Regulierung beschäftigt und klargestellt, dass sie bei dem Einsatz von KI keine "Blackbox"-Modelle akzeptieren wird. Ein spezifischer Governance-Rahmen für den Einsatz von KI existiert freilich noch nicht; es dürfte allerdings nicht fernliegen, dass spezifische aufsichtsrechtliche Vorgaben für die skizzierten Zielkonflikte entwickelt werden müssen.

In jedem Fall kann man bereits heute davon ausgehen, dass die Integration einer institutsspezifischen "Algo-Governance" mittelfristig Bestandteil der ordnungsgemäßen Geschäftsorganisation von Finanzunternehmen werden wird.

 

Die Autoren Dr. Andreas Dehio, Partner und Dr. Florian Reul, Head of FinTech Germany sind Rechtsanwälte im Bankaufsichtsrecht bei Linklaters LLP.

Ansprechpartner