Unabhängige KI-Prüfung bescheinigt Best Practice für Betrugspräventionslösung

Maschinelles Lernen (ML) ist die meistgenutzte Methode der Künstlichen Intelligenz (KI). ML-Systeme lernen anhand von Beispielen weitgehend selbstständig, bestimmte Muster oder Gesetzmässigkeiten zu erkennen. Die Wirkzusammenhänge in einem trainierten Modell liegen allerdings nicht in jedem Fall offen, d.h., die Logik, wie aus den Ausgangsinformationen ein Ergebnis abgeleitet wird, ist oft kaum ersichtlich. Darum wird in der öffentlichen Diskussion häufig die Metapher von der Black Box verwendet. Damit geht einher, dass ML-Systeme nicht nur positiv, sondern auch kritisch bewertet werden, was eine zusätzliche Hürde für einen breiteren Einsatz der Technologe bildet.

Ausführliche Analyse der ML-Lösung

Wie generell bei jeder Verwendung von Modellen ist insbesondere mit ML-Systemen ein verantwortungsvoller und regelkonformer Umgang notwendig. Wie so oft, führt auch hier der technische Fortschritt den Regulator auf den Plan: So arbeitet etwa die EU-Kommission gerade an einem Gesetzesentwurf, um den KI-Einsatz zu regulieren. Damit Kunden auch beim Einsatz der Betrugspräventionslösung AI:drian auf der sicheren Seite sind, hat der Informationsdienstleister Experian, der auch eine Niederlassung in der Schweiz hat, das Fraunhofer IPA beauftragt, zu bewerten, ob die ML-Komponente Transaction Miner unter Beachtung aller Best Practices und Gesetzesvorgaben entwickelt wurde und nachvollziehbare Ergebnisse liefert. Der Überprüfung lagen neben dem Entwurf der EU ein White Paper des TÜV Austria sowie ein KI-Prüfkatalog des Fraunhofer-Instituts für Intelligente Analyse- und Informationssysteme IAIS zugrunde, die richtungsweisend für zukünftige Marktstandards sind. Mit Abschluss einer sehr ausführlichen viermonatigen Prüfungsphase ist diese Untersuchung zu einem positiven Resultat gelangt.

Mit unabhängiger KI-Prüfung Gesetzeskonformität attestieren

»Wir beobachten, dass mehr und mehr ML-Systeme in Bereichen zum Einsatz kommen, die die EU-Kommission als kritisch definiert hat, beispielsweise in selbstfahrenden Autos oder – wie in diesem Fall – bei der Überprüfung der Betrugsabsichten und Kreditwürdigkeit von Konsumenten«, erläutert Professor Marco Huber, Leiter der Abteilung Cyber Cognitive Intelligence (CCI) am Fraunhofer IPA. »Nicht alle Details der kommenden EU-Gesetzgebung sind bereits bekannt. Wie jedoch Algorithmen aussehen müssen, die faire, erklärbare und nachvollziehbare Ergebnisse liefern, ist zwar nicht trivial, aber auch kein Hexenwerk. Die Überprüfung des Transaction Miners von Experian gab uns die Gelegenheit, einem Produkt unter die Motorhaube zu schauen, das sich bereits im praktischen Einsatz befindet, und an einem standardisierten Verfahren zu arbeiten, das nutzbar ist, sobald die EU-Gesetzgebung rechtskräftig wird.«

Arbeitserleichterung um mehr als 95 Prozent

Der von Fraunhofer IPA geprüfte Transaction Miner ist die zentrale Komponente in der Betrugspräventionslösung AI:drian, die Experian vor Kurzem in der DACH-Region auf den Markt gebracht hat. Mithilfe der verwendeten ML-Algorithmen ist AI:drian in der Lage, Online-Betrugsversuche zuverlässiger zu erkennen als bisherige Systeme. Bei einem Pilot-Kunden aus der E-Commerce-Branche waren 99,9 Prozent der Transaktionen, die der Transaction Miner aufgrund seines Trainings als legitim identifizierte, nicht betrügerisch und wurden entsprechend nicht abgelehnt. Statt monatlich rund 7.000 Bestellanfragen mussten daher nur noch 300 manuell geprüft werden – eine Arbeitserleichterung um mehr als 95 Prozent. »Neue Entwicklungen wie Machine Learning werden von der Öffentlichkeit kritisch beobachtet«, kommentiert Martina Neumayr, Senior Vice President Credit Risk & Fraud Services bei Experian DACH. »Es gibt auch Beispiele, dass ML-Systeme fragwürdige Ergebnisse liefern. Mit dem Transaction Miner haben wir eine besonders leistungsstarke ML-Komponente entwickelt, die auch dort einsetzbar ist, wo die EU-Kommission starken Regulierungsbedarf sieht, beispielsweise im Finanzwesen. Genau darum war es uns ein besonderes Anliegen, dass wir transparent agieren und die Technologie unabhängig überprüfen lassen. Wir glauben, dass der Einsatz neuer Technologien nur auf Akzeptanz treffen kann, wenn es unabhängige Kontrollen wie die durch das Fraunhofer IPA gibt. Umso besser, wenn wir durch diese Pionierleistung den Weg für ein künftiges standardisiertes Verfahren geebnet haben.«

Vielfältiges Angebot rund um »Zuverlässige KI«

Audits wie das beschriebene sind eines der Kernangebote der Abteilung CCI am Fraunhofer IPA. Einer der dortigen Forschungsschwerpunkte ist das Thema »Zuverlässige KI«. In diesem Kontext entwickeln die IPA-Experten unter anderem Methoden zur Erklärbarkeit und Absicherung von KI-Systemen. Dazu gehört auch, Audits durchzuführen und KI-Systeme als unabhängig und rechtskonform zu validieren bzw. zu qualifizieren. Die Leistungsangebote sind branchenunabhängig und eignen sich für Firmen vom Start-up bis zum Konzern. 

Quelle: Fraunhofer IPA. Weitere Informationen zum erwähnten Produkt: www.experian.ch