Un audit indépendant de l'IA certifie les meilleures pratiques pour une solution de prévention de la fraude

L'apprentissage automatique (ML) est la méthode d'intelligence artificielle (IA) la plus utilisée. Les systèmes ML apprennent, à l'aide d'exemples et de manière largement autonome, à reconnaître certains modèles ou certaines lois. Toutefois, les relations de cause à effet dans un modèle entraîné ne sont pas toujours évidentes, c'est-à-dire que la logique de la manière dont un résultat est déduit des informations de départ est souvent à peine visible. C'est pourquoi la métaphore de la boîte noire est souvent utilisée dans le débat public. Cela signifie que les systèmes ML ne sont pas seulement jugés positivement, mais aussi de manière critique, ce qui constitue un obstacle supplémentaire à une utilisation plus large de cette technologie.

Analyse détaillée de la solution ML

Comme c'est généralement le cas pour toute utilisation de modèles, il est nécessaire d'utiliser les systèmes ML de manière responsable et conforme aux règles. Comme c'est souvent le cas, le progrès technique fait intervenir les régulateurs : la Commission européenne travaille actuellement à un projet de loi visant à réglementer l'utilisation de l'IA. Afin que les clients soient également en sécurité lors de l'utilisation de la solution de prévention des fraudes AI:drian, le prestataire de services d'information Experian, qui possède également une succursale en Suisse, a chargé le Fraunhofer IPA d'évaluer si le composant ML Transaction Miner a été développé dans le respect de toutes les meilleures pratiques et des dispositions légales et s'il fournit des résultats compréhensibles. Outre le projet de l'UE, l'examen s'est basé sur un livre blanc du TÜV Austria ainsi que sur un catalogue de tests d'IA de l'Institut Fraunhofer pour les systèmes d'analyse et d'information intelligents (IAIS), qui montrent la voie à suivre pour les futures normes du marché. Au terme d'une phase d'examen très détaillée de quatre mois, cette enquête a abouti à un résultat positif.

Attester de la conformité à la loi grâce à un audit indépendant de l'IA

"Nous observons que de plus en plus de systèmes ML sont utilisés dans des domaines que la Commission européenne a définis comme critiques, par exemple dans les voitures à conduite autonome ou - comme dans ce cas - dans la vérification des intentions de fraude et de la solvabilité des consommateurs", explique le professeur Marco Huber, directeur du département Cyber Cognitive Intelligence (CCI) au Fraunhofer IPA. "Tous les détails de la prochaine législation européenne ne sont pas encore connus. Mais à quoi doivent ressembler les algorithmes qui fournissent des résultats justes, explicables et compréhensibles, ce n'est certes pas trivial, mais ce n'est pas non plus sorcier. L'examen du Transaction Miner d'Experian nous a donné l'occasion de regarder sous le capot d'un produit qui est déjà utilisé dans la pratique et de travailler sur une procédure standardisée qui sera utilisable dès que la législation de l'UE aura force de loi".

Allègement du travail de plus de 95

Le Transaction Miner, testé par l'IPA de Fraunhofer, est le composant central de la solution de prévention des fraudes AI:drian qu'Experian a récemment lancée sur le marché dans la région DACH. Grâce aux algorithmes ML utilisés, AI:drian est en mesure de détecter les tentatives de fraude en ligne de manière plus fiable que les systèmes existants. Chez un client pilote du secteur du commerce électronique, 99,9 % des transactions que le Transaction Miner a identifiées comme légitimes sur la base de son entraînement n'étaient pas frauduleuses et n'ont donc pas été refusées. Au lieu d'environ 7 000 demandes d'achat par mois, seules 300 devaient donc être vérifiées manuellement, ce qui représente un allègement du travail de plus de 95 pour cent. "Les nouveaux développements comme le Machine Learning sont observés de manière critique par le public", commente Martina Neumayr, Senior Vice President Credit Risk & Fraud Services chez Experian DACH. "Il y a aussi des exemples où les systèmes ML donnent des résultats douteux. Avec le Transaction Miner, nous avons développé un composant ML particulièrement performant, qui peut également être utilisé là où la Commission européenne voit un fort besoin de régulation, par exemple dans le secteur financier. C'est précisément pour cette raison qu'il nous tenait particulièrement à cœur d'agir de manière transparente et de faire contrôler la technologie de manière indépendante. Nous pensons que l'utilisation de nouvelles technologies ne peut être acceptée que s'il existe des contrôles indépendants comme ceux effectués par le Fraunhofer IPA. C'est d'autant mieux si, grâce à cette prestation pionnière, nous avons ouvert la voie à une future procédure standardisée".

Une offre variée autour de "l'IA fiable

Les audits tels que celui décrit sont l'une des principales offres du département CCI du Fraunhofer IPA. L'une de ses priorités de recherche est le thème de l'"IA fiable". Dans ce contexte, les experts de l'IPA développent entre autres des méthodes permettant d'expliquer et de sécuriser les systèmes d'IA. Cela implique également de réaliser des audits et de valider ou de qualifier les systèmes d'IA comme étant indépendants et conformes à la loi. Les offres de prestations sont indépendantes du secteur et conviennent aux entreprises, de la start-up à la multinationale. 

Source : Fraunhofer IPA. Plus d'informations sur le produit mentionné : www.experian.ch