Commentaire : pourquoi les ingénieurs ont besoin d'une IA explicable

Les décideurs des entreprises de tous les secteurs misent de plus en plus sur l'IA pour rester compétitifs aujourd'hui et à l'avenir. Pourtant, la méfiance règne encore à l'égard d'une "boîte noire" qu'est l'IA, dont les modèles et les solutions ne sont souvent plus compréhensibles pour nous, les humains. Cela devient un défi lorsque les ingénieurs doivent expliquer comment leurs modèles fonctionnent - par exemple lorsque le modèle est soumis à certaines réglementations ou lorsqu'il faut convaincre des acheteurs potentiels. 

Qu'est-ce que l'explicabilité de l'IA ? 

C'est là qu'intervient l'IA explicable. Il s'agit d'un ensemble d'outils et de méthodes qui peuvent aider à comprendre les décisions prises par les modèles d'IA, ainsi qu'à détecter et à corriger les problèmes éventuels des modèles "boîte noire", tels que les biais ou la vulnérabilité aux tentatives de manipulation. L'explicabilité est essentielle lorsque les ingénieurs doivent démontrer qu'un modèle est conforme à certaines normes ou aux normes ISO. Mais il s'agit également d'accroître la confiance dans les modèles d'IA en général.  

L'explicabilité peut aider les utilisateurs de l'IA à comprendre comment les modèles d'apprentissage automatique parviennent à des prédictions. Pour cela, ils peuvent par exemple suivre les paramètres qui influencent la décision d'un modèle d'IA et la manière dont cette influence se manifeste. Mais cela n'est pas facile, surtout lorsqu'il s'agit de modèles complexes. 

Complexité vs. explicabilité 

La question se pose donc : pourquoi ne pas utiliser des modèles d'IA plus simples ? Les modèles n'ont pas toujours été complexes. Un exemple simple est celui d'un thermostat qui régule la température dans une pièce. Si la température de la pièce tombe en dessous d'une certaine valeur prédéfinie, le chauffage se met en marche, si elle dépasse cette valeur, le chauffage s'arrête à nouveau. Mais qu'en est-il des paramètres tels que le moment de la journée, l'utilisation du bureau, le prix de l'électricité ou les prévisions météorologiques ? À quel niveau faut-il régler le chauffage pour qu'il soit vraiment efficace et durable ? De même qu'une régulation moderne de la température dans les bâtiments prend en compte beaucoup plus de paramètres, des modèles beaucoup plus détaillés et donc plus complexes se sont établis dans de nombreux domaines.  

Ces modèles complexes ont l'avantage de fournir des prédictions généralement plus précises. Ils permettent de réaliser des analyses plus précises et, dans certains cas, de répondre plus rapidement aux questions posées. En outre, les ingénieurs travaillent avec des données de plus en plus complexes, telles que des signaux et des images en continu, qui peuvent être traitées directement par les modèles d'IA. Cela permet de gagner un temps précieux lors de la création de modèles.  

Même si la complexité apporte tous ces changements positifs, le fait que les modèles ne soient plus compris devient de plus en plus un défi. Les ingénieurs doivent donc développer de nouvelles approches pour mieux comprendre les modèles complexes et reproduire les calculs.  

Méthodes pour une IA explicable 

L'utilisation de modèles explicables peut apporter un éclairage précieux sans qu'il soit nécessaire d'ajouter des étapes supplémentaires au flux de travail. Par exemple, dans le cas des arbres décisionnels ou des modèles linéaires, la prise de décision est immédiatement compréhensible, quelles propriétés influencent un modèle et comment. 

Il existe des méthodes permettant de comprendre l'influence de certaines caractéristiques sur la décision. Grâce au "Classement des fonctionnalités"La première étape consiste à déterminer quelles caractéristiques ont la plus grande influence sur une décision. Il faut ensuite vérifier si l'influence d'une caractéristique change lorsqu'elle prend des valeurs différentes. 

Une autre méthode est LIME (Local Interpretable Model-Agnostic Explanations). Ici, on essaie, dans l'environnement d'un point de données donné, de se rapprocher d'un système complexe et inexplicable en créant un modèle frère moins complexe et explicable qui donne des résultats similaires. On peut ainsi découvrir quels sont les prédicteurs qui influencent le plus la décision. 

Mais comment découvrir des dépendances non linéaires parmi les données d'entrée ? Pour cela, les ingénieurs peuvent utiliser les "valeurs de Shapley". Elles permettent d'estimer la manière dont les données d'entrée d'un modèle d'apprentissage automatique influencent les résultats. 

Lors de la création de modèles pour des applications de traitement d'images ou de vision par ordinateur, les visualisations font partie des meilleurs moyens d'évaluer le caractère explicable des modèles. Par exemple, des méthodes comme la CAM de degré et la "sensibilité à l'occlusion" peuvent identifier les endroits des images et des textes qui influencent le plus la décision du modèle. 

L'IA au-delà de l'explicabilité 

Pour réussir à utiliser l'IA explicable, les ingénieurs et les scientifiques doivent également être conscients des défis qui l'accompagnent. Trouver un équilibre entre l'explicabilité, la complexité, l'influence des données d'entrée et la confiance dans les modèles n'est pas chose aisée. En outre, il doit être clair que l'explication d'une boîte noire et la confiance ainsi gagnée auprès des décideurs ou des instances de contrôle ne sont qu'une étape sur la voie d'une utilisation sûre de l'IA.  

L'utilisation de l'IA dans la pratique nécessite des modèles qui peuvent être compris. Ils doivent être créés selon une procédure compréhensible et pouvoir fonctionner à un niveau nécessaire pour les applications critiques et sensibles en termes de sécurité. À ce stade, les experts misent sur la vérification et la validation. Ils peuvent ainsi s'assurer qu'un modèle utilisé dans des applications critiques pour la sécurité répond à des normes minimales. Ou ils définissent des certifications de sécurité pour des domaines tels que l'automobile ou l'aviation. Les ingénieurs disposent de nombreux outils et possibilités pour renforcer la confiance dans l'IA. Ils ne devraient pas s'arrêter à l'explicabilité. 

Conclusion : une IA explicable comme rouage d'un système global 

Il ne fait aucun doute qu'à l'avenir, l'IA mettra fortement l'accent sur l'explicabilité. Plus l'IA sera intégrée dans des applications de sécurité critiques et quotidiennes, plus l'explicabilité sera considérée comme un attribut indispensable des modèles d'IA. Et tout le monde en profite : les ingénieurs disposent de meilleures informations sur leurs modèles et peuvent trouver et corriger les erreurs plus rapidement. Ils peuvent expliquer de manière compréhensible comment les modèles répondent à certaines normes, et cette plus grande transparence donne confiance tant aux décideurs qu'aux clients potentiels.  

Néanmoins, les ingénieurs, les experts techniques et les décideurs dans les entreprises ne doivent pas oublier que l'explicabilité n'est qu'un rouage d'une grande horloge et qu'elle doit être utilisée main dans la main - dent par dent - avec d'autres méthodes, outils et réglementations importants. 

Source et informations complémentaires : https://ch.mathworks.com/de/