KI-Qualitätssicherung: Verifikation und Validierung am Puls der Zeit

Diese Vorschriften und Regelungen haben insbesondere für sicherheitskritische Systeme mit KI-Komponenten erhebliche Auswirkungen. Um sicherzustellen, dass die Ausgaben eines KI-Modells Vorgaben und Spezifikationen erfüllen, kommen V&V-Techniken (Verifikation & Validierung) zum Einsatz. Bei der Verifikation wird überprüft, ob ein KI-Modell gemäss den angegebenen Anforderungen erstellt und entwickelt wurde. Bei der Validierung wird überprüft, ob das Produkt die Anforderungen und Erwartungen des Kunden erfüllt. V&V-Methoden ermöglichen darüber hinaus eine frühzeitige Erkennung von Bugs und Strategien zum Umgang mit verzerrten Daten (Data Bias).

Christoph Stockhammer, Senior Application Engineer bei MathWorks, erläutert, wie Ingenieure solche V&V-Prozesse aufsetzen können und welchen Nutzen sie bei der Entwicklung von KI-Modellen in sicherheitskritischen Systemen bringen.

Verifizieren und Validieren: Warum KI-Systeme davon profitieren

Ein Vorteil des Einsatzes von KI in sicherheitskritischen Systemen besteht darin, dass KI-Modelle physikalische Systeme approximieren und den Entwurf validieren können. Ingenieure simulieren Systeme mit KI-Komponenten und testen anhand der Daten das Verhalten in unterschiedlichen Szenarien, darunter auch bei Ausreisser-Ereignissen. Mit der Durchführung von V&V wird sichergestellt, dass ein KI-gestütztes sicherheitskritisches System das geforderte Niveau für Leistung und Funktionen unter verschiedenen Bedingungen beibehalten kann.

Die meisten Branchen, in denen Produkte mit KI-Komponenten entwickelt werden, verpflichten ihre Ingenieure zur Einhaltung von Sicherheitsstandards, bevor die Produkte auf dem Markt eingeführt werden. Hierzu gehören die Automobil- und Fahrzeugindustrie sowie die Luftfahrt-, Raumfahrt- und Rüstungsindustrie. Mit Zertifizierungsprozessen wird die Integration bestimmter Elemente in diese Produkte sichergestellt. Ingenieure testen mithilfe von V&V die Funktionalität dieser Elemente, was es ihnen erleichtert bzw. überhaupt erst ermöglicht, Zertifizierungen zu erhalten.

Von der Planung zur Praxis: Die Bausteine von V+V-Prozessen

Bei der Durchführung von V&V müssen Ingenieure sicherstellen, dass die KI-Komponente die angegebenen Anforderungen erfüllt, unter allen Betriebsbedingungen zuverlässig bleibt sowie sicher und somit bereit für den Einsatz ist. Der V&V-Prozess für KI umfasst die Durchführung von Software-Assurance-Aktivitäten. Diese bestehen aus einer Kombination aus statischen und dynamischen Analysen, Tests, formalen Methoden und Betriebsüberwachung im realen Einsatz. V&V-Prozesse können sich je nach Branche geringfügig unterscheiden, umfassen jedoch immer die gleichen allgemeinen Schritte:

• Analyse des Entscheidungsfindungsprozesses, um das Black-Box-Problem zu lösen: Das Black-Box-Problem entsteht, wenn Ingenieure nicht nachvollziehen können, wie ein KI-Modell Entscheidungen trifft. Die Analyse der Merkmalsbedeutung bewertet, welche Eingabevariablen (z. B. Umgebungsfaktoren in sicherheitskritischen Systemen) die Ausgabewerte des KI-Modells am stärksten beeinflussen. Erklärbarkeitstechniken helfen, die Entscheidungslogik eines Modells zu verstehen, z.B. indem sie Bereiche in Bildern identifizieren, die am meisten zur Modellausgabe beitragen. Beide Ansätze fördern die Transparenz und das Vertrauen von Ingenieuren und Wissenschaftlern in KI-Systeme.
• Testen des Modells anhand repräsentativer Datensätze: Ingenieure testen KI-Modelle mit repräsentativen Datensätzen, um Einschränkungen zu identifizieren und die Zuverlässigkeit des Modells zu steigern. Die Daten werden bereinigt und Testfälle entwickelt, um Aspekte wie Genauigkeit und Reproduzierbarkeit zu bewerten. Schliesslich wird das Modell auf die Datensätze angewendet, die Ergebnisse erfasst und mit der erwarteten Ausgabe verglichen. Der Modellentwurf wird anhand des Ergebnisses der Datentests verbessert.
• Durchführung von Simulationen des KI-Systems: Simulationen ermöglichen Ingenieuren, die Leistung eines KI-Systems in einer kontrollierten virtuellen Umgebung zu bewerten. Tools wie Simulink® helfen, das Systemverhalten unter verschiedenen Szenarien, Parametern und Umgebungsfaktoren zu analysieren. Wie schon bei den Datentests werden die Simulationsergebnisse mit erwarteten oder bekannten Resultaten verglichen und das Modell iterativ verbessert.
• Gewährleistung des Modellbetriebs innerhalb akzeptabler Grenzen: Um KI-Modelle sicher und zuverlässig zu betreiben, müssen Grenzwerte definiert und das Verhalten überwacht werden. Eines der häufigsten Probleme mit Grenzen tritt auf, wenn ein Modell mit einem bestimmten Datensatz trainiert wurde und zur Laufzeit Daten ausserhalb der Verteilung dieses Datensatzes als Eingabe erhält. Modelle werden mit Data-Augmentation (z. B. Variabilität durch unterschiedliche Perspektiven bei Bildern) und Data-Balancing (gleichmässige Verteilung von Datenklassen) trainiert, um Verzerrungen zu reduzieren und die Generalisierungsfähigkeit zu erhöhen. Um neuronale Netze robuster und weniger anfällig für Fehlklassifizierungen zu machen, können rigorose mathematische Modelle in den Entwicklungs- und Validierungsprozess integriert werden, die dem Nachweis bestimmter wünschenswerter Eigenschaften neuronaler Netze dienen.

Diese Schritte des V&V-Prozesses sind iterativ und ermöglichen eine kontinuierliche Verfeinerung und Verbesserung des KI-Systems, wenn Ingenieure neue Daten erfassen, neue Einblicke gewinnen und Feedback aus dem Betrieb integrieren.

Fazit: V&V als Schlüssel für einen verantwortungsvollen KI-Einsatz

Im Zeitalter KI-gestützter sicherheitskritischer Systeme spielen V&V-Verfahren eine entscheidende Rolle, um Branchenzertifizierungen zu erhalten und rechtliche Vorschriften einzuhalten. Der Aufbau und die Wartung vertrauenswürdiger Systeme erfordert den Einsatz von Verifikationstechniken, die Erklärbarkeit und Transparenz für die KI-Modelle liefern, auf deren Basis diese Systeme laufen. Damit wird bei sicherheitskritischen Systemen der transparente und verantwortungsvolle Einsatz von KI sichergestellt.

Autor

Christoph Stockhammer – Senior Application Engineer bei MathWorks

Quelle: www.mathworks.com