Fraunhofer-Institut veröffentlicht Vorgehensmodell für KI-Engineering

Die Herausforderungen im KI-Engineering entstehen aus den Eigenschaften von KI-basierten Methoden: Die Leistungsfähigkeit von technischen Systemen, die Methoden des maschinellen Lernens (ML) nutzen, kann im Voraus oft nur schlecht eingeschätzt werden. Dies erschwert verlässliche Aussagen über Sicherheit und Zuverlässigkeit. Dem steht ein großer möglicher Nutzen gegenüber: Erfolgreich eingesetzt, können datengetriebene Verfahren Entscheidungen häufig schneller und besser treffen als es mit klassisch entwickelten Verfahren möglich wäre. So unterstützen sie den Menschen, entlasten und ergänzen ihn. In der industriellen Produktion führen ML-Verfahren zu qualitativ hochwertigeren und damit langlebigeren Produkten, steigern die Ressourceneffizienz oder ermöglichen vorausschauende Wartung. Im Bereich der Mobilität können ML-Verfahren die Fahrsicherheit erhöhen, z. B. durch Notbremsung in Gefahrensituationen, und so Leben retten.

Um KI-basierte Komponenten effektiv und effizient in bestehende oder neue Anwendungen zu integrieren, ist ein systematisches Vorgehen essentiell. Etablierte Vorgehensmodelle des Systems Engineering sind für komplexe technische Systeme gedacht. Der Einsatz von KI und ML bringt jedoch neue Herausforderungen, auf die ein dediziertes Vorgehensmodell explizit eingehen sollte.

KI-Lösungen systematisch entwickeln und betreiben mit KI-Engineering

PAISE® (eine eingetragene Wortmarke für Produkte der Nizza-Klassen 9 und 42), das Process Model for AI Systems Engineering, ist speziell für die Entwicklung und den Betrieb von KI-basierten Systemen gedacht. Es kombiniert Vorgehensweisen aus der Informatik und datengetriebenen Modellbildung mit denen klassischer Ingenieurdisziplinen, um die Herausforderungen zu überwinden. AI Systems Engineering, übersetzt KI-Engineering, nennen die Wissenschaftler*innen den interdisziplinären Ansatz, an dem sie seit Mitte 2020 arbeiten. „Mit KI-Engineering wollen wir die Entwicklung und den Betrieb von KI-basierten Lösungen systematisieren. Nur wenn KI-Methoden aus ingenieurtechnischer Sicht verlässlich eingesetzt werden können, bietet sich die Chance, das hohe Wertschöpfungspotenzial zu heben“, sagt Prof. Dr.-Ing. habil. Jürgen Beyerer, Leiter des Fraunhofer IOSB und des wissenschaftlichen Direktoriums in CC-KING, dem Karlsruher Kompetenzzentrum für KI-Engineering. „Mit PAISE® haben wir ein Instrumentarium geschaffen, das insbesondere auch kleinen und mittleren Unternehmen einen praktischen Leitfaden an die Hand gibt, um dieses Ziel zu erreichen.“

In der Entwicklung kann es schwierig sein, die Performanz eines cyber-physischen Gesamtsystems mit KI-Anteilen vorab abzuschätzen. „Damit können auch zu einem späten Zeitpunkt noch Änderungen am High-Level Design des Gesamtsystems notwendig werden“, sagt Constanze Hasterok, Wissenschaftlerin am Fraunhofer IOSB und Editorin des PAISE® Modells. „Dieser Effekt tritt unter anderem dann ein, wenn die finalen ML-Modelle mit Daten aus dem echten Betrieb trainiert werden. Bei Neuentwicklungen stehen qualitativ hochwertige Daten aus dem Betrieb aber typischerweise erst spät zur Verfügung.“ Für den Betrieb sei ein Überwachen und idealerweise automatisches Anpassen von ML-Modellen notwendig, wenn sich Systeme und ihre Umgebungsbedingungen über die Zeit verändern können.

Hinzu kommen personelle Schwierigkeiten: In der Regel haben – vor allem mittelständische – Betriebe keine eigenen KI-Expert*innen. Gleichzeitig müssen Verantwortungsträger*innen wissen, welche KI-Expertise langfristig für den Betrieb KI-basierter Systeme verfügbar sein sollte und wie der Entwicklungsprozess und seine Zwischenergebnisse zu bewerten sind.

Anpassbare Entwicklung durch Checkpoints

PAISE® unterteilt den Entwicklungsprozess in sieben Phasen. Projektteams in Unternehmen müssen zunächst ein gemeinsames Problemverständnis schaffen, Ziele und Anforderungen definieren und Lösungsansätze sammeln. Das Produkt wird dann anhand der Anforderungen in Subsysteme unterteilt. Diese sogenannte funktionale Dekomposition ist nicht final, hier beginnt das agile Vorgehen des Modells. Die Entwicklung der einzelnen Komponenten verläuft zyklisch, Schritt für Schritt werden die Subsysteme verfeinert und auf ihre Kompatibilität überprüft. Jeder Durchlauf erhöht den Reifegrad des Gesamtsystems.

Eine wichtige Rolle dabei spielen Checkpoints, wie Hasterok erklärt: „Das Checkpoint-basierte Konzept von PAISE® ermöglicht einen flexiblen Entwicklungsprozess. Bei ML-Methoden ist oft ein exploratives Vorgehen nötig: Man entwickelt eine ML-Komponente testweise und prüft empirisch, ob sie sich für den gewünschten Zweck eignet. Andere Subsysteme erfordern ein zielgerichtetes Vorgehen, etwa nach etablierten Methoden des Systems Engineering bei elektronischen Bauteilen. In PAISE® werden die Einzelsysteme parallel entwickelt, nach jeweils domänenspezifisch geeignetem Vorgehen.“ Die Checkpoints synchronisieren früh im Projekt den Entwicklungsstand der Teilsysteme und bewerten deren Zusammenspiel als Gesamtsystem. „Im Gegensatz zu klassischen Meilensteinen werden die Zielvorgaben nicht für alle Checkpoints am Anfang des Projekts fest definiert“, so die Wissenschaftlerin weiter. „Wenn sich zum Beispiel herausstellt, dass eine ML-basierte Methode doch nicht das passende Mittel ist, kann auf statistische Verfahren zurückgegriffen werden, deren Eignung im folgenden Checkpoint bewertet wird.“

Vier durchgehende Artefakte schaffen Rahmenbedingungen

Auch die Organisation heterogener Teams profitiert davon: Beteiligte mit unterschiedlichen Kompetenzen kommen regelmäßig zusammen und können Querschnittsaspekte wie Sicherheits-, Kosten- oder ethische Fragen besprechen. Die Rollenverteilung von PAISE® definiert dabei phasenspezifische Funktionen und Verantwortlichkeiten. 

Neben der Rollenverteilung gibt es drei weitere durchgehende Ergebnisdokumentationen (Artefakte) in PAISE®: Das Systemmodell beschreibt Abhängigkeiten der Einzelkomponenten; die Dokumentation für externe Prüfungen umfasst Aspekte, die für eine Überprüfung durch Dritte wie Behörden erforderlich sind; und die Datendokumentation erfasst Metadaten der verwendeten Daten, wie z. B. ihre Quelle, Qualität, Vorverarbeitungsschritte und Rahmenbedingungen der Datengewinnung.

„Indem wir systematische Methoden zur Verfügung stellen, wollen wir Betriebe und Entwickler*innen dazu ermutigen, KI-Projekte anzugehen. PAISE® ist dabei ein großer Schritt nach vorne. Es bildet den gesamten Prozess von der Konzeption über die Datenbeschaffung bis hin zu Betrieb und Wartung ab und adressiert alle Schwierigkeiten, die sich aus technischer Sicht bei der Umsetzung eines KI-Projekts stellen können“, erläutert Dr.-Ing. Thomas Usländer, Abteilungsleiter am Fraunhofer IOSB und Projektleiter von CC-KING.

Ein Whitepaper zu dieser Thematik steht hier zum Download zur Verfügung.