KI-Systeme kontrolliert gestalten und betreiben
Bei KI verändert nicht nur ein neues Modell das Risikoprofil. Auch Prompts, Datenquellen, Tools und Berechtigungen können aus derselben Oberfläche ein anderes System machen.
Vier Funktionen helfen, KI-Risiken nicht nur technisch zu betrachten
Der NIST AI Risk Management Framework Core arbeitet mit GOVERN, MAP, MEASURE und MANAGE. NIST weist ausdrücklich darauf hin, dass dies keine starre Schrittfolge oder Checkliste ist; GOVERN wirkt querschnittlich.
Wer verantwortet Zweck, Grenzen, Entscheidungen und Risikomanagement?
In welchem Kontext wird das System genutzt, wer ist betroffen und welche Risiken sind relevant?
Wie testen, bewerten und beobachten wir Funktion, Risiken und Unsicherheit?
Welche Risiken werden priorisiert, behandelt, akzeptiert oder führen dazu, dass der Einsatz nicht fortgeführt wird?
Beispiel: Die interne KI erhält ein neues Tool
Govern: Wer darf die Erweiterung freigeben? Map: Welche neuen Aktionen und Betroffenen entstehen? Measure: Welche Fehl- und Missbrauchsfälle müssen wir testen? Manage: Welche Rechte, Guardrails oder Einschränkungen sind vor Produktivsetzung notwendig?
Vertiefung: NIST AI RMF Playbook · NIST AI RMF Core.
Aus einer Schreibhilfe wird plötzlich ein handelndes System
Eine interne KI-Lösung fasst zunächst nur Texte zusammen. Später wird eine Unternehmensdatenquelle angebunden. Danach erhält sie ein Tool, mit dem Vorgänge angelegt werden können. Für die Benutzer sieht die Oberfläche fast gleich aus – technisch und organisatorisch hat sich die Wirkung aber deutlich verändert.
Welche Änderung verändert eigentlich das Risiko?
Modell
Ein anderes Modell kann Verhalten, Leistungsfähigkeit und Grenzen verändern.
Prompt
Steuerprompts beeinflussen Aufgabe, Verhalten und erlaubte Nutzung.
Daten & Retrieval-Augmented Generation (RAG)
Neue Quellen verändern, welche Informationen erreichbar und möglicherweise offenbarbar sind.
Tools & Rechte
Ein System, das handeln darf, benötigt andere Grenzen als ein System, das nur Text erzeugt.
Am Beispiel durch das AI Change Impact Assessment
Im Beispiel: Das System erhält Zugriff auf eine neue Datenquelle und darf Vorgänge anlegen.
Welche Daten, Geschäftsprozesse, Nutzer und Entscheidungen sind jetzt betroffen?
Fehlerhafte Ausgabe ist nicht mehr die einzige Folge; nun können unzulässiger Datenzugriff oder falsche Aktionen entstehen.
Berechtigungen, Toolgrenzen, Promptverhalten, Datenzugriff und menschliche Kontrolle werden gezielt geprüft.
Owner, Version, Freigabe, Monitoring und eine Rückkehr zum vorherigen Zustand machen die Änderung beherrschbar.
Technische Gestaltung bestimmt nicht automatisch die rechtliche Rolle
Dass eine Organisation Prompts, Datenquellen oder Tools selbst konfiguriert, ist für Governance und Risikomanagement relevant. Welche rechtliche Rolle daraus entsteht, muss jedoch anhand des konkreten Rechtsrahmens und des tatsächlichen Nutzungskontexts gesondert bestimmt werden.