KI-Piloten: Was vor der Budgetfreigabe geklärt sein sollte
Ein klarer Auftrag, ein Vergleich mit dem bisherigen Ablauf und feste Abbruchkriterien machen einen Pilotversuch auswertbar.
Ein KI-Pilot braucht eine Frage, die sich am Ende beantworten lässt. Spart ein Werkzeug bei internen Textentwürfen tatsächlich Arbeit? Wie viel Prüfung bleibt nötig? Und sind die Ergebnisse gut genug für den vorgesehenen Zweck? Wer nur eine neue Software ausprobieren lässt, bekommt darauf nicht unbedingt belastbare Antworten.
Das AI Risk Management Framework des US-amerikanischen NIST bietet mit seinem Playbook einen Rahmen für solche Prüfungen. Es ordnet den Umgang mit Risiken in vier Bereiche: Zuständigkeiten klären, den Einsatz verstehen, Ergebnisse messen und über das weitere Vorgehen entscheiden. Der Rahmen ist kein Nachweis für den Nutzen einer bestimmten Software. Die folgenden Vorschläge übertragen ihn auf einen begrenzten Versuch im Unternehmen und sind unsere redaktionelle Einordnung.
Zunächst sollte die Leitung eine Aufgabe auswählen, deren Ergebnis sich vor der Verwendung prüfen lässt. Interne Textentwürfe sind dafür ein mögliches Beispiel: Eine zuständige Person liest sie, korrigiert sie und entscheidet über die Weitergabe. Der Versuch bekommt einen festgelegten Personenkreis und einen Endtermin. Eine spätere Ausweitung ist eine eigene Entscheidung.
Zum Auftrag gehört auch, was außerhalb des Versuchs bleibt. Welche Dokumente darf das Team bearbeiten? Welche Informationen dürfen eingegeben werden? Für welche Empfänger sind die Entwürfe gedacht? Diese Fragen lassen sich mit einem konkreten Arbeitsablauf beantworten. Die pauschale Vorgabe, die Beschäftigten sollten mit KI produktiver werden, reicht dafür nicht aus.
NIST behandelt Regeln und Verantwortlichkeiten unter „Govern“. Für den Piloten heißt das aus unserer Sicht: Eine Person verantwortet den Ablauf, eine weitere oder dieselbe Person entscheidet über Fortsetzung und Abbruch. Die Beteiligten müssen wissen, an wen sie sich bei Fehlern wenden. Ein benannter Verantwortlicher hilft allerdings wenig, wenn ihm Zeit oder Befugnisse fehlen, um ein Problem zu bearbeiten.
Bevor das Werkzeug eingesetzt wird, braucht das Team einen Vergleich mit dem bisherigen Verfahren. Unter „Map“ betrachtet NIST den Zweck, die Nutzer und die Umgebung eines Systems sowie mögliche Auswirkungen und Alternativen ohne KI. Für den Textpilot sollte deshalb festgehalten werden, wie Entwürfe heute entstehen, wer sie prüft und wo Nacharbeit anfällt. So wird aus einer allgemeinen Hoffnung auf Entlastung eine überprüfbare Annahme.
Dabei sollte die Auswahl der Aufgaben zum späteren Einsatz passen. Werden ausschließlich einfache Texte getestet, bleibt offen, wie das Werkzeug mit unvollständigen Angaben oder widersprüchlichen Unterlagen umgeht. Unsere Empfehlung ist, typische Aufgaben und bekannte Problemfälle einzubeziehen. Die verantwortliche Person legt vorher fest, welche Fälle der begrenzte Test abdecken kann und welche Fragen offenbleiben.
„Measure“ richtet den Blick auf Tests, Messgrößen und akzeptable Grenzen. NIST empfiehlt, Fehler und Vorfälle zu erfassen und auch Risiken zu dokumentieren, die sich nicht messen lassen. Im Textpilot kann das Team beispielsweise festhalten, wie häufig sachliche Fehler auftreten und wie viel Überarbeitung nötig ist. Die reine Zahl erzeugter Entwürfe sagt wenig darüber aus, ob die Arbeit insgesamt leichter geworden ist.
Für die Auswertung schlagen wir vor, den gesamten Ablauf zu betrachten: Vorbereitung, Erstellung, Prüfung und Korrektur. Auch Rückfragen und verworfene Ergebnisse gehören dazu. Vor dem Start sollte vereinbart sein, welche Beobachtungen für eine Fortsetzung sprechen und welche einen Abbruch auslösen. Diese Maßstäbe nachträglich an ein erwünschtes Ergebnis anzupassen, würde die Aussagekraft des Versuchs schwächen.
Unter „Manage“ geht es bei NIST um den weiteren Einsatz und die fortlaufende Beurteilung von Risiken und Nutzen. Für die Geschäftsführung entsteht daraus eine überschaubare Entscheidungsvorlage: Was hat der Versuch gezeigt, wo liegen seine Grenzen und welche Probleme sind ungelöst? Ein Fehler, der im Test von einer erfahrenen Person aufgefangen wurde, darf bei der Planung einer Ausweitung nicht einfach als erledigt gelten.
Die nächste Entscheidung kann eine Fortsetzung mit klaren Auflagen, ein weiterer begrenzter Versuch oder das Ende des Piloten sein. Bei einer Fortsetzung sollten Verantwortung und Prüfung bestehen bleiben. Für eine größere Nutzung braucht es eine neue Beurteilung, sobald andere Aufgaben, Daten oder Nutzer hinzukommen. Der abgeschlossene Pilot liefert dafür Erfahrungen aus seinem begrenzten Bereich; ein unternehmensweiter Nutzen ist damit noch nicht belegt.