Ein praktischer Prüfrahmen von Dr. Blackburn Digital GmbH Nutzen Sie ihn, wenn Sie einen KI-Anwendungsfall auswählen oder eine bestehende Funktion erweitern möchten.
Eine klar begrenzte Aufgabe auswählen
Beschreiben Sie eine Aufgabe in einfachen Worten: beispielsweise einer Person helfen, die aktuelle Anleitung für einen Prozess zu finden. Legen Sie fest, was die Funktion liefern soll und was einem Menschen überlassen bleibt. Mit einer enger gefassten Aufgabe lassen sich konkrete Beispiele für korrekte, unvollständige und unzulässige Antworten vereinbaren.
Bestimmen Sie die Zielgruppe und die Folgen einer falschen Antwort. Für einen Textvorschlag, den eine Redaktion prüft, gelten andere Anforderungen als für eine Antwort, auf deren Grundlage jemand unmittelbar handeln könnte. Diese Anforderungen sollten die Gestaltung und Prüfung von Anfang an prägen.
Eine Beispielantwort bis zu ihren Quellen zurückverfolgen
Nehmen Sie mehrere wahrscheinliche Fragen und bestimmen Sie für jede das benötigte Quellenmaterial. Prüfen Sie, wer dieses Material pflegt, ob es für die Zielgruppe gilt und wie Änderungen erkennbar werden. Bei widersprüchlichen Dokumenten muss entschieden werden, welche Quelle maßgeblich ist; beide einem Modell vorzulegen, löst den Widerspruch nicht.
Eine kurze Prüfdokumentation kann die Frage, die relevante Quelle, die prüfende verantwortliche Person und den nächsten Prüfzeitpunkt enthalten. Halten Sie Lücken in unvollständigen Quellen fest. Es geht darum, Verantwortung im Alltag handhabbar zu machen, statt anzunehmen, eine große Dokumentensammlung sei für jeden Einsatzzweck geeignet.
Die schwierigen Fälle testen
Beziehen Sie ein veraltetes Dokument, eine mehrdeutige Frage, eine Anfrage außerhalb des vorgesehenen Aufgabenbereichs und eine mit den Quellen nicht beantwortbare Frage ein. Beobachten Sie, wie das System jeweils reagiert. Zeigt es die relevante Quelle, fragt es nach oder erklärt es, dass die verfügbaren Informationen nicht ausreichen?
Halten Sie Testbeispiele von gewöhnlichen Kundennachrichten getrennt. Synthetische Beispiele können viele Probleme sichtbar machen, ohne zusätzliche personenbezogene Daten zu erheben. Für die Nutzung realer Fälle sind ein angemessener Zweck, ein geregelter Umgang mit den Daten und begrenzte Zugriffsrechte erforderlich.
Prüfung und Weitergabe an Verantwortliche praktikabel machen
Legen Sie fest, wer eine Quelle korrigieren, eine mangelhafte Antwort melden und eine Funktion vorübergehend abschalten darf. Nutzer sollten erkennen können, wann eine Antwort weiter geprüft werden muss und wie sie die zuständige Person erreichen. Ein Haftungshinweis kann keinen Ablauf ausgleichen, der eine notwendige Prüfung erschwert.
Wiederholen Sie nach einer Änderung des Quellenmaterials oder des Modells die wichtigen Testfälle. Dokumentieren Sie kurz, was sich geändert hat und ob die Funktion ihren vorgesehenen Zweck weiterhin erfüllt. Erweitern Sie den Anwendungsfall erst, wenn die vorliegenden Belege diesen Schritt rechtfertigen.