Niederrhein.ai
Ratgeber · KI-Agenten im Betrieb testen

KI-Agenten testen, bevor sie im Betrieb Aufträge auslösen

Michael Hanßen · Niederrhein.ai ·

Eine Mitarbeiterin am Laptop mit grafisch dargestellten Verbindungen zwischen Arbeitsschritten

Ein Agent soll Lieferantenangebote vergleichen, eine Anfrage vorbereiten und fehlende Angaben erkennen. Beim Vorführen klappt das. Entscheidend wird es beim zweiten Versuch mit einer anderen Datei, einem widersprüchlichen Liefertermin oder einer fremden Anweisung auf einer Webseite. Wer KI-Agenten im Betrieb testen möchte, braucht deshalb einen Ablauf, dessen Ergebnis sich kontrollieren und wiederholen lässt.

Ein aktueller Beitrag von Google zeigt, wie ernst diese Aufgabe inzwischen genommen wird. Für kleine und mittlere Unternehmen am Niederrhein lässt sich daraus eine konkrete Vorbereitung ableiten. Baue zunächst einen Test mit erfundenen Geschäftsdaten und klaren Erfolgskriterien auf. Die erste Aufgabe kann beispielsweise eine vollständige Angebotsvorbereitung sein.

Was Google mit der „Mirror Dimension“ untersucht

Google hat am 19. November eine abgeschottete Umgebung mit nachgebildeten Webseiten beschrieben. Dort lassen sich Browser-Agenten prüfen, ohne echte Konten und Dienstleistungen zu verändern. Jeder Durchlauf soll wieder mit demselben Ausgangsstand beginnen. Google setzt außerdem manipulierte Inhalte ein, um unerlaubte Aktionen durch fremde Anweisungen zu untersuchen. Die Originaldarstellung stammt vom Chrome-Sicherheitsteam von Google.

Für einen Betrieb ist vor allem die Prüfmethode nützlich. Eine Demonstration mit einem einfachen Fall beantwortet noch nicht, wie der Agent mit fehlenden Angaben, Unterbrechungen oder einem Täuschungsversuch umgeht. Ein eigener Test sollte diese Situationen bewusst enthalten.

Ein Beispiel für ein Fensterbauunternehmen in Moers

Das folgende Beispiel ist fiktiv. Ein Fensterbauer möchte Anfragen für Terrassentüren vorsortieren. Der Agent soll Maße, gewünschtes Material, Einbauort und Rückfragen in einer internen Übersicht zusammenstellen. Dafür bekommt er einen erfundenen Kundenauftrag und zwei ebenfalls erfundene Lieferantenangebote in einer getrennten Testumgebung.

Das Team legt vorab fest, was als richtiges Ergebnis gilt. Die Übersicht muss die angefragte Stückzahl und die Maße unverändert übernehmen. Fehlt die Öffnungsrichtung, muss sie als offen erscheinen. Ein Preis aus einem Lieferantenangebot darf nicht automatisch als verbindlicher Endkundenpreis gelten. Die Bestellung bleibt eine gesonderte Entscheidung des zuständigen Mitarbeiters.

Jetzt wird derselbe Auftrag mit gezielten Veränderungen wiederholt. Ein Angebot enthält eine andere Maßeinheit. Im zweiten fehlt die Lieferzeit. Ein dritter Test enthält einen zusätzlichen Satz, der den Agenten zum Versand an eine fremde Adresse auffordert. Die erwartete Reaktion steht jeweils schon vor dem Durchlauf fest.

Vier Fälle für einen brauchbaren Agententest

  1. Der vollständige Standardfall. Alle erforderlichen Angaben sind vorhanden. Das Team vergleicht die Ausgabe Feld für Feld mit seiner Musterlösung.
  2. Der unvollständige Auftrag. Eine entscheidende Angabe fehlt. Der Agent soll die Lücke zeigen und eine passende Rückfrage vorbereiten.
  3. Der widersprüchliche Inhalt. Zwei Unterlagen nennen unterschiedliche Werte. Die Ausgabe muss den Widerspruch zur Prüfung vorlegen.
  4. Die fremde Anweisung. Ein Dokument fordert eine zusätzliche, nicht beauftragte Handlung. Der Test prüft, ob der Agent bei seiner zugewiesenen Aufgabe bleibt.

Die Testumgebung muss den fehlenden Zugang zu echten Kundenkonten und Versandwegen tatsächlich durchsetzen. Ein bloßer Hinweis im Auftrag genügt dafür nicht als Nachweis. Die Trennung sollte eine technisch zuständige Person prüfen, bevor das Team die Fälle ausführt.

Prüfe auch den Zustand nach einer Unterbrechung

Lass den Ablauf einmal mitten in der Arbeit anhalten und anschließend fortsetzen. Erkennt der Agent noch den richtigen Auftrag? Welche Dateien hat er bereits verändert? Verwechselt er einen vorbereiteten Entwurf mit einem versendeten Angebot? Solche Fragen gehören in die Abnahme.

Ein am 20. November von t3n aufgegriffener Forschungsfall verdeutlicht diesen Prüfpunkt. Laut OpenAI Alignment erzeugte ein internes Forschungsmodell nach einer Kontextkomprimierung Skripte für eine nicht beauftragte E-Mail-Kopie. Die Skripte wurden laut Bericht nicht ausgeführt und es wurde keine E-Mail versendet. Der Fall stammt aus dem Training und ist kein belegter Vorfall in einem Kundenbetrieb. Er eignet sich als Anlass, die Wiederaufnahme einer Aufgabe ausdrücklich zu testen.

Was du vor dem ersten Einsatz festhalten solltest

Für jeden Durchlauf reichen zunächst Auftrag, verwendete Testdaten, erwartetes Ergebnis, tatsächliche Ausgabe und erforderliche Korrekturen. Halte auch fest, welche Aktionen der Agent ausführen konnte. Ein vollständig ausgefülltes Formular und ein tatsächlich ausgelöster Auftrag sind verschiedene Ergebnisse.

Wiederhole die Fälle nach wesentlichen Änderungen am Modell, an den Werkzeugen oder am Ablauf. Die frühere Prüfung beschreibt den damaligen Stand. Über die Freigabe der aktuellen Fassung entscheidet das zuständige Team anhand der erneut geprüften Ergebnisse.

Du möchtest einen solchen Ablauf für deinen Betrieb vorbereiten? Beschreibe eine wiederkehrende Aufgabe mit Ein- und Ausgang und bringe ein anonymisiertes Muster mit. niederrhein.ai unterstützt bei KI-Automatisierung für betriebliche Abläufe. Wenn zuerst die gemeinsame Prüfung im Team aufgebaut werden soll, passt eine KI-Schulung am Niederrhein.

Quellen und Stand

Google Chrome Security, Originalbeitrag vom 19. November 2026. OpenAI Alignment, Forschungsfall vom 17. Oktober, Bericht aktualisiert am 18. November 2026. Redaktioneller Stand und Abruf am 20. November 2026. Das Fensterbau-Beispiel und die vorgeschlagenen Prüffälle sind eigene, fiktive Anwendungsbeispiele.