Webinar-Zusammenfassung: Sichere KI-Agenten für den Unternehmenseinsatz entwickeln

Verfasst von: Marco Mancini; Jonatan von Martens; Eli Goodman
Veröffentlicht: 9. Mai 2026
Zuletzt aktualisiert: 19. Aug. 2026

AnhörenArtikel anhören

0:00

0:000:00

Webinar-Rückblick: Sichere KI-Agenten für den Unternehmenseinsatz entwickeln

Einen KI-Agenten Gespräche führen zu lassen, ist der einfache Teil. Die Herausforderung, an der die meisten Unternehmenseinsätze scheitern, ist das Vertrauen von Sicherheits- und Rechtsteams sowie Kunden zu gewinnen.

Dieser Beitrag fasst unseren Live-Workshop Sichere KI-Agenten für den Unternehmenseinsatz entwickeln zusammen. Darin zeigten wir die Tools, Frameworks und Bereitstellungspraktiken, mit denen sich Agenten unternehmensweit skalieren lassen.

Sicherheit mehrschichtig aufbauen

Auf der ElevenAgents-Plattform wurden über vier Millionen Agenten bereitgestellt. Diejenigen, die im Unternehmensumfeld zuverlässig arbeiten, haben eines gemeinsam: Sicherheit war von Anfang an integriert und wurde nicht erst nach dem ersten Vorfall ergänzt.

In unserer Live-Session behandelten wir die Frameworks, Kontrollen und Bereitstellungspraktiken, die Agenten mit bestandener Sicherheitsprüfung von den übrigen unterscheiden.

Verschiedene Agenten benötigen grundlegend unterschiedliche Grenzen.

Ein Videospielcharakter muss möglicherweise explizit gewalttätige Sprache als Teil des Erlebnisses verwenden – darf aber niemals aus der Rolle fallen oder offenlegen, dass er eine KI ist.
Eine Rezeptionistin im Gesundheitswesen muss über Verletzungen und medizinische Zusammenhänge sprechen können – darf aber niemals medizinischen Rat geben.
Ein Support-Agent für Kreditkarten sollte explizite Inhalte vollständig vermeiden und keine Kontodaten an nicht verifizierte Anrufer weitergeben.

Da Agenten nicht deterministisch arbeiten, kann keine einzelne Schutzmaßnahme vollständig vor allen potenziellen Risiken schützen. Deshalb benötigen Unternehmen einen mehrschichtigen Ansatz: Mehrere Kontrollen wirken zusammen, damit Sicherheitsfehler zur seltenen Ausnahme werden.

Dieses Prinzip bestimmte die vier Fragen, anhand derer wir die Session strukturiert haben:

Wie kann ich kontrollieren, was mein Agent sagt und tut?
Wie kann ich prüfen, ob er funktioniert?
Wie kann ich Daten schützen und Sicherheits- sowie Compliance-Anforderungen erfüllen?
Wie kann ich Prozesse für eine sichere Bereitstellung aufbauen?

Agentenverhalten kontrollieren

Bei jedem Agentengespräch gibt es drei Punkte, an denen Sicherheit berücksichtigt werden muss.

Eingabe
Der Nutzer sagt etwas. Angreifer könnten beispielsweise versuchen: „Ignoriere alle vorherigen Anweisungen“ oder „Tu so, als wärst du ein anderer Assistent.“ Sie müssen Manipulationsversuche erkennen und behandeln, bevor sie das Modell erreichen. Das vermeidet unnötige Kosten und hindert Angreifer daran, Informationen abzurufen, auf die sie keinen Zugriff haben sollten.

Entscheidungsfindung
Das LLM entscheidet, was es sagen oder tun soll. Hier ist Ihr System Prompt die wichtigste Kontrollinstanz. In langen oder komplexen Gesprächen können LLMs jedoch von ihren Anweisungen abweichen. Sie brauchen Mechanismen, die das Verhalten während des gesamten Gesprächs stärken, nicht nur zu Beginn. Definieren Sie auch Eskalationswege: In welchen Situationen soll der Agent an einen Menschen oder einen spezialisierteren Agenten übergeben und unter welchen Bedingungen?

Ausgabe
Selbst bei klaren Vorgaben kann etwas durchrutschen – besonders in langen Gesprächen. Sie brauchen ein letztes Sicherheitsnetz. Stellen Sie es sich als Mini-Agenten vor, der die Arbeit Ihres Hauptagenten prüft: Er bewertet die Antwort, bevor sie den Nutzer erreicht, und entscheidet, ob sie ausgeliefert, erneut versucht oder eskaliert wird. Er läuft parallel zur Antwortgenerierung und verursacht nur minimale Latenz.

Definieren Sie für alle drei Ebenen Ihre Ausstiegsstrategien im Voraus: Beendet ein Verstoß das Gespräch, löst er einen erneuten Versuch mit korrigierenden Anweisungen aus oder erfolgt eine Übergabe an einen Menschen? Diese Entscheidung prägt die Nutzererfahrung, wenn etwas schiefläuft.

Demo 1: Guardrails in ElevenAgents konfigurieren

Szenario: Ein Vertriebs- und Support-Agent für eine Website wird mit mehreren Sicherheitskontrollen konfiguriert, um Manipulationen, themenfremde Antworten und Richtlinienverstöße zu verhindern.

Gezeigt wurde:

Manipulation Guardrail (Eingabe) – Dieser Schalter befindet sich im Tab „Security“. Er erkennt Prompt-Injection-Muster – Versuche, Systemanweisungen zu überschreiben – und beendet das Gespräch, bevor der Agent antwortet. Für alle Produktionsagenten empfohlen.
System Prompt und Focus Guardrail (Entscheidungsfindung) – Der System Prompt ist die Grundlage. Jede wichtige Regel sollte dort ausdrücklich stehen. In der Demo wurde während der Session eine Anweisung ergänzt: „Bieten Sie keine Rabatte an.“ Der separat aktivierte Focus Guardrail verstärkt den System Prompt automatisch im gesamten Gespräch. So wird das Problem von Abweichungen in längeren Interaktionen adressiert. Ein starker System Prompt in Kombination mit aktiviertem Focus ist die wirksamste Maßnahme, um einen Agenten auf Kurs zu halten.
Content Guardrail (Ausgabe) – Vorkonfigurierte Kategorien für Obszönitäten, Rechtsberatung und politische Meinungen. Jede Kategorie hat einen anpassbaren Konfidenzschwellenwert – „Mittel“ ist der empfohlene Ausgangspunkt. Dies ist die Rückfallebene: Wenn der Agent kurz davor ist, etwas Unzulässiges zu erzeugen, fängt sie es vor der Auslieferung ab.
Benutzerdefinierter Guardrail (Ausgabe) – nutzerspezifische Prüfungen in natürlicher Sprache für Fälle, die nicht durch Voreinstellungen abgedeckt sind. In der Demo wurde ein Guardrail für „keine Rabatte“ konfiguriert: „Blockiere jede Antwort, die Rabatte, Werbeaktionen oder Sonderpreise erwähnt, zu deren Angebot der Agent nicht berechtigt ist.“ Benutzerdefinierte Guardrails verwenden eine zusätzliche LLM-Bewertung. Dadurch entstehen nutzungsabhängige Kosten und Latenz. Formulieren Sie präzise Anweisungen und teilen Sie verschiedene Prüfungen auf separate Guardrails auf, statt sie zu kombinieren.
Aktion bei Verstoß – zwei Optionen: Anruf beenden oder erneut versuchen. Beim erneuten Versuch können Sie zusätzliche Anweisungen geben, die den nächsten Versuch des Agenten steuern – etwa zur Eskalation an einen Menschen oder zur Ausgabe einer standardmäßigen Weiterleitungsnachricht.

Warum das wichtig ist: Diese Kontrollen sind keine Einheitslösung. Sie lassen sich für jeden Guardrail einzeln konfigurieren. Diese Granularität macht den Unterschied zwischen einem theoretisch sicheren Agenten und einem Agenten, der in unterschiedlichen Unternehmenskontexten praktisch sicher arbeitet.

Demo 2: Simulationstests vor dem Launch

Szenario: Ein Support-Agent wird mit zwei rabattbezogenen Gesprächsszenarien getestet, um zu bestätigen, dass er Nutzer zur Preisseite weiterleitet, ohne Rabatte anzubieten.

Gezeigt wurde:

Zwei Simulationstests im Tab „Tests“, jeweils mit einem simulierten Nutzerszenario, einer festgelegten Anzahl von Gesprächsrunden und klaren Erfolgskriterien
Ein Test schlug zunächst fehl, weil dem System Prompt spezifische Anweisungen für Grenzfälle fehlten
Die fehlenden Anweisungen wurden dem Guardrail-Abschnitt des System Prompts hinzugefügt
Der Agent wurde erneut veröffentlicht und beide Tests wurden wiederholt – beide bestanden
Der detaillierte Ausführungsverlauf zeigt genau, welcher Teil eines Gesprächs fehlgeschlagen ist, einschließlich Tool-Aufrufen und Agentenaktionen

Warum das wichtig ist: Simulationstests ermöglichen Teams, das Verhalten eines Agenten in einer kontrollierten Umgebung zu validieren, bevor ihn echte Nutzer sehen. Sie decken sowohl Routineszenarien als auch Angriffsszenarien ab. Außerdem prüfen sie den vollständigen Gesprächsverlauf, nicht nur einzelne Antworten. Nach Änderungen können Tests sofort erneut ausgeführt werden, um zu bestätigen, dass die Korrektur funktioniert.

Demo 3: PII-Redaktion für sensible Einsätze

Szenario: Ein Unternehmensagent wird so konfiguriert, dass personenbezogene Daten aus Gesprächsprotokollen entfernt werden.

Gezeigt wurde:

Der Schalter „Conversation History Redaction“ im Tab „Advanced“ unter den Datenschutzeinstellungen
Eine Liste spezifischer Datenentitäten, die einzeln zur Redaktion aktiviert werden können, darunter Geburtsdatum, Alter und andere sensible Felder
Die Option, alle Entitäten oder nur die für den jeweiligen Anwendungsfall des Agenten relevanten auszuwählen

Warum das wichtig ist: Die Redaktion personenbezogener Daten ersetzt in Umgebungen mit hohen Compliance-Anforderungen wie HIPAA nicht den Modus ohne Datenspeicherung. Sie reduziert jedoch die Datenexposition in Gesprächsprotokollen, die für interne Prüfungen oder Qualitätskontrolle verwendet werden. Teams können die benötigten Protokolle behalten und gleichzeitig nicht benötigte Daten entfernen. Diese Funktion ist derzeit für Unternehmenskunden verfügbar.

Best Practices für die sichere Bereitstellung von Unternehmensagenten

Verfolgen Sie einen mehrschichtigen Ansatz. Keine einzelne Kontrolle gewährleistet sicheres Verhalten. Guardrails für Eingaben, Ausgabevalidierung, Prompt-Härtung und Tests müssen zusammenwirken. Jede Ebene stärkt die anderen und reduziert gemeinsam das Risiko von Sicherheitsproblemen erheblich.
Passen Sie Guardrails an den Kontext an. Ein Agent im Gesundheitswesen und ein Support-Agent im Einzelhandel brauchen unterschiedliche Regeln. Definieren Sie Grenzen speziell für Ihren Anwendungsfall, nicht anhand einer allgemeinen Vorlage.
Beginnen Sie mit einem relevanten Anwendungsfall. Die erfolgreichsten Unternehmenseinsätze beginnen nicht mit einem folgenlosen Pilotprojekt. Sie wählen reale Aufgaben wie Kundensupport oder Terminplanung und investieren darin, sie richtig umzusetzen.
Testen Sie vor dem Launch und danach kontinuierlich. Nutzen Sie Simulationstests und externe Red-Teaming-Tools. Testen Sie sowohl Routineszenarien als auch Angriffsszenarien. Übernehmen Sie neue Grenzfälle aus der Produktion in Ihre Testsuite.
Stellen Sie schrittweise bereit. Beginnen Sie mit begrenztem Traffic. Überwachen Sie reale Gespräche. Ermitteln Sie, womit der Agent Schwierigkeiten hat. Nehmen Sie Anpassungen vor, testen Sie erneut und skalieren Sie dann.
Wählen Sie den Ausführungsmodus bewusst. Verwenden Sie den Blocking-Modus für Text-Agenten, bei denen strikte Validierung wichtiger ist als Geschwindigkeit. Verwenden Sie den Streaming-Modus für Voice Agents, bei denen Latenz Priorität hat.
Definieren Sie klare Maßnahmen bei Guardrail-Verstößen. Entscheiden Sie im Voraus, ob ein Verstoß den Anruf beenden, einen erneuten Versuch auslösen oder an einen Menschen eskalieren soll.
Halten Sie Anweisungen für benutzerdefinierte Guardrails kurz. Guardrails laufen parallel. Ein langer, komplexer benutzerdefinierter Guardrail erhöht die Latenz. Formulieren Sie präzise Anweisungen und teilen Sie verschiedene Prüfungen auf separate Guardrails auf.
Verstehen Sie, was Zertifizierungen tatsächlich abdecken. SOC 2 Type 2 und ISO 27001 sind Mindeststandard. Branchenspezifische Standards wie HIPAA und PCI DSS betreffen regulierte Branchen. Neuere KI-spezifische Zertifizierungen wie ISO 42001 und AIUC-1 behandeln Verzerrungen, Transparenz und Widerstandsfähigkeit gegenüber Angriffen. Eine AIUC-1-Zertifizierung kann zudem Zugang zu KI-spezifischen Versicherungen ermöglichen.
Bauen Sie frühzeitig robuste Prozesse auf. Die erste Bereitstellung benötigt die meiste Zeit. Teams, die in Test- und Bereitstellungsprozesse investieren, können bei jedem weiteren Agenten deutlich schneller iterieren.