Rollout und skalierte Einführung: Agenten werden Teil des Teams

Als wir zuletzt über den Intelligent Prospecting Agent (IPA) von Box berichteten, befand er sich mitten in der Pilotphase – und bewies seinen Wert für eine ausgewählte Gruppe von Vertriebsmitarbeiter:Innen.

Der Agent hatte bereits beeindruckende Ergebnisse gezeigt: Die Zeit zur Erstellung von Nachrichten sank von 30–60 Minuten auf nur noch 5 Minuten, während gleichzeitig Personalisierung in einem zuvor unmöglichen Maßstab möglich wurde. 

Daher entschieden wir uns, den Agenten aus der Pilotphase in den „Rollout“ und anschließend in die „Scaled Adoption“ zu überführen – die letzten beiden Phasen des vierstufigen Ansatzes von Box zur Entwicklung von KI-Agenten:

Ideation → Pilot → Rollout → Scaled Adoption

An dieser Stelle wird die Geschichte sowohl interessanter als auch unsicherer. Denn der Schritt von einem erfolgreichen Pilotprojekt zu einem produktionsreifen Rollout bedeutet, eine sehr komplexe Reihe unterschiedlicher Herausforderungen zu bewältigen – Systemintegration, Change Management und die Frage, was es bedeutet, KI-Agenten als feste Mitglieder des Teams zu haben.

Die Phasen Ideation und Pilot dienen dazu, Wert zu erkennen und nachzuweisen. In den letzten beiden Phasen geht es darum, diesen Wert in etwas Reales, Messbares und Nachhaltiges für das gesamte Unternehmen zu überführen. Hier entscheidet sich, ob KI-Initiativen still und leise versanden – oder tatsächlich verändern, wie Arbeit erledigt wird.
 

Von „es funktioniert“ zu „wir können ihm vertrauen“

In der Pilotphase hatte der IPA ein Ziel: zu beweisen, dass er das leisten kann, wofür er entwickelt wurde. Hat er Zeit gespart? Haben Vertriebsmitarbeiter:Innen ihn tatsächlich genutzt? Hat er ihnen geholfen, Aufgaben zu erledigen, die sie sonst nicht erledigt hätten?

Wenn ein Agent die Rollout-Phase erreicht, sind diese Fragen bereits beantwortet. „In der Pilotphase tut er genau das, wofür er entwickelt wurde“, sagt Robert Ferguson, Head of Corporate Strategy bei Box und Chief of Staff des CEO. „Er erreicht eine Schwelle bei Zuverlässigkeit und Genauigkeit.“ 

 

Der Rollout ist die Phase, in der Box entscheidet, ob diese Messlatte für einen neuen KI-Agenten erreicht wurde.
 

Robert Ferguson, Head of Corporate Strategy bei Box und Chief of Staff des CEO

Doch diese Zuverlässigkeitsschwelle ist nicht für alle Anwendungsfälle gleich. Ein Ideation-Agent, der beim Brainstorming von Überschriften hilft, kann eine gewisse Ungenauigkeit tolerieren. Ein Agent wie der IPA, der kundenorientierte Nachrichten formuliert, muss jedoch deutlich höheren Standards genügen. „Bei allem, wo eine KI mit Kund:Innen und Interessent:Innen interagiert“, so Ferguson, „liegt die Messlatte sehr hoch.“
 

Der Rollout ist die Phase, in der Box entscheidet, ob diese Messlatte für einen neuen KI-Agenten erreicht wurde. Bisher erfüllt der IPA sie – zumindest auf Grundlage unserer ersten Pilotmetriken.  

Was „produktionsreif“ tatsächlich bedeutet

Aber wenn ein Agent die Pilotmetriken erfüllt, ist die Arbeit noch lange nicht abgeschlossen. Damit ein Agent für Hunderte von Personen ausgerollt werden kann, muss er operativ einsatzbereit sein. Das bedeutet vier Dinge.
 

1. Sicherstellen, dass nur die richtigen Personen Zugriff erhalten 

Ein Agent, der in der Pilotphase hervorragend funktioniert, kann Chaos verursachen, wenn er in die falschen Hände gerät. „Es gibt bestimmte Agenten, bei denen man nicht allen Zugriff geben möchte“, erklärt Ferguson. „Manches ist schlicht eine Frage von Berechtigungen. Oder man möchte nicht, dass alle plötzlich 28 Agenten sehen, die für sie gar nicht relevant sind.“ 

Beim Intelligent Prospecting Agent bedeutet das zum Beispiel Zugriff für AEs und SDRs, aber nicht für Engineering- oder Finanzteams. Der Rollout-Plan legt genau fest, wer worauf Zugriff hat.

2. Die technische Infrastruktur absichern 

Manche Agenten sind einfach aufgebaut. Andere, wie der IPA, greifen auf Salesforce, Produktnutzungsdaten und Content Hubs zu. In solchen Fällen kommen die Technik- und Designteams von Box ins Spiel. „Immer wenn eine Integration mit anderen Daten und Systemen besteht“, sagt Ferguson, „muss jemand aus dem Design und das gesamte Team sicherstellen, dass sie mit der technischen Umsetzung zufrieden sind, bevor sie freigegeben wird.“
 

3. Sicherstellen, dass Wissen vertrauenswürdig ist

Während der Pilotphase verweist ein Agent vielleicht nur auf einige wenige Dokumente oder eine Momentaufnahme der Kommunikation. Das ist in Ordnung, wenn 15 Personen testen. Es ist nicht in Ordnung, wenn 200 Personen E-Mails an Kunden versenden. „Wenn der Agent die aktuellste Go-to-Market-Kommunikation heranzieht“, sagt Ferguson, „müssen wir sicherstellen, dass er tatsächlich auf die richtige Quelle verweist. Haben wir einen Plan, wie wir sicherstellen, dass diese Inhalte aktuell gehalten werden?“

Bei Box bedeutet das, strukturierte Hubs aufzubauen – für Produktmarketing, Vertriebsbotschaften, Kundenreferenzen, Richtlinien und mehr –, sodass Agenten immer auf eine einzige verlässliche Quelle zurückgreifen. Ohne das lassen sich Agenten nicht skalieren. Sie driften ab.
 

4. Governance und Sicherheit praktisch umsetzen – nicht nur theoretisch 

Die eigenen Agenten von Box respektieren automatisch Inhaltsberechtigungen: Wenn Sie ein Dokument nicht sehen können, kann der Agent es auch nicht in Ihrem Namen sehen. Bei Tools von Drittanbietern ist das jedoch nicht immer der Fall. „Es geht nicht nur um ‚Haben sie die richtigen Berechtigungen für die Nutzung des Agenten?‘“, erklärt Ferguson, „sondern auch um ‚Können sie auf Informationen zugreifen, die sie eigentlich nicht sehen sollten?‘“

Im Rollout werden diese Regeln festgelegt.

Erst wenn all dies implementiert ist, schaltet Box den Agenten für das gesamte Publikum frei.

Dieser Moment – wenn der Intelligent Prospecting Agent im Box AI-Menü aller berechtigten Vertriebsmitarbeiter:Innen erscheint – markiert den Beginn des Rollouts.

Doch das ist noch nicht das Ziel.
 

Einen Agenten zur „Art zu arbeiten“ machen 

Eine unbequeme Wahrheit über KI im Unternehmen lautet: Zugriff allein bedeutet nicht automatisch Wirkung. Ferguson spricht Klartext. „Rollout bedeutet nur, den Agenten allen Benutzer:Innen zugänglich zu machen. Sie sollten sich fragen: ‚Was ist der Plan, um sicherzustellen, dass er auch genutzt wird?‘“

Genau dafür ist die Scaled Adoption gedacht. Es ist der Moment, in dem die Fachbereiche entscheiden, wie der Agent einen bestimmten Workflow neu definiert. Im Vertrieb könnte das bedeuten, dass jedes Meeting mit dem IPA beginnt, der die Kontokontexte zusammenstellt. Im Marketing könnte das bedeuten, dass jeder Entwurf vor der Veröffentlichung durch einen Bearbeitungsagenten geht. Im Engineering könnte es bedeuten, dass Dokumentation nicht mehr manuell erstellt wird, weil der DocBot von Box dies automatisch übernimmt.

 

Wenn der Workflow nicht neu gestaltet wird, bleibt der Agent ein Nebenwerkzeug. Und Nebenwerkzeuge lassen sich nicht skalieren.
 

Robert Ferguson, Head of Corporate Strategy bei Box und Chief of Staff des CEO

„Die zentrale Frage“, erklärt Ferguson, „ist: Wo ändern sich die Workflows?“ „Dies ist der Moment, in dem das Management sagt: ‚Okay, der Agent hat in der Pilotphase wirklich gut funktioniert. Aber gibt es Tätigkeiten, die Teammitglieder heute noch ausführen, und die sie nicht mehr übernehmen müssen, weil dieser Agent sie ersetzt? Können wir den Agenten einfach in die bestehenden Workflows der Mitarbeiter:Innen einfügen? Oder müssen wir tatsächlich überdenken, wie sie ihre Arbeit erledigen?“ 

Wenn der Workflow nicht neu gestaltet wird, bleibt der Agent ein Nebenwerkzeug. Und Nebenwerkzeuge lassen sich nicht skalieren.
 

Das Zwei-Personen-Modell, das funktioniert

Jeder skalierte Agent hat zwei Verantwortliche:

• Die Fachbereichsleitung, die die Erwartungen festlegt.
• Den AI-Manager, der den Agenten nutzbar macht.

Ferguson erklärt die Aufteilung: „Die Fachbereichsleitung legt die Erwartungen fest – wie oft der Agent genutzt werden sollte und wer ihn nutzen sollte“, sagt er. „Der AI-Manager ist verantwortlich für die Kommunikation, das Training und die Befähigung rund um den Agenten.“

Dieses Duo verwandelt Software in eine gelebte Gewohnheit. Schließlich geht es bei der skalierten Einführung nicht nur darum, den Mitarbeiter:Innen mitzuteilen, dass ein Agent existiert, sondern ihnen zu zeigen, was er kann und was nicht.

Beim Intelligent Prospecting Agent bedeutet das, klar zu kommunizieren, was er heute leisten kann und was nicht, sowie wie sich seine Fähigkeiten über die Zeit erweitern werden. „Im Moment hat er keinen Zugriff auf Live-Webdaten“, bemerkt Ferguson. „Er ist mit unserem CRM verbunden. Zukünftig wird er Zugriff auf Live-Webdaten und zusätzliche Systeme haben. Es ist wichtig, dass die Benutzer:Innen wissen, was er heute kann und was nicht.“

Ohne dieses Verständnis könnten Benutzer:Innen dem neuen Agenten entweder misstrauen – oder ihm zu sehr vertrauen.

Erfolg messen auf einem sich bewegenden Ziel

Die Nutzung von KI-Agenten zu verfolgen, während sie sich weiterentwickeln, ist keine leichte Aufgabe. Box beobachtet zunächst indirekte Signale: Nutzen die Mitarbeiter:Innen den Agenten? Arbeiten sie schneller? „Im Moment basiert vieles auf Selbstauskunft“, sagt Ferguson. 

Am Ende zählen jedoch harte Zahlen: Sind die Mitarbeiter:Innen produktiver? Wird Geld gespart? Wird mehr Umsatz bei gleicher Mitarbeiterzahl erzielt? „Wir müssen sehr genau definieren, was echten Erfolg ausmacht“, sagt Ferguson. „Wenn wir zu Beginn prognostiziert haben, dass dieser Agent eine bestimmte Anzahl Stunden bei bestimmten Aufgaben einspart, sehen wir das tatsächlich auch in der Art und Weise, wie die Mitarbeiter:Innen ihre Zeit verbringen?“

Beim IPA könnte das bedeuten: mehr gebuchte Meetings, höhere Antwortraten oder mehr generierte Pipeline – unterstützt durch bessere und schnellere Ansprache.

So sieht skalierte Einführung aus, wenn sie funktioniert.
 

Was Sie aus unserem Ansatz lernen können

Möchten Sie Ihre eigenen KI-Agenten über reine Experimente hinaus einsetzen? Ferguson gibt einige Empfehlungen: 

1. Rollout nicht überstürzen.  
   Stellen Sie sicher, dass Zuverlässigkeit, Genauigkeit und Nutzen für die Benutzer:Innen wirklich gegeben sind, bevor Sie skalieren.
    
2. Wissen wie Infrastruktur behandeln.  
   Wenn Ihre Inhalte unübersichtlich sind, wirkt sich das auch auf Ihre Agenten aus.
    
3. Für Nutzung statt nur für Zugriff gestalten.  
   Workflows neu gestalten. Erwartungen klar definieren. Den Agenten zum Standard machen.
    
4. Führung mit Befähigung kombinieren.  
   Eine Person muss die Nutzung einfordern. Eine andere muss sie einfach machen.
    
5. Messen, was zählt – auch wenn es nicht perfekt ist.  
   Mit Selbstauskunft beginnen. Mit Geschäftsergebnissen enden.

Der Intelligent Prospecting Agent entwickelt sich noch weiter. Bald wird er auf Live-Webdaten, reichhaltigere Intent-Signale und weitere Systeme innerhalb von Box zugreifen. Doch er hat bereits die härteste Prüfung bestanden.

Und das ist die eigentliche Ziellinie jeder KI-Initiative: nicht eine Demo, nicht ein Dashboard – sondern eine neue Art zu arbeiten, die Bestand hat.