Pilotprogramme: Vorab-Stresstests für große KI-Investitionen

In dieser Serie folgen wir einem der Hero Agents von Box – einem Intelligent Prospecting Agent, der die Botschaften für den Vertrieb optimiert. Entwickler Alex Hudzik, Senior Director of Sales Development, betrachtet diesen Agent im Prinzip als „Produktvermarkter, den Verkäufer:innen in der Hinterhand haben sollten“.

Das potenzielle neue Tool muss jedoch zunächst den vierstufigen Ansatz von Box zur Entwicklung von KI-Agents durchlaufen, der mit der Ideenfindung beginnt, dann in die Pilotphase und den Rollout übergeht, bevor der Agent die flächendeckende Einführung erreicht.

Der Prospecting Agent hat bereits die anfängliche Ideenfindungsphase überlebt und geht jetzt in die Pilotphase über. Hier wird er einem Stresstest mit 25 Anwender:innen unterzogen, die mit dem KI-Agent echte Geschäftsprobleme lösen. „Dies ist eine einzigartige Chance, Ideen zu testen, weiterzuentwickeln und Feedback zu beurteilen – und das alles in kurzer Zeit“, so Nora Soza, Senior Director of GTM Strategy and Operations. „Auf diese Weise können wir schnellstmöglich den größten Mehrwert erzielen.“

Pilotprojekt: ein Programm zur Agent-Validierung

Bevor Sie Ressourcen für die umfassende Entwicklung abstellen, müssen Sie auf strukturierte Weise validieren, ob ein geplanter KI-Agent tatsächlich eine unternehmensweite Investition rechtfertigt. Die Pilotphase ist eine Möglichkeit, um ganz gezielt zu testen, zu messen und zu entscheiden, ob ein Agent skaliert oder eingestellt werden soll, bevor die Kosten zu hoch werden.

„An diesem Punkt entscheiden Führungskräfte , ob sie den Agent entwickeln und im gesamten Team einsetzen wollen", so Robert Ferguson, Head of Corporate Strategy bei Box und Chief of Staff des CEO.

Wenn aus einer Idee ein Pilotprojekt wird

Der Wendepunkt für den Prospecting Agent war der Moment, als Hudzik die verschiedenen experimentellen Agents in seinem Team hinter sich ließ und eine Chance erkannte. In den Teams in EMEA und den USA waren mehrere Initiativen entstanden, die sich überschnitten, aber sich alle mit ähnlichen Herausforderungen der Akquise befassten. Anstatt die Bemühungen parallel ablaufen zu lassen, erkannte die Unternehmensführung die Gelegenheit, sie zu etwas Größerem zu bündeln – etwas, das eine offizielle Validierung rechtfertigte.

„Alex ging einen Schritt zurück“, so Soza, „und machte sich ein umfassendes Bild davon, was wirklich nötig wäre, um einen Intelligent Prospecting Agent zu entwickeln. Wichtige Aspekte waren ganz klare Best Practices für Botschaften, Vorgaben zur Vermarktung an die einzelnen Märkte und Zielgruppen sowie die Einbindung von Informationen zur aktuellen Produktnutzung.“

Der Übergang von der Sondierung zur Ausführung unterscheidet die Ideenfindungsphase von der Pilotphase. In der Ideenfindungsphase fragen sich Verantwortliche: Was könnte hieraus werden? In der Pilotphase lautet die Frage: Funktioniert das tatsächlich im großen Maßstab?

Entwickelt für Validierung, nicht für Perfektion

Damit der Prospecting Agent funktionierte, mussten mehrere Datenquellen miteinander verbunden werden: sorgfältig ausgewählte Produktmarketing-Inhalte, Salesforce-Daten, Analysen zur Produktnutzung und ein branchenspezifischer Wissens-Hub. All das auf einmal zu entwickeln, hätte Tests und Feedback stark verzögert.

Stattdessen nutzte das Team laut Greg Keiser, Sales Strategy and Operations Director, den sogenannten „MVP-Ansatz“ (Minimum Viable Product, minimal funktionsfähiges Produkt).

„Wir wollten so schnell wie möglich Feedback einholen“, so Keiser. „Daher entwickelten wir das Basismodell so rasch wie möglich. Sobald das Tool Anwender:innen genügend Mehrwert lieferte, um das Konzept zu belegen, starteten wir die Pilotphase. Nach der Einführung geht die Entwickelungsarbeit weiter – mit dem Vorteil, dass wir jetzt das Feedback unserer Pilot-Anwender:innen nutzen können.“

Dieser iterative Ansatz – MVP-Entwicklung, Tests mit echten Anwender:innen, Weiterentwicklung anhand von Feedback – ist ein Paradebeispiel dafür, wie sich die Pilotphase von der Ideenfindungsphase und dem vollständigen Rollout unterscheidet. Das Tool ist so ausgereift, dass es validiert werden kann, aber noch nicht so umfassend, dass zu viele Investitionen eingeflossen sind, bevor seine Funktion bestätigt wurde.

Erforderliche Rollen für eine effektive Pilotphase

Für eine effektive Pilotphase müssen Sie Verantwortliche in vier verschiedenen Funktionen klar definieren: Fachbereichsverantwortliche, KI-Manager:innen, Entwicklungsteams und Testanwender:innen. Weisen Sie diese Rollen sorgfältig und frühzeitig zu. Andernfalls ergeben sich Lücken bei den Verantwortlichkeiten, die den Fortschritt bremsen und für ungenaues Feedback sorgen.

I. FACHBEREICHSVERANTWORTLICHE: Strategie festlegen und Erfolg definieren

„Die Fachbereichsverantwortlichen sollten viel Erfahrung mitbringen. Sie beaufsichtigen eine ganze Abteilung“, erklärt Ferguson. „Diese Rolle ist dafür verantwortlich, die Ergebnisse des Pilotprojekts zu definieren – also festzulegen, wie Erfolg aussieht.“

Bevor eine Pilotphase aussagekräftige Ergebnisse liefern kann, müssen Verantwortliche die Grundlagen schaffen: Haben wir die richtigen Leute für die Entwicklung? Haben wir die Zeit? Wurde die Architektur definiert und genehmigt?

„Die Architektur muss geplant und abgesegnet werden“, erklärt Ferguson. „Dann muss man überlegen, welche Aufgaben für die Entwicklung erledigt werden müssen und wer die Entwicklung übernimmt.“

Wenn diese Faktoren geklärt sind, können Teams Erfolgskennzahlen festlegen und die Ergebnisse messen.

II. KI-MANAGER:INNEN: Planung verwalten und Grundlagen schaffen

KI-Manager:innen sind einen Schritt näher an der Ausführung. „Diese Rolle muss beratend agieren und während des gesamten Entwurfs und Prozesses äußerst kooperativ zusammenarbeiten“, merkt Soza an.

Bei einfacheren Agents, die komplett in Box AI erstellt werden, können KI-Manager:innen alle Aufgaben übernehmen. Bei komplexeren Projekten wie dem Prospecting Agent werden sie zur wichtigen Schnittstelle zwischen den Geschäftsanforderungen und dem Entwicklungsteam, das die technische Ausführung übernimmt.

III. ENTWICKLUNGSTEAM: Gewährleisten, dass Kontext für Qualität sorgt

Bei komplexen Agents wie dem Prospecting Agent kümmert sich das Entwicklungsteam von Box – das Fachwissen rund um Unternehmenslösungen, IT und strategischen Abläufe vereint – um die technische Ausführung, die die Fachbereiche nicht übernehmen können. „Um wirklich leistungsfähig zu sein, musste der Agent mit Kunden- und Produktdaten verbunden werden“, so Ferguson. „Daher haben wir letztendlich das Datenwissenschaftsteam einbezogen und ein Portal für Dateneinblicke aufgebaut, das auf unseren Produktdaten in GCP beruht.“

Eine der ersten Aufgaben des Entwicklungsteams ist das Auditing der Inhalte, auf die der Agent zugreifen wird. Für den Prospecting Agent bedeutete das, die Produktmarketing-Botschaften in Formaten zu strukturieren, die der Agent effektiv nutzen kann. „Man braucht dieses kuratierte Wissen, damit der Agent effektiv arbeiten kann“, sagt Soza.

Durch diese Struktur behalten Fachbereichsteams die Kontrolle über Geschäftsanforderungen, während das Entwicklungsteam die technische Expertise bereitstellt, die nötig ist, um Agents für den Einsatz in der Produktion und die funktionsübergreifende Wiederverwendung zu entwerfen.

IV. TESTANWENDER:INNEN: Feedback liefern, das die Weiterentwicklung des Agents fördert

Wählen Sie Ihre Testanwender:innen sorgfältig aus, um effektives Feedback für Ihren neuen Agent zu erhalten.

Nicht jede Person eignet sich für diese Aufgabe. Die Betreffenden müssen sich speziell dafür Zeit nehmen, klar definierte Verantwortlichkeiten haben und ehrlich an den Ergebnissen interessiert sein. „Ihre Testgruppe sollte sich in gewisser Weise verantwortlich fühlen“, betont Soza. „Sie muss sich eigens dafür Zeit nehmen. Das Testen von Agents funktioniert nicht nebenbei – es muss Teil ihres Jobs sein und die Personen müssen sich persönlich für das Endprodukt verantwortlich fühlen.“

Für den Prospecting Agent wandte sich Hudzik an seine Führungskräfte und Teamleitungen. Diese Personen waren seiner Meinung nach nahe genug am Problem, um nützliches Feedback zu geben. „Sie haben verschiedene Tests gleichzeitig durchgeführt“, erzählt Soza. „Sie verfassten Vertriebsbotschaften und testeten sie mit dem Agent, um die Wirksamkeit ihrer Formulierungen zu ermitteln.“

Definition von Kennzahlen, die echten Erfolg messen

Sie können nichts verbessern, was Sie nicht messen, und keine weiteren Investitionen rechtfertigen, wenn keine klaren Kennzahlen vorliegen, die an die Geschäftsergebnisse geknüpft sind. Legen Sie also bereits vor Beginn eines Pilotprojekts Kennzahlen fest, mit denen Sie ermitteln können, ob das Projekt erfolgreich ist.

Ravi Malick, CIO von Box, hat eine klare Meinung zur Messung: „Es ist nicht so komplex, wie man oft denkt“, sagt er. „Am Ende des Tages müssen Ihre Erfolgskennzahlen mit Umsatz oder Marge verknüpft sein. Alles läuft auf die Bilanz hinaus.“

Um den Erfolg von Pilot-Agents zu messen, gehen Teams laut Ferguson von hinten nach vorne vor und identifizieren wichtige Indikatoren, indem sie mindestens eine der drei Kategorien von Leistungskennzahlen validieren:

1. Effizienzsteigerung: Ermöglicht der Agent messbare Zeiteinsparungen, z. B. weniger Zeitaufwand zum Erstellen von Marketingtexten oder zum Zusammenstellen eines Recruiting-Pakets?
2. Automatisierungsrate: Erhöht der Agent den Prozentsatz der Aufgaben, die ohne menschliches Eingreifen erledigt werden, z. B. Support-Tickets, die per Self-Service gelöst werden?
3. Neue Möglichkeiten: Bietet der Agent Möglichkeiten, die es zuvor nicht gab, z. B. Vorbereitung auf branchenspezifische Meetings oder eine Kontaktaufnahme, die flächendeckend auf die Zielgruppe zugeschnitten ist?

„Spart der Agent den Teams wirklich Zeit oder verbessert er ihre Arbeitsergebnisse?“, fragt Ferguson. „Halluziniert der Agent nicht, sondern erledigt seinen Job zuverlässig und korrekt?“

Beim Prospecting Agent zeigten sich Effizienz- und Automatisierungsvorteile konkret in der Zuverlässigkeit und Genauigkeit. Die benötigte Zeit pro Nachricht fiel von 30–60 Minuten auf rund 5 Minuten. Die Botschaften wurden deutlich einheitlicher. Auch die Nutzerakzeptanz spielte eine Rolle.

Neben einer schnelleren Kontaktaufnahme erschloss der Prospecting Agent auch neue Möglichkeiten: Das SDR-Team kann nun Botschaften im großen Maßstab auf bestimmte Branchen und Zielgruppen zuschneiden. Für diese sinnvolle Personalisierung fehlten zuvor Zeit oder Expertise.

Ausweitung oder Einstellung des Pilotprojekts

Nicht jede Pilotphase ist erfolgreich – und das ist nicht schlimm. Auch Fehlschläge – und manchmal ganz besonders Fehlschläge – schaffen langfristig einen Mehrwert, da Unternehmen hierdurch herausfinden, welche Tools ihre KI-Transformation unterstützen und welche nicht.

„Auch wenn der Anwendungsfall selbst nicht erfolgreich verläuft“, erläutert Soza, „liefert er häufig wertvolle Erkenntnisse." Vielleicht ändert sich die aktuelle Architektur des Prospecting Agent später noch, doch das Team hat wichtige Erkenntnisse zum Abruf von strukturierten Daten und zur Kuratierung von Wissen gewonnen, die in künftige Entwicklungen einfließen werden.

Um die KI-Transformation auf Kurs zu halten und einem strengen Pilotprogramm zu folgen, sind enge Fristen nötig, die die Dynamik maximieren. „Sechs Monate sind eher eine sehr lange Zeit“, so Malick. „90 Tage sind großzügig. Das Ziel sollte eine Überprüfung alle 30 Tage sein.“

„Das Schöne an einer Pilotphase“, fügt Soza hinzu, „ist, dass man Veränderungen so schnell vornimmt, dass Investitionsverluste minimal bleiben – im Vergleich zu einem Großprojekt, das neun Monate dauert.“

Für den Prospecting Agent geht die Pilotphase weiter. Das Team verschiebt alle zwei bis drei Wochen Updates in die Produktionsumgebung, sammelt Feedback, entwickelt den Agent weiter und arbeitet auf die unternehmensweite Verfügbarkeit hin.

„Wir haben noch viel Arbeit vor uns“, räumt Keiser ein. „Ich will nicht so tun, als hätten wir gerade den Super Bowl gewonnen – eher ein paar Spiele in der Vorsaison.“

Doch bei Pilotprojekten ist das ein guter Ausgangspunkt: weit genug fortgeschritten, um zu wissen, das man etwas Interessantem auf der Spur ist, doch noch früh genug im Prozess, um Verbesserungen vorzunehmen, bevor sich die Kennzahlen auf die zuvor erwähnte Bilanz auswirken können.

Für unseren Prospecting Agent ist zum Glück noch kein Ende in Sicht. Die Vorsaison ist vorbei, doch die reguläre Saison beginnt gerade erst.