Definition einer neuen Rolle: KI-Manager:innen

In dieser Serie haben wir die AI-First-Transformation behandelt: von KI-Grundsätzen und -Strategie über Agent-Ideenfindung und -Pilotprojekte bis hin zu Rollout und flächendeckender Einführung.

Abschließend werfen wir einen Blick auf die wichtige Rolle von KI-Manager:innen in dieser neuen AI-First-Struktur. Dazu konzentrieren wir uns auf die neue Organisationsstruktur bei Box im Zuge unserer eigenen (bei Weitem nicht abgeschlossenen) KI-Transformation.

 

Das KI-Organigramm: Top-down-Führung trifft auf Bottom-up-Kreativität

AI-First-Unternehmen erzielen ihre Erfolge durch die kreative Spannung zwischen Top-down-Struktur und Bottom-up-Kreativität.

Wie zuvor erörtert, besteht ein wichtiges Element der AI-First-Philosophie von Box darin, so vielen Mitarbeiter:innen wie möglich die nötigen Tools, Schulungen und Anreize bereitzustellen, damit sie neue Einsatzmöglichkeiten von KI-Agents für sich und ihre Teams finden können.

Wie aktuelle Studien zeigen, reicht es jedoch nicht aus, Unternehmensressourcen in KI zu investieren, um garantiert positive Ergebnisse zu erzielen.

„Wir verzeichnen zwar eine Rendite aus unseren KI-Investitionen“, erklärt Kelly Millsaps, VP for Digital Customer Success bei Box, „doch das war schwieriger und hat länger gedauert als erwartet. Viele Unternehmen behandeln das Ganze als Hobby: Wenn jemand eine 40-Stunden-Woche hat, wovon die Person 38 Stunden mit anderen Dingen beschäftigt ist, und dann in zwei Stunden pro Woche großartige KI-Ergebnisse erzielen soll, ist das unserer Erfahrung nach einfach unrealistisch.“

Im Rahmen des KI-Managements bei Box werden neu aufkommende potenzielle KI-Agents aus dem kreativen Pool jedes Fachbereichs untersucht und ausgewählt. Anschließend werden die ausgewählten Agents sorgfältig verwaltet und optimiert, während sie erst in die Produktion übergehen und schließlich in unsere langfristigen Workflows integriert werden.

Organigramm

An der Spitze steht das Operating Committee (OpCo), das Führungsteam, das Entscheidungen trifft und die Richtung für die allgemeine KI-Strategie und die -Prioritäten bei Box, die Best Practices, die Governance und die Nutzungsrichtlinien vorgibt.

OpCo-Sessions werden auch von Fachbereichsverantwortlichen besucht, die übergeordnete Unternehmensbereiche wie Vertrieb, Marketing, Entwicklung, Kundensupport usw. repräsentieren. Sie verwenden OpCo-Leitlinien, um die strategische Ausrichtung ihrer Abteilung beim Thema KI festzulegen, also welche Prozesse KI-Agents erfordern oder welche Prozesse überarbeitet werden müssen.

Robert Ferguson, Chief of Staff des CEO bei Box, sagt hierzu: „Fachbereichsverantwortliche übernehmen das strategische Change Management, das definiert, wie ihre Teams KI tatsächlich bei ihrer Arbeit verwenden werden.“

Fachbereichsverantwortliche wiederum arbeiten eng mit den KI-Manager:innen zusammen, die einzelne KI-Agents für bestimmte Rollen und Aufgaben beaufsichtigen (beispielsweise gibt es im Vertrieb vielleicht KI-Manager:innen für BDRs, AEs, Recherche potenzieller Kund:innen, Verträge usw.).

Die neue Rolle der KI-Manager:innen bei Box umfasst vier allgemeine Kategorien: von kurzfristigen taktischen Überlegungen über mittelfristige Forschung und Optimierung bis hin zur langfristigen strategischen Planung.

 

I: Taktik – Richtige Planung und Erstellung von KI-Agents

Sobald ein KI-Agent die Ideenfindungs- und Pilotphase hinter sich lässt, überwacht das KI-Management bei Box die Entwicklung, das Training und die Unterstützung dieses Agents, sammelt Feedback und gibt Ratschläge, um sicherzugehen, dass er richtig entwickelt wurde und wie erwartet funktioniert.

Doch KI-Agents erfordern auch weiterhin Aufmerksamkeit.

„Wir haben nun also einen funktionierenden Agent“, beginnt Ferguson. „Doch wie überwachen wir ihn? Wie können wir ihn überarbeiten?“

Sobald ein Agent die Rollout-Phase und flächendeckende Einführung durchlaufen hat, sind KI-Manager:innen dafür verantwortlich, dass der Agent im Alltag wie erwartet funktioniert. Sie sammeln Feedback dazu, wie er verwendet wird, wie die Leistung ausfällt und wie das Team die Funktionsweise überarbeiten und verbessern kann.

Dazu gehört auch, sicherzugehen, dass das Training des Agents stets auf dem neuesten Stand ist.

„Als wir die Informationslösung in Angriff nahmen“, sagt Millsaps über Agents, deren Wissensdatenbanken den Kundensupportteams von Box Antworten und Informationen liefern, „haben wir enorm unterschätzt, wie schnell die Effektivität unseres KI-Toolsets stagnieren würde, wenn wir keine grundlegenden Verbesserungen an dieser Wissensdatenbank vornehmen. Bereits nach 45 Tagen reichte die Optimierung der Prompts nicht mehr aus und wir stellten fest, dass wir stattdessen die Wissensdatenbank aktualisieren mussten – und zwar schnell.“

Solche Erkenntnisse lassen sich nur durch Erfahrung gewinnen – und sie sind nötig, um KI-Manager:innen die Grundlage für eine langfristige Strategieplanung zu liefern, die die erfolgreiche KI-Transformation des Unternehmens fördert.

 

II: Funktion – Anwendung von KI-Agents auf Team- und Workflow-Updates

Nehmen wir an, Sie arbeiten im KI-Management. Ihre Teams arbeiten mit KI-Agents und Sie haben gesehen, was diese Agents können und was nicht, inwiefern man den Ergebnissen vertrauen kann und wie man die Ausgaben verbessern könnte.

Konzentrieren wir uns nun auf das große Ganze.

„Sobald der Agent eingeführt und skaliert wurde und Sie Akzeptanz erreicht haben“, erläutert Ferguson, „müssen Sie beginnen, die langfristigeren Auswirkungen zu beurteilen, um Agents bestmöglich zu nutzen.“ Für KI-Manager:innen bedeutet das, eine ganze Reihe schwieriger Fragen dazu zu beantworten, wie KI-Agents und ihre menschlichen Teammitglieder arbeiten:

  • Wie sollte sich die Zusammensetzung Ihres Teams ändern, nachdem es jetzt auch KI-Agents umfasst, die Aufgaben übernehmen, die zuvor von Menschen erledigt wurden? Muss es größer, kleiner oder einfach nur anders werden?
  • Sollten manche Rollen neu definiert werden, da menschliche Aktivitäten von KI übernommen werden?
  • Müssen Sie Teammitglieder weiterbilden oder umschulen – nicht nur für die Nutzung von Agents, sondern auch für die Beaufsichtigung, damit sie erkennen, wann Agents gut funktionieren und wann Menschen eingreifen müssen?
  • Müssen Sie nicht nur die Kompetenzen der Teammitglieder ändern, sondern die Zusammensetzung des Teams selbst? Brauchen Sie mehr oder weniger Leute in bestimmten Rollen?
  • Gehen einige menschliche Rollen gänzlich verloren und werden neue geschaffen?
  • Die Antworten auf diese Fragen beruhen zumindest teilweise auf einem weiteren Aspekt der Change-Management-Funktion von KI-Manager:innen: Wie lässt sich der ROI von KI-Investitionen im Unternehmen am effektivsten berechnen?

 

III: ROI – Welche KI-Agents liefern letztlich einen echten Mehrwert?

„Bei der Frage, wie die Kosten ausfallen, wenn man Agents statt Menschen nutzt, ist noch vieles ungeklärt“, so Ferguson. Einige Aspekte dieser Rechnung – die grundsätzlichen Kosten des Agent-Einsatzes, das Risiko bei einem kundenorientierten Prozess und die grundlegende Qualität der Agent-Ausgabe – wurden bereits in der Pilotphase berücksichtigt.

Doch ihre Beurteilung sollte – wie so vieles rund um die KI-Einführung – regelmäßig überdacht werden. Das ist weiterhin die Aufgabe von KI-Manager:innen.

 

ROI 1: Liefert Ihr Agent hochwertige Ergebnisse?

Letzten Herbst entwickelte das Content-Team von Box KI-Agents für verschiedene grundlegende Aspekte der Erstellung schriftlicher Inhalte und begann, diese einzusetzen: einen Gliederungs-Agent, einen Entwurfs-Agent und einen Bearbeitungs-Agent.

In den ersten Jahren der GenAI-Ära haben Unternehmen schnell erkannt, dass beliebte LLMs äußerst schnell erste Entwürfe verfassen können. Doch als unser Content-Team interne Agents einsetzte, die Texte für unsere einzigartige Unternehmenssprache verfassen sollten, „stellten wir fest, dass der Gliederungs-Agent und der Bearbeitungs-Agent zwar gute Leistungen erbrachten, der Entwurfs-Agent jedoch unbrauchbare KI-Ausgaben erzeugte“, erinnert sich Nick Johnson, Head of Content Marketing. Das Team entschied sich daher, den Gliederungs- und den Bearbeitungs-Agent einzuführen. „Die eigentlichen Entwürfe muss unser Team aber weiterhin selbst erstellen.“

 

ROI 2: Welche messbaren Einsparungen erzielt Ihr KI-Agent?

Eine etwas komplexere ROI-Frage ist die Messung der Kostenersparnis durch einen Agent. Millsaps’ Kundensupport-Abteilung nutzt die größte Bandbreite an KI-Agents bei Box und hat daher vielleicht die meiste Erfahrung mit dieser Analyse. „Ganz allgemein gesprochen“, erläutert Millsaps, „sehen wir uns jedes unserer KI-Projekte an und versuchen, eine Baseline zu finden“, anhand derer der wahre ROI des Agents gemessen werden kann.

Der Kundensupport-Chatbot von Box ist ein klares, einfaches Beispiel.

„Zuvor waren sechs Personen für den Support-Chat verantwortlich“, so Millsaps. „Wenn wir uns also die Anzahl der Supportanfragen ansehen, die wir inzwischen ganz ohne menschliche Interaktion bearbeiten können, und die Anzahl an Mitarbeiter:innen, die nötig gewesen wäre, um all diese Anfragen zu beantworten, können wir den Wert dieser KI-Lösung einschätzen.“

Andere Fälle sind laut Millsaps nicht so einfach zu beurteilen, „da man etwas messen muss, das nicht stattgefunden hat.“

Um beispielsweise eine sinnvolle ROI-Kennzahl für die KI-Suchfunktion auf support.box.com zu ermitteln, geht Millsaps’ Team wie folgt vor:

  1. Jede Anwenderanfrage untersuchen, die der KI-Such-Agent erfolgreich bearbeitet
  2. Einschätzen, wie häufig ohne den Agent eine Live-Interaktion mit einem Menschen nötig gewesen wäre
  3. Die daraus resultierenden theoretischen Kostenersparnisse berechnen

Das Ergebnis dieser „Rückwärtsberechnung“ des ROI ist weniger präzise, aber deshalb nicht weniger wichtig für Millsaps’ – oder Ihr – Team.

 

ROI 3: Wann ist es überhaupt sinnvoll, einen KI-Agent einzusetzen?

Im Vertrieb oder ganz allgemein bei Markteinführungen lernen Fachbereichsverantwortliche und KI-Manager:innen beispielsweise, vorab zu untersuchen, welche kleineren Accounts oder Interessent:innen mit geringerer Kaufwahrscheinlichkeit digital bedient werden könnten – „Menschen werden hierbei nur für Überprüfungen einbezogen“, so Ferguson. „So kann man mit Technologie skalieren und eine große Anzahl von Interessent:innen erreichen.“

Doch bei vielversprechenden Interessent:innen und wichtigen Bestandskund:innen dreht man das Ganze um und lässt kritische Interaktionen von Menschen durchführen, während KI eine ergänzende und unterstützende Rolle übernimmt. „Hier kommt die ROI-Berechnung besonders zum Tragen“, erläutert Ferguson. „Ausgehend vom Risiko muss man genau überlegen, an welcher Stelle man Agents einsetzt. Dabei darf keinesfalls die Kundenerfahrung leiden.“

 

IV: OKRs – Wie sollte sich KI auf die Leistungsbeurteilungen von Mitarbeiter:innen auswirken?

Und was ist mit uns Menschen? Sollten wir unsere Vorgehensweise bei der Beurteilung der menschlichen Leistung in Workflows ändern, an denen inzwischen KI-Agents beteiligt sind – und wenn ja, wie?

„Ich finde, wenn man bessere Leistungen erzielt, weil man einen KI-Agent einsetzt, sollte das honoriert werden“, meint Ferguson. „Wir sollten das belohnen und dazu ermutigen.“ Er schlägt zwei Ansätze bei der Leistungsbeurteilung in dieser frühen Phase der Zusammenarbeit zwischen Mensch und KI vor:

  1. Die Mitarbeiterleistung sollte nicht herabgewürdigt werden, nur weil sie durch KI besser geworden ist.
  2. Wir sollten neue Möglichkeiten finden, AI-First-Verhaltensweisen zu belohnen und zu fördern.

„Wir – Box und unsere Kund:innen – nutzen noch längst nicht das gesamte Potenzial von KI“, fasst Ferguson zusammen. „Wir müssen Akzeptanz belohnen. Dazu gehört auch, dass wir neue und bessere Möglichkeiten finden und umsetzen, unsere KI-Tools sinnvoll zu nutzen. Wir müssen uns überlegen, wie wir das in die OKRs der Mitarbeiter:innen integrieren.“

Beim Kundensupport von Box setzt Millsaps’ Team diesen Ansatz bereits um.

„Wir haben Änderungen an unseren Rollen und Verantwortlichkeiten für das Geschäftsjahr 2027 vorgenommen“, erklärt er. „Wir messen nicht speziell KI an sich. Stattdessen verschieben wir unsere traditionellen kundenorientierten Kennzahlen – z. B. wie viele Anfragen in einem bestimmten Zeitraum bearbeitet wurden oder wie der CSAT für diese Anfragen ausfiel – hin zu anderen Aspekten, z. B. wie viele Artikel man für die Wissensdatenbank erstellt hat, wie häufig diese Artikel aufgerufen wurden oder wie oft der Aufruf dieser Artikel zur Lösung eines Problems führte. Wir konzentrieren uns heute stärker auf wichtige Abhängigkeiten, um KI effektiver zu gestalten.“

 

Ausblick: Über die Anfänge hinaus

Dies ist zu Beginn des Jahres 2026 der Status quo der KI-Transformation bei Box.

Wir sind bereits weiter als viele andere Unternehmen. Dennoch sind wir noch weit von dem entfernt, was wir erreichen müssen. Wir denken, dass die in dieser Reihe genannten Ideen und Verfahren als hilfreiche Richtlinien für Ihre Planung und den Aufbau von Prozessen dienen können. Doch wir glauben auch, dass wir diese Prozesse in den kommenden Monaten und Jahren wieder überarbeiten werden und dass Sie eigene Wege finden werden, ein effektives AI-First-Unternehmen aufzubauen.

Begeben Sie sich auf Ihre eigene KI-Reise, machen Sie eigene Erfahrungen und ziehen Sie eigene Schlussfolgerungen. Wir freuen uns darauf, davon zu hören.