Programmes pilotes : tester les grands paris IA avant de les déployer
Dans cette série, nous suivons l'un des « agents phares » de Box : un agent intelligent de prospection conçu pour simplifier la création de messages commerciaux. Son créateur, Alex Hudzik, Senior Director of Sales Development, considère cet agent comme « un spécialiste marketing produit dans la poche de chaque commercial ».
Mais avant de devenir un nouvel outil à grande échelle, il doit d'abord franchir les quatre étapes de l'approche de Box pour développer des agents IA : l’idéation, le pilote, le déploiement, avant d'atteindre la « terre promise » de l'adoption des agents à grande échelle.
Après avoir réussi la phase initiale d'idéation, l'agent de prospection passe désormais en phase pilote, un test auprès de 25 utilisateurs, pensé pour mettre de nouveaux agents IA entre les mains de collaborateurs confrontés à de vrais enjeux métier. « C'est une occasion unique de prendre des idées, de les tester, de les faire évoluer et de mesurer les retours dans un délai resserré », explique Nora Soza, Senior Director of GTM Strategy and Operations. « Vous faites mûrir cette initiative afin d'en tirer le maximum de valeur le plus rapidement possible. »
Le pilote, étape clé pour valider un agent IA
Avant d'engager des ressources dans un développement complet, vous avez besoin d'une méthode structurée pour déterminer si un agent IA proposé mérite réellement un investissement à l'échelle de l'entreprise. La phase pilote offre un cadre ciblé pour tester, mesurer et décider s’il faut passer à l’échelle ou arrêter le projet avant que les coûts ne s’accumulent.
« C'est le moment où le responsable déclare : “Oui, c'est quelque chose que nous devrions développer et que je souhaite voir adopté par toute mon équipe” », explique Robert Ferguson, Head of Corporate Strategy et Chief of Staff auprès du CEO chez Box.
Le moment où une idée devient un projet pilote
Pour l’agent de prospection, le point de bascule est arrivé lorsque Hudzik a pris du recul sur les différents agents expérimentaux utilisés dans son équipe. Plusieurs initiatives se recoupaient déjà au sein des équipes EMEA et américaines, chacune visant à résoudre des problématiques similaires de prospection sortante. Plutôt que de poursuivre ces efforts en parallèle, la direction a vu l’opportunité de les réunir dans une solution plus puissante, suffisamment prometteuse pour mériter une validation formelle.
« Alex a essentiellement pris du recul », explique Nora Soza, « et a réfléchi de manière plus globale à ce qu'il faudrait réellement pour créer un agent de prospection intelligent. Il fallait des messages de référence, fondés sur les bonnes pratiques, une approche claire de la façon dont nous nous adressons aux différents secteurs et personas, ainsi que la capacité à exploiter les informations sur l’utilisation actuelle des produits. »
Ce passage de l'exploration à l'exécution est ce qui distingue l'idéation de la phase pilote. Pendant l'idéation, on se demande : « Que pourrait devenir cette idée ? » Pendant la phase pilote, on se demande : « Cette solution fonctionnera-t-elle réellement à grande échelle ? »
Concevoir pour valider, pas pour viser la perfection
Pour rendre l'agent de prospection opérationnel, il a fallu connecter plusieurs sources de données : du contenu marketing produit sélectionné, des données Salesforce, des analyses d'utilisation des produits et une base de connaissances sectorielle spécialisée. Développer l'ensemble de ces éléments simultanément aurait retardé indéfiniment les phases de test et de collecte des retours.
L'équipe a donc adopté ce que Greg Keiser, Director of Sales Strategy and Operations, appelle une « approche MVP (produit minimum viable) ».
« Nous voulions recueillir des retours le plus rapidement possible », explique Greg Keiser. « Nous nous sommes donc concentrés sur le développement des fondations et, dès que l'outil a apporté suffisamment de valeur aux utilisateurs pour valider le concept, nous avons lancé le pilote. Après le lancement, nous poursuivons activement les travaux de développement, désormais enrichis par les retours des utilisateurs participant au pilote. »
Cette approche itérative (concevoir le minimum nécessaire, tester auprès de vrais utilisateurs, puis enrichir la solution en fonction des retours) illustre parfaitement ce qui distingue la phase pilote de l'idéation comme du déploiement complet. L'objectif est de créer une solution suffisamment aboutie pour être validée, sans pour autant investir excessivement avant d'avoir confirmé qu'elle fonctionne.
Les rôles indispensables pour réussir un pilote
Pour mener efficacement un projet pilote, il est essentiel de définir clairement les responsabilités entre quatre fonctions distinctes : les responsables métiers, le responsable IA, les équipes de développement et les utilisateurs pilotes. Ces rôles doivent être attribués avec soin dès le départ ; sans cela, les zones grises en matière de responsabilité risquent de ralentir le projet et de brouiller les retours.
1. RESPONSABLES MÉTIERS : définir la stratégie et les critères de réussite
« Le responsable métier est généralement une personne assez expérimentée qui supervise l'ensemble d'un domaine fonctionnel », explique Ferguson. « Son rôle consiste à définir les résultats attendus du pilote, autrement dit à déterminer ce qui constitue une réussite. »
Avant qu'un projet pilote puisse produire des résultats significatifs, les responsables doivent valider les éléments fondamentaux : disposons-nous des bonnes personnes pour le développer ? En avons-nous le temps ? L'architecture a-t-elle été définie et approuvée ?
« Il faut définir clairement l'architecture et la faire valider », indique Ferguson. « Ensuite, il faut déterminer quels travaux sont nécessaires pour la mettre en œuvre et qui doit les réaliser. »
Ce n’est qu’une fois ces bases en place que les équipes peuvent définir les indicateurs de réussite et mesurer les résultats avec confiance.
2. RESPONSABLES IA : gérer la planification et les activités opérationnelles
Les responsables IA sont davantage impliqués dans l’exécution opérationnelle. « Ces personnes doivent être très consultatives et collaboratives dans la conception et la définition de l’approche », souligne Soza.
Pour les agents plus simples développés intégralement dans Box AI, le responsable IA peut prendre en charge l'ensemble du projet. Pour des projets plus complexes comme l'agent de prospection, il devient un intermédiaire essentiel entre les besoins métier et l'équipe de développement chargée de l'exécution technique.
3. ÉQUIPE DE DÉVELOPPEMENT : apporter le bon contexte pour produire des résultats fiables
Pour les agents complexes tels que l'agent de prospection, l'équipe de développement de Box, qui réunit des expertises issues des équipes Enterprise Solutions, IT et opérations stratégiques, prend en charge l'exécution technique que les équipes métier ne peuvent assurer. « Pour être vraiment puissant, l’agent devait être connecté aux données clients et produits », explique Ferguson. « Nous avons donc impliqué l'équipe de data science et développé un portail d'analyse des données reposant sur les données produit hébergées dans GCP. »
L'une des premières missions de l'équipe de développement consiste à auditer les contenus sur lesquels l'agent s'appuiera. Pour l'agent de prospection, cela a impliqué de structurer les messages marketing produit dans des formats que l'agent pouvait exploiter efficacement. « L'agent a réellement besoin de s'appuyer sur une base de connaissances soigneusement sélectionnée pour être efficace », indique Soza.
Cette organisation permet aux équipes métier de conserver la maîtrise des exigences fonctionnelles, tandis que l'équipe de développement apporte l'expertise technique spécialisée nécessaire pour concevoir des agents offrant des performances adaptées à un environnement de production et réutilisables dans plusieurs fonctions de l'entreprise.
4. UTILISATEURS PILOTES : fournir des retours pour faire progresser l'agent
Le choix des utilisateurs pilotes est déterminant : ce sont eux qui permettront de distinguer les retours réellement utiles du simple bruit.
Ce rôle ne convient pas forcément à tout le monde. Privilégiez des personnes disposant du temps nécessaire, de responsabilités clairement définies et d'un réel engagement envers les résultats attendus. « Votre groupe de test doit se sentir véritablement responsable du projet », souligne Soza. « Les participants doivent pouvoir y consacrer du temps. Tester des agents ne peut pas être une activité annexe : cela doit faire partie de leur travail, et ils doivent se sentir personnellement responsables du produit final. »
Pour l'agent de prospection, Hudzik s'est tourné vers ses responsables et chefs d'équipe, des personnes qu'il estimait suffisamment proches de la problématique pour fournir des retours pertinents. « Ils menaient des tests en parallèle », explique Soza. « Ils rédigeaient des messages commerciaux puis les testaient avec l'agent afin d'évaluer rigoureusement l'efficacité de leur formulation. »
Définir les indicateurs qui mesurent la réussite réelle
Il est impossible d'améliorer ce que l'on ne mesure pas ou de justifier la poursuite d'un investissement sans indicateurs clairs liés aux résultats métier. Avant de lancer un projet pilote, assurez-vous d'avoir déjà défini les indicateurs permettant de déterminer son succès ou son échec.
Le CIO de Box, Ravi Malick, a une vision très claire de la mesure de la performance. « Ce n'est pas aussi compliqué qu'on le prétend souvent », affirme-t-il. « En fin de compte, vos indicateurs de réussite doivent être liés au chiffre d'affaires ou à la marge. Tout ramène en définitive au compte de résultat. »
Pour mesurer le succès d'un agent pilote, explique Ferguson, les équipes remontent des résultats attendus vers les indicateurs avancés en validant au moins une des trois catégories de métriques de performance suivantes :
- Gains d'efficacité : l'agent permet-il de réaliser des gains de temps mesurables, par exemple en réduisant le nombre d'heures nécessaires pour produire du contenu marketing ou préparer un dossier de lancement de recrutement ?
- Taux d'automatisation : l'agent augmente-t-il la part des tâches réalisées sans intervention humaine, par exemple en orientant davantage de tickets support vers des solutions en libre-service ?
- Nouvelles capacités rendues possibles : l’agent permet-il de réaliser des tâches qui n’étaient pas possibles auparavant, comme préparer des réunions adaptées à un secteur spécifique ou personnaliser la prospection à grande échelle selon les personas ?
« Cet agent leur fait-il réellement gagner du temps ou les aide-t-il à être plus efficaces dans leur travail ? », demande Ferguson. « Produit-il des réponses fiables et exactes, sans hallucinations ? ? »
Pour l'agent de prospection, les gains d'efficacité et d'automatisation se sont notamment traduits par une amélioration de la fiabilité et de la précision. Le temps nécessaire à la rédaction d'un message est passé de 30 ou 60 minutes à environ 5 minutes. Les messages sont devenus beaucoup plus cohérents et homogènes. Les indicateurs d'adoption ont également joué un rôle important.
Au-delà de l’accélération de la prospection, l’agent a rendu possible un travail qui ne l’était pas auparavant : permettre à l’équipe SDR de personnaliser les messages à grande échelle selon les secteurs et les personas. Une personnalisation à forte valeur ajoutée, que l’équipe n’avait ni le temps ni l’expertise de réaliser jusque-là.
Passer à l’échelle… ou arrêter le pilote
Tous les projets pilotes ne réussissent pas, et c'est parfaitement normal. Même les projets pilotes qui échouent, et parfois surtout ceux-là, créent de la valeur à long terme en aidant l'organisation à comprendre quels outils favoriseront, ou non, sa transformation par l'IA.
« Même si le cas d'usage lui-même n'est pas couronné de succès, il permet souvent de tirer des enseignements précieux en tant que tels », explique Soza. L'architecture actuelle de l'agent de prospection n'est peut-être pas sa version définitive, mais l'équipe a acquis des enseignements essentiels sur l'accès aux données structurées et la constitution de bases de connaissances qui orienteront les futurs développements.
Pour maintenir la transformation IA sur la bonne voie tout en conservant la rigueur du programme pilote, il faut adopter des calendriers ambitieux et préserver la dynamique. « Six mois, c'est déjà très long », estime Malick. « Quatre-vingt-dix jours constituent déjà un délai confortable. Vous devriez viser une revue tous les trente jours. »
« L'un des grands avantages d'un projet pilote, ajoute Soza, est que les ajustements s'effectuent par cycles très courts, ce qui limite considérablement les risques d'investissement par rapport à un gros projet de neuf mois. »
Pour l’agent de prospection, la phase pilote se poursuit. L’équipe pousse des mises à jour en production toutes les deux à trois semaines, collecte les retours, itère et avance vers une mise à disposition à l’échelle de l’entreprise.
« Il nous reste encore énormément de travail à accomplir », reconnaît Keiser. « Je ne voudrais pas donner l'impression que nous venons de remporter le Super Bowl. Nous avons peut-être simplement gagné quelques matchs de présaison. »
Mais, dans le cadre d'un projet pilote, c'est une situation tout à fait satisfaisante : le projet est suffisamment avancé pour montrer qu'il est prometteur, tout en laissant le temps nécessaire pour l’améliorer avant que les indicateurs ne commencent à peser sur les résultats financiers.
Pour notre agent de prospection, heureusement, aucun abandon n'est en vue. La présaison est terminée, et la saison régulière est sur le point de commencer.