Apprendre des succès et des échecs pour créer de bons produits d'IA

Introduction

L'avènement de l’Intelligence Artificielle (IA) et maintenant la hype de l’IA générative (genAI) a bouleversé de nombreux secteurs, promettant de révolutionner la manière dont nous abordons les problèmes et optimisons les solutions. Récemment, Theodo a organisé une table ronde qui a réuni des experts du domaine :

• Claire Lebarz, Chief Data & AI Officer chez Malt (ex Head of Data Science chez AirBnB)
• Henri Abt, VP Product & Data chez Sodexo
• Pierre-Henri Cumenge, CTO chez SICARA, Data & AI by Theodo

Chaque participant, possédant plus de dix ans d'expérience dans le secteur de l'IA — ce qui est peu commun — a contribué à éclairer les défis associés à la création de produits d’IA qui franchissent le mur de la mise en production.

Par coïncidence, Marty Cagan, le gourou du Product Management de la Silicon Valley, a récemment publié un article qui développe sa vision des défis actuels liés à l’“AI Product Management".

Ces technologies, bien que prometteuses, sont souvent confrontées à des difficultés d'adoption dues à un manque de pertinence vis-à-vis des besoins réels des utilisateurs. Dans un marché où la technologie est souvent en avance sur l'application, Warren Buffett nous rappelle judicieusement : "Quand la marée se retire, vous pouvez voir ceux qui nageaient sans maillot de bain". Grace à la hype de la GenAI, il ne s'agit plus de vendre le rêve de l’IA, mais plutôt de gérer les attentes et d'éduquer sur ses limites pratiques.

Les produits d'IA en prod’: les facteurs de succès

Comprendre et définir précisément le problème à résoudre

Un des principes fondamentaux dans la conception de produits d'IA est la compréhension approfondie du problème que l'on cherche à résoudre.

Avez-vous entendu parlé des collections chez Airbnb? Il est probable que non ! En effet, cette initiative visait, via l’IA, à segmenter les offres par thème (week-end en famille, vacances sportives…) pour mieux répondre aux désirs spécifiques des clients. Malheureusement, faute de répondre précisément aux besoins des utilisateurs, le projet n'a pas rencontré le succès escompté. Cela illustre l'importance de partir des besoins réels des utilisateurs plutôt que des potentialités de la technologie. De plus, l'erreur de penser que l'IA peut simplement automatiser des tâches sans considérer les aspects où l'intervention humaine reste supérieure, mène souvent à des résultats décevants.

Impliquer les utilisateurs dans le développement

La clarté de la communication sur les capacités apportés par l'IA et leur impact est essentielle pour aligner les attentes des utilisateurs avec les capacités réelles du produit, c’est tout le role d’un AI Product Manager. L'implication des utilisateurs tout au long du processus de développement permet d'itérer sur le produit en fonction de leurs retours concrets. Par exemple, Airbnb avait mis en place un algorithme d'intelligence artificielle pour réorganiser automatiquement les photos des annonces, en fonction de ce que l'algorithme estimait être le plus attrayant pour les utilisateurs. Cette fonctionnalité, initialement déployée puis modifiée pour permettre aux utilisateurs de maintenir le contrôle sur leurs annonces, souligne l'importance d’impliquer les utilisateurs dès la conception.

L'approche "human-in-the-loop", qui intègre des interventions humaines durant l'entraînement des modèles d'IA, assure une meilleure correspondance entre les performances de l'IA et les besoins des utilisateurs. Chez Sicara, nous utilisons des outils tels que LangSmith pour permettre aux Product Managers et experts métiers de participer activement aux itérations des projets GenAI, en intégrant une perspective terrain essentielle lors des ajustements techniques.

Mesurer l'impact

L'évaluation de l'impact d'un produit d'IA sur l'expérience utilisateur et sur les résultats business est fondamentale. Il est important de définir des indicateurs de performance clés qui permettent de mesurer non seulement l'efficacité de l'IA, mais aussi son acceptation par les utilisateurs (un produit performant mais non utilisé reste un échec). Analyser ces données permet d'ajuster le produit de manière à maximiser son efficacité et son acceptabilité. Le suivi continu des performances, comparé aux benchmarks humains, fournit un cadre réaliste pour évaluer les progrès et guider les décisions futures. Chez Sicara, Dans un cas spécifique, nous avons réussi à mesurer l'impact efficacement sans groupe de contrôle en utilisant la méthode du “Causal Impact”. Cette approche, détaillée dans le Tech Radar, permet une analyse robuste et précise des effets de l'IA, distinguant les changements directement attribuables à l'intervention de ceux dus à d'autres facteurs.

Exemple de la méthode Causal Impact:

Ces prévisions sont basées sur une projection stochastique de la série temporelle en l’absence d’intervention*.
*Pour plus de détails, vous pouvez consulter l'article ici.

Adopter une approche itérative

Le développement et le Proof of Concept (POC) à petite échelle avant une mise en production complète permettent de valider des idées et de minimiser les risques d'échec. Le développement d’un POC permettra de rapidement valider ou invalider les hypothèses produit ainsi que techniques. Cette méthode itérative, fondée sur des cycles rapides de feedback et d'amélioration, cela garanti une agilité qui est cruciale pour développer des produits qui répondent aux attentes métiers. Par exemple, les tests initiaux avec des groupes d'utilisateurs peuvent révéler des usages non anticipés, permettant des ajustements précoces qui éviteront des coûts bien plus élevés après le déploiement ou, pire encore, un produit en production qui ne sera jamais vraiment utilisé.

Les pièges à éviter et les enseignements tirés des échecs

Harmoniser les attentes et les réalités : les clés pour une collaboration efficace en IA Product Management

La communication claire et une collaboration étroite entre les équipes Métier, Product, Data Science Data Analytics et Devs Fullstacks sont essentielles. Le défi réside dans la capacité à concilier plusieurs facteurs :

• L'enthousiasme des équipes techniques qui se passionnent pour le travail sur des technologies avancées et innovantes, mais qui risquent souvent d’en oublier la valeur ajoutée pour l’utilisateur final.
• Les attentes élevées des dirigeants (C-level), fréquemment portées par l'effet "wahoo" et une image de marque forte, peuvent pousser vers des projets qui s'avèrent irréalisables ou impraticables à l'échelle souhaitée.
• La réalité du métiers, qui nécessite de rester ancré dans les capacités techniques réelles, la qualité des données disponibles et les besoins réels des utilisateurs.

Pour un Product Manager, il est essentiel de trouver un équilibre entre ces diverses attentes pour développer des produits d'IA qui sont non seulement avancés, mais également utiles et réalistes.

Naviguer la Vallée de l'Étrange : Éviter les mauvaises expériences utilisateur avec l'IA

"Si vous faites une bonne expérience client, les clients vous parleront à dix autres personnes. Mais si vous faites une mauvaise expérience client, ils le diront à 100 autres." - Jeff Bezos

Il n'y a pas de pire expérience utilisateur que celle marquée par un sentiment de malaise et d'inconfort. Dans ce contexte, la théorie de la vallée de l'étrange ("Uncanny Valley") est particulièrement pertinente. Il convient de faire un parallèle avec l’IA :

La théorie de la "vallée de l'étrange" est un concept de robotique qui décrit le malaise ou la répulsion ressentis face à des entités presque humaines mais imparfaites. Lorsque la ressemblance est forte mais pas parfaite, cela crée un sentiment d'inconfort.

Dans l'IA, cela peut se manifester par des assistants vocaux répondant inadéquatement ou des recommandations étrangement précises mais erronées, provoquant une répulsion subtile ou une méfiance envers le produit.

Le parallèle avec l'IA est clair : la meilleure IA est celle qui est très centrale ou complètement invisible. Quand elle est centrale, elle fonctionne si fluidement et naturellement que les utilisateurs la perçoivent comme une partie intégrante de leur expérience, sans perturbation. Si elle est invisible, son influence est si subtile que les utilisateurs profitent de ses avantages sans réaliser leur interaction avec de l'IA. Dans les deux cas, l'IA se fond dans l'expérience sans friction ni malaise, contournant les pièges de la vallée de l'étrange.

Voici un graphique fait maison faisant le parallèle entre la vallée de l’étrange et des produits d’IA que vous connaissez surement.

Gérer les attentes autour du contrôle et des erreurs

Il est crucial que les utilisateurs puissent comprendre et intervenir facilement sur les décisions prises par l'IA. Un manque de contrôle peut créer de la méfiance, tandis qu'un contrôle excessif peut deviens inefficace. La User eXperience (UX) doit être conçue pour que l'IA fonctionne comme un co-pilote, proposant ou présélectionnant des options sans décider seule, favorisant ainsi une interaction optimale pour maintenir la confiance des utilisateurs. La métrique pertinente n'est pas "machine > humain" mais bien "machine + humain > humain seul", mettant en avant l'importance d'une collaboration efficace entre l'homme et la machine. Dans conception de solution d'IA, il est essentiel de différencier les capacités humaines de celles de l'IA. Il est crucial de comprendre que la performance d'une IA ne se résume pas à un chiffre; certaines erreurs sont plus acceptables que d'autres. Par exemple, prenons un système, fiable à 99%, de vision par ordinateur utilisé pour la facturation automatique de plateaux-repas. Pour le 1% d'erreurs restantes, une confusion entre un yaourt nature et à la fraise est moins grave que de confondre un œuf avec une clémentine. La première erreur pourrait aussi être commise par un humain. Ce type d'erreur, surtout lorsqu'elle est moins excusable, peut générer une grande frustration chez l'utilisateur, qui pourrait alors abandonner le produit.

Prendre en compte les biais et les conséquences éthiques de l’IA

Les biais dans les données et les algorithmes peuvent mener à des décisions injustes ou non éthiques, compromettant ainsi la crédibilité du produit. Cette problématique est un problème "ancestral" : des données biaisées mènent inévitablement à des prédictions biaisées. Il est donc vital de surveiller et de corriger ces biais pour s'assurer que les décisions prises par l'IA respectent les normes éthiques et réglementaires. Mais comment corriger un biais ? La première étape consiste à identifier et à comprendre les sources de biais potentielles dans les ensembles de données utilisés. Un exemple illustratif est celui des CVs homme/femme observé chez Malt, où des ajustements ont dû être effectués pour éviter que le genre ne joue un rôle dans les recommandations de candidats, garantissant ainsi une évaluation plus équitable et conforme aux attentes éthiques.

Conclusion

Pour naviguer dans le paysage complexe des produits d'IA, il est crucial que les product managers comprennent en profondeur les problèmes à résoudre, impliquent activement les utilisateurs, adoptent des cycles d'amélioration itératifs et mesurent l'impact de leurs produits. Face aux défis et aux opportunités que présente la GenAI, les PM doivent trouver un équilibre entre l'enthousiasme technologique et le réalisme pratique pour créer des produits qui non seulement fonctionnent bien, mais qui sont également bien acceptés et utilisés. Ils doivent avoir une compréhension claire avec des convictions fortes de ce qui est faisable ou non et identifier les dépendances, ce qui est d'autant plus crucial pour un AI Product Manager.

En tant que leaders et innovateurs, il est temps de se concentrer sur l'utilisation de l'IA pour créer des produits à fort impact, centrés sur les utilisateurs, et répondant de manière éthique et efficace aux défis actuels.

Vous avez comme objectif de concevoir des solutions d’IA qui non seulement passent en production, mais qui sont aussi adoptées et intégrées dans le quotidien des utilisateurs ?

Vous cherchez une équipe d'experts qui va au-delà d’écrire du code pour réellement réfléchir à la direction que prend le produit ?

N’hésitez pas à nous contacter !