Ces dernières semaines, nous avons beaucoup parlé de l’intelligence que nous intégrons à nos solutions. Mais avant de faire partie de notre plateforme, l’IA était déjà utilisée par notre propre équipe financière. Nous l’avons testée sur les activités que nous maîtrisions le mieux, avec les données dont nous disposions, et dans le respect de délais que nous ne pouvions pas repousser. Certaines expérimentations ont fonctionné, d’autres nous ont appris précisément où les modèles de langage cessent de servir. L’un des enseignements les plus utiles a commencé avec un chiffre totalement faux.
102 jours
La toute première chose que j’ai demandée à un LLM de faire chez Lucanet, c’était de rapprocher les données de paie des mois précédents.
Pas une stratégie. Un lundi après-midi, une feuille de calcul, et le vague sentiment que je devais comprendre ce que ces outils pouvaient faire avant de commencer à avoir une opinion à leur sujet.
Comme cela s’est bien passé, j’ai tenté quelque chose de plus complexe. Analyser des données de notre funnel commercial pour repérer les signaux faibles capables de faire évoluer nos prévisions. Et l’outil m’a indiqué qu’une étape de notre funnel prenait 102 jours.
J’ai bien aimé ce chiffre de 102 jours. Il était précis, il contredisait les idées reçues. Le chatbot me flattait et me donnait l’impression de faire preuve de rigueur. Peut-être y avait-il une nuance dans les données, jusque-là passée inaperçue.
Je lui ai donc demandé de me montrer le calcul, ce qu’il n’a pas pu faire.
Ce n’est pas qu’il n’a pas voulu ; il n’a pas pu. Il m’a indiqué qu’il existait deux approches possibles qu’il aurait pu adopter, mais aucune des deux ne permettait de retrouver 102. Chaque fois que le chatbot reprenait l’analyse, j’obtenais un chiffre différent, présenté avec la même assurance que le précédent.
Je me réfère parfois à mes études de philosophie pour me demander si un argument est valide ou juste. C’était ici une troisième catégorie. L'argument n’était ni l’un ni l’autre, mais présenté dans le registre des deux.
La répartition des tâches
Cet après-midi-là a donné naissance à la règle que j’applique depuis lors. C’est également la conclusion à laquelle notre directeur technique, Kevin, est arrivé du point de vue de l'ingénierie dans son article sur l’Intelligence Core : ne demandez pas à un modèle de langage de faire les calculs à votre place. Demandez-lui de déterminer quels calculs doivent être effectués, puis laissez un système déterministe s’en charger.
L’enjeu ne se limite pas à la fiabilité des résultats. C’est aussi que je ne peux pas approuver un résultat que je ne peux pas expliquer à quelqu’un d’autre. Un contrôleur de gestion ne redémontre pas chaque formule d’une consolidation à partir de zéro, mais il peut vous dire d’où vient chaque chiffre et sur quels jugements il repose. C’est la norme. Un résultat que je ne peux pas interroger n’est pas un raccourci, c’est un risque dissimulé.
Une fois ce principe accepté, il est devenu beaucoup plus facile de repérer les applications utiles de l’IA dans nos processus. Elles étaient toutes plus limitées et plus modestes que celles que j’avais imaginées.
Ce qui a vraiment fonctionné
Au cours des semaines suivantes, nous avons testé de nombreux nouveaux cas d’usage au sein de l’équipe. Trois d’entre eux sont encore utilisés aujourd’hui :
- Une estimation du chiffre d’affaires avant clôture, établie à partir des données Salesforce, nous offre une visibilité dès le premier jour sur nos revenus récurrents. Il ne s’agit pas du chiffre définitif que nous communiquerons après un processus d’analyse plus approfondi, mais d’un indicateur précoce qui nous dit si nous permet d'anticiper les éventuelles surprises, plusieurs jours avant qu’elles n’apparaissent dans le processus de clôture habituel.
- Les calculs liés à la norme IFRS 15, où le travail relève de l’interprétation d’un règlement plutôt que de l’invention.
- Et l'un de mes cas d'usage préférés : les contrôles de reporting. Il en existe deux types : l’un porte sur le style rédactionnel, l’autre sur la cohérence des informations, à la fois au sein d’un même dossier destiné au comité de direction et par rapport aux dossiers précédents. L’outil lit le dossier et vérifie que la page 14 raconte la même histoire que la page 3, et que l’une comme l’autre concorde avec ce que nous avons dit le mois dernier.
Ce dernier cas d’utilisation est le moins impressionnant, mais probablement le plus précieux, car il détecte le type d’erreur qu’un relecteur humain finit par ne plus repérer. À la quatrième relecture, on ne lit plus vraiment, on se contente de reconnaître.
Il est important de noter que ce n’est pas moi qui ai développé ces cas. Notre vice-président finance, notre responsable FP&A et nos contrôleurs s’en sont chargés. Nous avons développé ce réflexe au sein de toute l’équipe, afin que chacun puisse répondre rapidement à ses défis les plus urgents. Mais cela ne signifie pas pour autant que nous disposons d’outils de qualité industrielle et utilisables par tous. Un flux de travail construit dans un LLM n’est pas un produit pleinement abouti.
Ce que les outils maison ont révélé
Après quelques premiers succès, les progrès sur les problématiques plus complexes ont été plus lents.
Dans la quasi-totalité des tâches sur lesquelles nous avons lancé l’IA, nous avons en réalité demandé aux outils de rechercher des problèmes dans nos données, et elle s’en est donné à cœur joie.
Définitions incohérentes. Enregistrements en doublon. Des champs qui signifiaient une chose en 2023 et quelque chose de légèrement différent aujourd’hui, sans que personne n’ait jugé utile de le documenter.
C’est la partie de l’histoire qui n’apparaît pas dans les démonstrations. L’IA est très efficace pour signaler où se situe le risque. Elle ne constitue pas, à elle seule, une solution si l’on souhaite obtenir un résultat prévisible, voire déterministe. Pour obtenir des résultats fiables, il a fallu un véritable travail d’ingénierie des données et d’intégration. Et, avec des outils développés en interne, je ne pense pas qu’il aurait été possible d’y échapper.
Chacune de nos avancées les plus marquantes a reposé avant tout sur la qualité des données et l’intégration des systèmes, bien davantage que sur le choix d’un modèle d’IA tiers. Nous avons vite compris que développer des outils réellement connectés à nos données et dotés des mécanismes de validation adéquats nécessitait l’intervention d’ingénieurs expérimentés.
Être le client difficile
Parallèlement aux efforts de mon équipe pour construire des flux de travail et des outils dans des LLM, notre équipe produit s’est employée à faire les choses correctement.
Chez Lucanet, une étape essentielle avant la mise en production de tout agent consiste à le tester sur nos propres équipes finance et fiscalité. Lorsque nos collègues du service produit parlent de « dogfooding », ils parlent en fait de ma clôture mensuelle.
Cela s’est révélé à la fois plus utile et plus exigeant que ce que chacun des deux camps avait envisagé au départ.
Exigeant, car les comptables ne sont formés ni à la gestion de produit, ni, à plus forte raison, aux tests qualité. Les responsables produit définissent ce qu'est un bon niveau d’engagement selon leurs propres critères : retours structurés, étapes de reproduction, description claire du comportement attendu. Tout cela est parfaitement raisonnable. Mais Mais elles arrivaient sur le bureau d'un expert métier au troisième jour de la clôture, un moment où la notion d’« urgence » est souvent bien différente.
Les deux camps ont dû évoluer. Mon équipe a dû apprendre que « ça ne me semble pas correct » est un point de départ, pas un constat. L’équipe produit a dû apprendre que, dans ce contexte, le MVP ne pouvait pas signifier « produit minimum viable », mais plutôt un produit « totalement fiable ».
Certains des agents de la famille désormais déployée sont nés précisément de ces échanges. Le Close Agent supprime une grande partie du travail manuel du cycle de clôture. L'Analyst Agent prend en charge une partie de l’analyse des écarts, tandis que l'Emission Agent a réduit une tâche manuelle particulièrement lourde à une simple fraction de la journée de Tina, responsable de notre reporting extra-financier. Elle peut ainsi consacrer le temps qu’elle souhaitait réellement passer à la classification des données, plutôt qu’aux tâches administratives qui l’entourent.
On me demande souvent pourquoi nous publions notre reporting ESG avec un niveau d’exigence aussi élevé, plutôt que de nous contenter du minimum requis. Au-delà des économies réalisées sur notre prêt indexé sur des critères de durabilité, la vraie réponse est que nous en sommes fiers. Et désormais, grâce au gain de temps apporté par un agent de flux de travail dédié, cette fierté nous coûte moins cher qu’auparavant.
Le talent, et à quoi ressemble réellement le levier
Il est encore trop tôt pour examiner l’un ou l’autre de nos agents ou de nos outils maison et chiffrer précisément les économies réalisées, que ce soit au sein de mon équipe ou pour nos clients. Mais il suffit de dire que notre activité continue de croître à plus de 30% par an, tandis que la taille de mon équipe financière reste étonnamment stable. Rien, dans l’essor de l’IA, n’a remplacé l’élément qui continue de déterminer le succès de ces initiatives. La supervision et la gestion humaines restent nos principaux leviers de succès.
Le changement le plus intéressant concerne plutôt ce que je recherche désormais chez mes collaborateurs.
Premièrement, l’expérience acquise à réaliser une tâche est devenue moins précieuse que la compréhension de la manière dont cette tâche est conçue. Si un processus peut être décrit avec précision, il peut de plus en plus souvent être délégué ou, peut-être plus important encore, expliqué à notre équipe produit. S’il n’existe que dans les habitudes d’une personne, ce n’est pas possible.
Deuxièmement, j’ai besoin de personnes capables de voir l’orchestre dans son ensemble. L’ancien modèle, où un responsable arrive chaque matin avec une liste de tâches, ne résiste pas à des outils capables de générer cette liste eux-mêmes. Savoir ce qui doit être vrai d’ici jeudi, voilà désormais le vrai travail.
Et l’autoévaluation n’a jamais été aussi importante. Lorsque produire une première version ne coûte plus rien, la véritable compétence devient la capacité à juger de sa qualité.
Je ne pense pas que notre équipe financière ait ait fait preuve d’un talent exceptionnel. Face à quelque chose de nouveau, nous partons tous, plus ou moins, du même niveau d’ignorance. Ce qui fonctionne, en revanche, c’est d’essayer davantage de choses que ce qui vous semble confortable, puis d’analyser les résultats avec suffisamment d’honnêteté pour identifier ce qui fonctionne. Des petites victoires répétées s’accumulent en résultats qui, vus de l’extérieur, ressemblent à un plan.
Les 102 jours n’ont jamais été vrais, mais c’est peut-être le chiffre le plus utile qu’on m’ait jamais donné.
Découvrez la famille d’agents de flux de travail de Lucanet
L’IA transforme déjà la finance et la fiscalité ; la question est de savoir comment l’adopter sans perdre le contrôle de ses chiffres. Rejoignez notre série de webinaires pour découvrir Lucanet Lume et la famille d’agents conçus pour clôturer, planifier et générer des rapports selon vos propres critères. Chaque session se concentre sur un agent, son flux de travail, et les résultats déjà observés par les équipes.
