De afgelopen weken hebben we het veel gehad over de intelligentie die we in onze oplossingen bouwen. Maar voordat het deel werd van ons platform, werd AI al gebruikt door ons eigen financiële team. We hebben het geprobeerd op het werk dat we het beste kenden, met de gegevens die we hadden, onder de deadlines die we niet konden verschuiven. Sommige experimenten bleven hangen. Anderen leerden ons precies wat de beperkingen zijn van taalmodellen. Een van de nuttigste lessen begon met een getal dat helemaal verkeerd was.
102 dagen
Het eerste wat ik een LLM ooit bij Lucanet vroeg te doen, was salarisgegevens afstemmen met voorgaande maanden.
Geen strategie. Een maandagmiddag, een spreadsheet en een vaag gevoel dat ik zou moeten begrijpen wat deze technologie allemaal kan voordat ik er een mening over zou vormen.
Het ging goed, dus probeerde ik iets moeilijkers. Gegevens uit de boekingsfunnel, op zoek naar het soort trend dat onze prognose stilletjes zou kunnen veranderen. En het vertelde me dat één fase van onze funnel 102 dagen duurde.
Ik vond 102 dagen prettig. Het was specifiek. Het was in strijd met de gangbare opvattingen. De chatbot vlijde me en gaf me het gevoel dat ik grondig te werk ging. Misschien zat er een bepaalde nuance in de data die tot nu toe over het hoofd was gezien.
Dus vroeg ik het om me de berekening te laten zien, en dat kon het niet.
Het is niet dat het niet wilde meewerken. Het was er simpwelweg niet toe in staat. Het vertelde me dat er twee mogelijke benaderingen waren die het had kunnen nemen, maar geen van beide reproduceerde 102. Elke keer dat de chatbot de analyse herhaalde, kreeg ik een ander getal, net zo zelfverzekerd gepresenteerd als het vorige.
Soms grijp ik terug naar mijn studie filosofie en vraag ik me af of een argument geldig of steekhoudend is. Dit was een derde categorie. Een argument dat geen van beide was, gepresenteerd in het register van beide.
De taakverdeling
Die middag ontstond de regel die ik sindsdien altijd heb toegepast, en het is dezelfde conclusie die onze CTO Kevin vanuit de engineeringkant trok in zijn artikel over de Intelligence Core: vraag een taalmodel niet om het rekenwerk te doen. Vraag het om uit te zoeken welk rekenwerk er gedaan moet worden en laat dat vervolgens uitvoeren door iets wat deterministisch is.
De reden is niet alleen nauwkeurigheid. Het is dat ik niets kan ondertekenen wat ik een ander niet kan uitleggen. Een controller gaat ook niet handmatig elke formule in een consolidatie opnieuw uitschrijven, maar die kan je wel precies vertellen waar elk getal vandaan komt en welke aannames eraan ten grondslag liggen. Dat is de standaard. Een output die ik niet kan controleren is geen shortcut, maar een risico met een vriendelijk gezicht.
Toen we dat eenmaal hadden geaccepteerd, werden de nuttige toepassingen van AI in onze processen veel eenvoudiger te herkennen. Ze waren allemaal beperkter en saaier dan wat ik me had voorgesteld.
Wat er echt is blijven hangen
In de daaropvolgende weken hebben we in het team een heleboel nieuwe use cases geprobeerd. Drie daarvan gebruiken we vandaag nog steeds:
- Een omzetschatting vóór de afsluiting, opgesteld op basis van Salesforce-gegevens, geeft ons vanaf dag nul zicht op terugkerende omzet. Niet het definitieve cijfer dat we rapporteren na een gedetailleerder proces, maar een cijfer dat ons vertelt of we voor een verrassing komen te staan, dagen voordat we er anders achter zouden komen.
- IFRS 15-berekeningen, waarbij het werk eerder een interpretatie aan de hand van een regelboek is dan een uitvinding.
- En een persoonlijke favoriet: rapportagechecks. Twee soorten: één voor schrijfstijl en één voor consistentie, zowel binnen een managementdeck als ten opzichte van de decks die daaraan voorafgingen. Het leest het pakket en vraagt of pagina 14 nog steeds hetzelfde verhaal vertelt als pagina 3, en of een van beide overeenkomt met wat we vorige maand hebben gezegd.
Die laatste is het minst indrukwekkend, maar misschien wel het meest waardevol, omdat het er een type fout uithaalt dat een menselijke beoordelaar niet meer ziet. Bij de vierde keer doorlezen, lees je niet meer, maar ben je alleen nog aan het herkennen.
Het doet ertoe dat ik niet degene was die dit heeft gebouwd. Onze VP Finance, ons Hoofd FP&A en onze controllers wel. We hebben de vaardigheden binnen ons team ontwikkeld, zodat individuen hun meest urgente uitdagingen snel kunnen aanpakken. Maar dit is niet hetzelfde als het hebben van tools van productiekwaliteit die door iedereen gebruikt kunnen worden. Een workflow die in een LLM is gebouwd, is geen volwaardig product.
Wat zelfgemaakte tools blootlegden
Na enkele succesverhalen is de voortgang bij grotere uitdagingen traag verlopen.
Bij bijna alle taken waarop we AI hebben geprobeerd te richten, hebben we de tools in feite gevraagd te zoeken naar problemen in onze data, en dat deden ze. Uitgebreid.
Inconsistente definities. Dubbele records. Velden die in 2023 het ene betekenden en nu net iets anders, op manieren die niemand het documenteren waard vond.
Dit is het deel van het verhaal dat niet in de demo te zien is. AI is erg goed in signaleren waar het risico zit. Het is op zichzelf geen oplossing als je een voorspelbare, of zelfs deterministische, output wilt. Voor resultaten waar we op kunnen vertrouwen was echt data-engineering- en integratiewerk nodig, en met zelfgebouwde tools geloof ik niet dat er een versie van dit verhaal is waarin we dat hadden kunnen overslaan.
Al onze belangrijkste resultaten begonnen met datakwaliteit en systeemintegratie, niet met een model van derden – we kwamen er al snel achter dat het bouwen van tools die goed geïntegreerd waren in onze data met het juiste niveau van validering werk voor een professionele engineer was.
De moeilijke klant zijn
Naast de inspanningen van mijn team om workflows en tools in LLM's te bouwen, heeft ook ons productteam hun uiterste best gedaan.
Bij Lucanet is het testen op onze eigen financiële en fiscale teams een cruciale stap voordat een agent wordt uitgebracht. Wanneer onze productcollega's het hebben over 'dogfooding', hebben ze het over mijn maandafsluiting.
Dat is nuttiger en uitdagender geweest dan beide partijen hadden verwacht.
Uitdagend omdat accountants geen getrainde productmanagers zijn en al helemaal geen QA-engineers. Product leaders definiëren goede betrokkenheid op hun eigen manier: gestructureerde feedback, reproductiestappen, een heldere formulering van het verwachte gedrag. Allemaal volkomen redelijk, en het komt allemaal terecht bij een expert op dag drie van de afsluiting die een andere definitie heeft van wat urgent is.
Beide partijen moesten in beweging komen. Mijn team moest leren dat 'het voelde verkeerd' een startpunt is en geen bevinding. Het productteam moest leren dat MVP in dit geval niet 'minimaal levensvatbaar', maar juist 'volledig betrouwbaar' moest betekenen.
Een deel van de familie van agents die nu is uitgebracht is precies uit die momenten voortgekomen. De Close Agent haalt een grote hoeveelheid handmatig werk uit de cyclus. De Analyst Agent neemt een deel van de variantieanalyse voor zijn rekening, en de Emission Agent heeft een omvangrijke handmatige taak teruggebracht tot de kleine fractie van haar dag die Tina, die verantwoordelijk is voor onze duurzaamheidsrapportage, daadwerkelijk wilde besteden aan het classificeren van gegevens.
Mij wordt vaak gevraagd waarom we ESG rapporteren volgens onze huidige standaard, in plaats van het minimaal vereiste. Naast de besparing op onze aan duurzaamheid gekoppelde lening, is het eerlijke antwoord dat we er trots op zijn. En met de tijdsbesparing van een gespecialiseerde workflowagent, is trots nu minder duur dan voorheen.
Talent, en hoe voordeel er werkelijk uitziet
Het is nog te vroeg om naar een van onze agents of zelfontwikkelde tools te kijken en de opgeleverde besparingen te kwantificeren, zowel binnen mijn team als de potentiële besparingen voor onze klanten. Maar we kunnen wel stellen dat ons bedrijf blijft groeien met meer dan 30% per jaar en mijn financiële team geruststellend stabiel in omvang blijft. Niets aan AI heeft datgene vervangen wat nog steeds bepaalt of dit allemaal werkt. Menselijke beoordeling en aansturing blijven de allerbelangrijkste drijfveer voor succes die we hebben.
De interessantere verandering zit in waar ik nu naar zoek in mensen.
Ten eerste is ervaring met het voltooien van een taak minder waardevol geworden dan inzicht in hoe de taak is ontworpen. Als een proces nauwkeurig kan worden beschreven, kan het steeds vaker worden gedelegeerd of, misschien nog belangrijker, worden uitgelegd aan ons productteam. Als het alleen in iemands gewoonten bestaat, kan dat niet.
Ten tweede heb ik mensen nodig die het hele orkest kunnen zien. Het oude model, waarbij een manager elke ochtend binnenkomt met een lijst, overleeft het contact niet met tooling die de lijst kan genereren. Weten wat er voor donderdag waar moet zijn, is nu de taak.
En zelfevaluatie is nog nooit zo belangrijk geweest. Wanneer de eerste versie van iets gratis is, is het vermogen om te beoordelen of het goed is schaars.
Ik denk niet dat ons financiële team bijzonder briljant is geweest. Aan het begin van iets nieuws zijn we allemaal ongeveer even onwetend. Wat wel werkt, is meer dingen uitproberen dan wat comfortabel voelt, en de resultaten vervolgens eerlijk genoeg bekijken om te zien wat werkt. Kleine successen die zich herhalen, stapelen zich op tot resultaten die er van buitenaf uitzien als een plan.
Die 102 dagen was niet waar, maar het is misschien wel het nuttigste getal dat iemand me ooit heeft gegeven.
Ontdek Lucanets familie van workflowagents
AI verandert financiën en belastingen nu al, de vraag is hoe je het inzet zonder de controle over je cijfers te verliezen. Neem deel aan onze webinarreeks om Lucanet Lume en de familie van agents te ontdekken, gebouwd om af te sluiten, te plannen en te rapporteren op jouw voorwaarden. Elke sessie richt zich op één agent, de bijbehorende workflow en de resultaten die teams nu al zien.
