In den letzten Wochen haben wir viel über die Intelligenz gesprochen, die wir in unsere Lösungen integrieren. Doch bevor KI Teil unserer Plattform wurde, setzte unser eigenes Finanzteam sie bereits ein. Wir probierten sie dort aus, wo wir uns am besten auskannten – mit unseren eigenen Daten und unter Deadlines, die sich nicht verschieben ließen. Einige Experimente bewährten sich. Andere zeigten uns genau die Grenzen auf, an denen Sprachmodelle nicht mehr weiterhelfen. Eine der nützlichsten Erkenntnisse begann mit einer Zahl, die schlicht falsch war.
102 Tage
Das Erste, wonach ich ein LLM bei Lucanet jemals fragte, waren Abstimmungen von Lohn- und Gehaltsdaten mit vorherigen Monaten.
Keine Strategie. Ein Montagnachmittag, ein Spreadsheet und der vage Eindruck, dass ich verstehen sollte, was diese Dinge leisten können, bevor ich anfange, Meinungen darüber zu haben.
Es lief gut, also versuchte ich etwas Schwierigeres. Buchung von Funnel-Daten, auf der Suche nach einer Art von Trend, der unsere Prognose unauffällig verändern könnte. Und ich fand heraus, dass eine Phase unseres Funnels 102 Tage dauerte.
102 Tage gefielen mir. Es war konkret. Es widersprach der gängigen Meinung. Der Chatbot schmeichelte mir und gab mir das Gefühl, ich sei gründlich. Vielleicht gab es eine Nuance in den Daten, die bisher übersehen worden war.
Also bat ich darum, mir die Berechnung zu zeige und das konnte er nicht.
Nicht, dass er nicht wollte. Er konnte nicht. Er sagte mir, er hätte zwei mögliche Ansätze wählen können, aber keiner davon gab 102 wieder. Jedes Mal, wenn der Chatbot die Analyse wieder vornahm, erhielt ich eine andere Zahl, so selbstsicher vorgebracht wie die letzte.
Manchmal besinne ich mich auf mein Philosophie-Studium und hinterfrage, ob ein Argument gültig oder stichhaltig ist. Dies war eine dritte Kategorie. Ein Argument, das weder das eine noch das andere war, aber im Register beider präsentiert wurde.
Die Arbeitsteilung
An diesem Nachmittag entstand die Regel, die ich seitdem anwende und es ist dieselbe Schlussfolgerung, zu der unser CTO Kevin auf der technischen Seite in seinem Beitrag zum Intelligence Core gelangte: Bitten Sie ein Sprachmodell nicht darum, die Arithmetik auszuführen. Lassen Sie es ermitteln, welche Berechnungen durchgeführt werden müssen und lassen Sie dies anschließend von etwas Deterministischem ausführen.
Der Grund ist nicht nur Genauigkeit. Es liegt daran, dass ich etwas nicht unterzeichnen kann, das ich einer anderen Person nicht erklären kann. Ein Controller leitet nicht jede Formel in einer Konsolidierung von Grund auf neu her, aber er kann dir sagen, woher jede Zahl stammt und welche Beurteilungen dahinterstecken. Das ist der Maßstab. Ein Ergebnis, das ich nicht hinterfragen kann, ist keine Abkürzung, es ist ein Risiko, das nur freundlich daherkommt.
Als wir das akzeptiert hatten, waren die nützlichen KI-Anwendungen in unseren Prozessen viel leichter zu erkennen. Sie waren alle enger gefasst und weniger glamourös als die, die ich mir vorgestellt hatte.
Was wirklich funktioniert hat
In den folgenden Wochen testeten wir im Team viele neue Anwendungsfälle. Drei davon nutzen wir heute noch:
- Eine vorläufie Umsatzschätzung vor dem Abschluss, abgeleitet aus Salesforce-Daten, gibt uns eine Day-Zero-Ansicht des wiederkehrenden Umsatzes. Nicht die endgültige Zahl, die wir nach einem detaillierteren Prozess final berichten, aber eine, die uns sagt, ob wir auf eine Überraschung zusteuern, und das Tage bevor wir es sonst erfahren würden.
- IFRS-15-Berechnungen, bei denen die Arbeit in der Interpretation eines Regelwerks liegt und nicht im Erfinden von Lösungen.
- Und ein persönlicher Favorit: Reporting-Checks. Zwei Arten: eine für den Schreibstil und eine für die Konsistenz, sowohl innerhalb eines Management-Decks als auch im Vergleich mit früheren Decks. Er liest das Paket und fragt, ob es auf Seite 14 immer noch um das gleiche geht wie auf Seite 3 und ob eines von beiden mit dem übereinstimmt, was wir letzten Monat gesagt haben.
Letzteres beeindruckt am wenigsten, ist aber vielleicht am wertvollsten, weil es die Art von Fehlern erfasst, die ein menschlicher Prüfer nicht mehr sehen kann. Beim vierten Durchlesen liest man nicht mehr, sondern erkennt nur noch.
Wichtig ist, dass ich keines davon entwickelt habe. Unser VP Finance, unser Head of FP&A und unsere Controller haben das gemacht. Wir haben das Know-how im gesamten Team aufgebaut, sodass Einzelpersonen ihre dringendsten Herausforderungen schnell angehen können. Aber das ist nicht dasselbe wie Tools in Produktionsqualität, die von allen verwendet werden können. Ein in einem LLM erstellter Workflow ist kein vollwertiges Produkt.
Was selbst entwickelte Tools offenbart haben
Nach einigen ersten Erfolgen verlief der Fortschritt bei größeren Herausforderungen schleppend.
Bei fast allen Aufgaben, auf die wir KI angesetzt haben, baten wir die Tools effektiv darum, Probleme in unseren Daten zu suchen, und sie kamen dem nach. Ausgiebig.
Inkonsistente Definitionen. Doppelte Datensätze. Felder, die 2023 eine Bedeutung hatten und heute eine etwas andere, auf eine Weise, die von niemandem dokumentiert worden war.
Dies ist der Teil der Geschichte, der in der Demo nicht vorkommt. KI ist sehr gut darin, aufzuzeigen, wo das Risiko liegt. Sie ist allein jedoch keine Lösung, wenn man ein vorhersehbares, ja deterministisches Ergebnis möchte. Um Ergebnisse zu erhalten, auf die wir uns verlassen können, waren echtes Data Engineering und echte Integrationsarbeit erforderlich, und bei selbst entwickelten Tools glaube ich nicht, dass es eine Version dieser Geschichte gibt, in der wir das hätten überspringen können.
Alle unsere größten Erfolge haben mit Datenqualität und Systemintegration begonnen, nicht mit einem Drittanbietermodell. Wir haben schnell festgestellt, dass das Erstellen von Tools, die ordnungsgemäß in unsere Daten integriert sind und das richtige Maß an Validierung bieten, eine Aufgabe für professionelle Entwickler ist.
Der anspruchsvolle Kunde
Parallel zu den Bemühungen meines Teams, Workflows und Tools in LLMs zu entwickeln, versucht unser Produktteam, die Aufgabe sauber zu erledigen.
Bei Lucanet ist ein kritischer Schritt vor der Freigabe eines Agenten, diesen in unseren eigenen Finanz- und Steuerteams zu testen. Wenn unsere Produktkollegen vom Dogfooding sprechen, meinen sie unseren eigenen Monatsabschluss.
Das war für beide Seiten nützlicher und herausfordernder als erwartet.
Herausfordernd, da Buchhalter keine ausgebildeten Produktmanager sind und sicher keine QA-Ingenieure. Produktverantwortliche definieren gutes Engagement mit ihren eigenen Begriffen: strukturiertes Feedback, Reproduktionsschritte, klare Formulierung des erwarteten Verhaltens. Alles völlig verständlich und alles landet am dritten Tag des Abschlusses bei einem Fachexperten, der „dringend“ anders definiert.
Beide Seiten mussten sich bewegen. Mein Team musste lernen, dass der Eindruck von „es fühlte sich falsch an“ ein Anfang und kein endgültiges Ergebnis ist. Das Produktteam musste lernen, dass MVP in diesem Fall nicht "minimal funktionsfähig", sondern "absolut zuverlässig" bedeuten musste.
Einige der Agenten-Familie, die inzwischen veröffentlicht wurde, entstand genau aus diesen Momenten. Der Close Agent nimmt einen Großteil der manuellen Arbeit ab. Der Analyst Agent übernimmt einen Teil der Abweichungsanalyse, und der Emission Agent hat eine ausgedehnte manuelle Aufgabe auf den kleinen Bruchteil des Tages komprimiert, den Tina, die für unser Nachhaltigkeitsreporting zuständig ist, tatsächlich mit der Klassifizierung von Daten verbringen wollte.
Ich werde oft gefragt, warum wir ESG auf dem Niveau berichten, das wir tun, und nicht auf dem Minimum, das möglich wäre. Abgesehen von den Kosteneinsparungen bei unserem nachhaltigkeitsgebundenen Darlehen ist die ehrliche Antwort, dass wir stolz darauf sind. Und jetzt, mit den Zeiteinsparungen durch einen dedizierten Workflow-Agenten, ist dieser Stolz weniger kostspielig als zuvor.
Was Talente ausmacht und wie der messbare Nutzen aussieht
Es ist noch zu früh, um einzelne unserer Agenten oder selbst entwickelte Tools zu betrachten und die erzielten Einsparungen zu quantifizieren, ob in meinem Team oder die potenziellen Einsparungen für unsere Kunden. Es genügt aber zu erwähnen, dass unser Geschäft weiterhin um über 30 % pro Jahr wächst und die Größe meines Finanzteams beruhigend stabil ist. Nichts an KI hat das verdrängt, was immer noch bestimmt, ob all dies funktioniert. Menschliche Prüfung und Steuerung bleiben der wichtigste Erfolgsfaktor.
Die interessantere Veränderung betrifft das, worauf ich bei Menschen jetzt achte.
Erstens ist Erfahrung im Ausführen einer Aufgabe weniger wertvoll geworden als das Verständnis, wie die Aufgabe gestaltet ist. Wenn ein Prozess präzise beschrieben werden kann, kann er zunehmend delegiert oder – was vielleicht noch wichtiger ist – unserem Produktteam erklärt werden. Wenn er nur in den Gewohnheiten von jemandem vorhanden ist, ist das nicht möglich.
Zweitens brauche ich Menschen, die das gesamte Orchester im Blick haben. Das alte Modell, bei dem eine Führungskraft jeden Morgen mit einer Liste erscheint, übersteht den Kontakt mit Tools nicht, die diese Liste generieren können. Zu wissen, was bis Donnerstag als valides Ergebnis vorliegen muss, ist heute die Aufgabe.
Und Selbstüberprüfung war noch nie so wichtig. Wenn der erste Entwurf von irgendetwas kostenlos ist, besteht die seltene Fähigkeit darin, die Person zu sein, die beurteilen kann, ob er gut ist.
Ich glaube nicht, dass unser Finanzteam besonders brillant war. Wenn etwas Neues beginnt, sind wir alle ungefähr gleich unwissend. Was jedoch funktioniert, ist, mehr Dinge auszuprobieren, als angenehm ist und dann die Ergebnisse ehrlich genug zu überprüfen, um zu erkennen, was funktioniert. Kleine wiederholte Erfolge summieren sich zu Ergebnissen, die von außen wie eine Planung aussehen.
Die 102 Tage waren zwar nie wahr, aber es ist vielleicht die nützlichste Zahl, die mir jemand gegeben hat.
Entdecken Sie die Familie der Workflow-Agenten von Lucanet
KI verändert bereits das Finanz- und Steuerwesen. Die Frage ist, wie man sie einsetzt, ohne die Kontrolle über die eigenen Zahlen zu verlieren. Nehmen Sie an unserer Webinar-Reihe teil, um Lucanet Lume und die Familie der Workflow-Agenten kennenzulernen, die für Abschluss, Planung und Reporting speziell für Ihre Anforderungen entwickelt wurden. Jede Session konzentriert sich auf einen Agenten, seinen Workflow und die Ergebnisse, die Teams bereits sehen.
