Nelle ultime settimane abbiamo parlato molto dell'intelligenza che stiamo integrando nelle nostre soluzioni. Tuttavia, prima ancora che diventasse parte della nostra piattaforma, l'IA veniva già utilizzata dal nostro team finanziario. L'abbiamo provata sul lavoro che conoscevamo meglio, con i dati a nostra disposizione, entro scadenze che non potevamo spostare. Alcuni esperimenti hanno funzionato, altri ci hanno insegnato esattamente dove i modelli linguistici smettono di essere efficaci. Una delle lezioni più utili è iniziata con un numero completamente sbagliato.
102 giorni
La prima cosa in assoluto che ho chiesto a un LLM di fare in Lucanet è stata riconciliare i dati sulle retribuzioni con quelli dei mesi precedenti.
Non è una strategia. Un lunedì pomeriggio, un foglio di calcolo, e una vaga sensazione che avrei dovuto capire cosa potessero fare queste cose prima di iniziare ad avere opinioni su di esse.
È andata bene, così ho provato qualcosa di più impegnativo: ho usato i dati del funnel delle prenotazioni, alla ricerca del tipo di tendenza che potrebbe modificare in modo impercettibile le nostre previsioni. E mi ha detto che una fase del nostro funnel ha richiesto 102 giorni.
Mi sono piaciuti 102 giorni. Era specifico. Contraddiceva l'opinione comune. Il chatbot mi adulava e mi faceva sentire rigoroso. Forse c'era qualche sfumatura nei dati, finora trascurata.
Gli ho quindi chiesto di mostrarmi il calcolo, ma non è stato in grado di farlo.
Non è che non voglio. Non posso. Mi ha detto che c'erano due possibili approcci che avrebbe potuto adottare, ma nessuno dei due ha riprodotto il numero 102. Ogni volta che il chatbot rielaborava l'analisi, ottenevo un numero diverso, presentato con la stessa sicurezza del precedente.
A volte ripenso ai miei studi di filosofia e mi chiedo se un argomento sia valido o fondato. Questa era una terza categoria. Un argomento che non era né l'uno né l'altro, presentato nel registro di entrambi.
La suddivisione del lavoro
Da quel pomeriggio è nata la regola che applico da allora, ed è la stessa conclusione a cui è arrivato il nostro CTO Kevin dal punto di vista dell'ingegneria nel suo articolo sull'Intelligence Core: non chiedere a un modello linguistico di fare calcoli aritmetici. Chiedigli di individuare quali calcoli debbano essere fatti, poi lascia che a eseguirli sia qualcosa di deterministico.
Il motivo non è solo l'accuratezza. È che non posso firmare qualcosa che non posso spiegare a qualcun altro. Un controller non rielabora ogni formula in un consolidamento partendo dai principi fondamentali, ma sa dire da dove proviene ogni numero e quali valutazioni vi stanno alla base. Questo è lo standard. Un output che non posso interrogare non è una scorciatoia, è una passività con le buone maniere.
Una volta accettato questo assunto, le applicazioni utili dell'IA nei nostri processi sono diventate molto più facili da individuare. Erano tutte più limitate e meno interessanti di quelle che avevo immaginato.
Cosa è rimasto impresso effettivamente
Nelle settimane successive abbiamo provato una serie di nuovi casi d'uso all'interno del team. Tre di questi li utilizziamo ancora oggi:
- Una stima del fatturato pre-chiusura, elaborata dai dati di Salesforce, ci offre una visione al giorno zero del fatturato ricorrente. Non il numero finale che riportiamo dopo un processo più dettagliato, ma un dato che ci indica se stiamo per avere sorprese, con giorni di anticipo rispetto a quando lo scopriremmo altrimenti.
- Calcoli IFRS 15, in cui il lavoro consiste nell'interpretazione rispetto a un regolamento anziché nell'invenzione.
- E uno dei preferiti: i controlli sui report. Di due tipi: uno per lo stile di scrittura e uno per la coerenza, sia all'interno di una presentazione direzionale sia rispetto alle presentazioni precedenti. Legge il pacchetto e si chiede se pagina 14 racconti ancora la stessa storia di pagina 3 e se una delle due concordi con quanto detto il mese scorso.
Quest'ultimo è il meno impressionante, ma forse il più prezioso, perché individua il tipo di errore che un revisore umano non riesce più a vedere. Alla quarta rilettura, non si legge più, si riconosce soltanto.
È importante sottolineare che non sono stato io a realizzare nulla di tutto questo. L'hanno fatto il nostro VP Finance, il nostro Head of FP&A e i nostri controller. Abbiamo sviluppato competenze solide in tutto il nostro team, consentendo alle singole persone di affrontare in modo rapido le sfide più urgenti. Ma questo non equivale ad avere strumenti di qualità di produzione pronti all'uso per chiunque. Un workflow creato in un LLM non è un prodotto completo a tutti gli effetti.
Cosa hanno messo in luce gli strumenti sviluppati internamente
Dopo alcuni casi di successo iniziali, i progressi sulle sfide più impegnative sono stati lenti.
In quasi tutte le attività a cui abbiamo provato ad applicare l'IA, abbiamo di fatto chiesto agli strumenti di cercare problemi nei nostri dati, e ci hanno accontentati. Ampiamente.
Definizioni incoerenti. Record duplicati. Campi che significavano una cosa nel 2023 e qualcosa di leggermente diverso ora, in modi che nessuno aveva ritenuto opportuno documentare.
Questa è la parte della storia che non appare nella demo. L'IA è molto efficace nel segnalare dove si trova il rischio. Non è, da sola, una soluzione se si desidera un output prevedibile, persino deterministico. Ottenere output su cui poter fare affidamento ha comportato un vero e proprio lavoro di data engineering e di integrazione e, con strumenti sviluppati internamente, non credo esista una versione di questa storia in cui avremmo potuto evitarlo.
Ciascuno dei nostri maggiori guadagni è iniziato con la qualità dei dati e l'integrazione dei sistemi, non con un modello di terzi: abbiamo scoperto rapidamente che sviluppare strumenti correttamente integrati nei nostri dati con il giusto livello di validazione era un lavoro per un ingegnere professionista.
Essere il cliente difficile
In parallelo agli sforzi del mio team per creare flussi di lavoro e strumenti negli LLM, il nostro team di prodotto ha cercato di svolgere il lavoro nel modo corretto.
In Lucanet, una fase fondamentale prima di rilasciare un agente consiste nel testarlo con i nostri team finanziari e fiscali. Quando i nostri colleghi di prodotto parlano di dogfooding, parlano della mia chiusura di fine mese.
È stato più utile e più impegnativo di quanto entrambe le parti si aspettassero.
È una sfida, perché i contabili non sono product manager qualificati e non sono di certo ingegneri QA. I product leader definiscono un buon coinvolgimento secondo i propri parametri: feedback strutturato, passaggi per la riproduzione del problema e una chiara articolazione del comportamento previsto. Tutto completamente ragionevole, e tutti si rivolgono a un esperto in materia al terzo giorno di chiusura che ha una definizione diversa di urgente.
Entrambe le parti hanno dovuto muoversi. Il mio team ha dovuto imparare che "sembrava sbagliato" è un punto di partenza e non una conclusione. Il team di prodotto ha dovuto imparare che in questo caso MVP non poteva significare un prodotto "minimo funzionante", ma "completamente affidabile".
Alcuni membri della famiglia di agenti ora rilasciati sono nati proprio da quei momenti. Il Close Agent elimina gran parte del lavoro manuale dal ciclo. L'Analyst Agent si fa carico di alcune analisi degli scostamenti e l'Emission Agent ha ridotto una vasta attività manuale a quella piccola frazione di giornata che Tina, responsabile del nostro reporting sulla sostenibilità, voleva effettivamente dedicare alla classificazione dei dati.
Spesso mi viene chiesto perché presentiamo report ESG secondo gli standard che adottiamo, anziché limitarci al minimo indispensabile. Al di là del risparmio di liquidità sul nostro prestito legato alla sostenibilità, la risposta sincera è che ne siamo orgogliosi. E ora, grazie al risparmio di tempo garantito da un agente di workflow dedicato, essere orgogliosi costa meno rispetto a prima.
Talento, e cosa significa concretamente fare leva
È troppo presto per esaminare uno qualsiasi dei nostri agenti o strumenti sviluppati internamente e quantificare i risparmi ottenuti, sia all'interno del mio team sia in termini di potenziali risparmi per i nostri clienti. Ma basti dire che la nostra attività continua a crescere a un ritmo superiore al 30% all'anno e che le dimensioni del mio team finanziario rimangono stabili in modo rassicurante. Nulla dell'IA ha soppiantato ciò che determina ancora se tutto questo funzioni. La revisione e la gestione umana rimangono il principale fattore di successo che abbiamo.
Il cambiamento più interessante è quello che ora cerco nelle persone.
In primo luogo, l'esperienza nel completare un'attività è diventata meno preziosa rispetto alla comprensione di come l'attività è progettata. Se un processo può essere descritto con precisione, può essere sempre più delegato e, soprattutto, spiegato al nostro team di prodotto. Se esiste solo nelle abitudini di qualcuno, è come se non ci fosse.
In secondo luogo, ho bisogno di persone in grado di vedere l'intera orchestra. Il vecchio modello, in cui un manager arriva ogni mattina con un elenco, non sopravvive al contatto con strumenti in grado di generare l'elenco. Sapere cosa deve essere reale entro giovedì è ora il vero lavoro.
E l'autovalutazione non è mai stata così importante. Quando la prima bozza di qualsiasi cosa è gratuita, la competenza rara risiede nell'essere la persona in grado di capire se sia valida.
Non penso che il nostro team finanziario sia stato particolarmente brillante. All'inizio di qualcosa di nuovo siamo tutti ugualmente ignoranti (più o meno). Quello che funziona, però, è provare più cose di quante sia comodo, poi rivedere i risultati con sufficiente onestà da notare cosa funziona. Piccoli successi ripetuti si accumulano in risultati che, dall'esterno, sembrano un piano.
I 102 giorni non sono mai stati veri, ma potrebbe essere il numero più utile che mi sia mai stato fornito.
Scopri la famiglia di agenti di workflow di Lucanet
L'IA sta già ridisegnando la finanza e la fiscalità, la questione è come adottarla senza perdere il controllo dei numeri. Partecipa alla nostra serie di webinar per esplorare Lucanet Lume e la famiglia di agenti creata per chiudere, pianificare e creare report secondo le tue esigenze. Ogni sessione si concentra su un agente, sul suo flusso di lavoro e sui risultati che i team stanno già riscontrando.
