Durante las últimas semanas, hemos estado hablando mucho sobre la inteligencia que estamos incorporando a nuestras soluciones. Pero antes de que formara parte de nuestra plataforma, nuestro propio equipo financiero ya utilizaba la IA. La pusimos a prueba en los procesos que mejor conocíamos, con los datos que teníamos y bajo plazos que no podíamos mover. Algunos experimentos cuajaron. Otros nos enseñaron exactamente hasta dónde resultan útiles los modelos de lenguaje. Una de las lecciones más valiosas comenzó con una cifra que era completamente errónea.
102 días
La primera tarea que pedí a un LLM en Lucanet fue conciliar los datos de nóminas con los de meses anteriores.
No era una estrategia. Era un lunes por la tarde, tenía una hoja de cálculo delante y la vaga sensación de que debía entender qué podían hacer estas herramientas antes de empezar a formarme una opinión sobre ellas.
Salió bien, así que decidí probar con algo más difícil. Analicé los datos del embudo de ventas para buscar alguna tendencia que pudiera estar alterando nuestras previsiones sin que nos diésemos cuenta. Y me dijo que una de las fases del embudo duraba 102 días.
Me gustó lo de los 102 días. Era una cifra concreta. Contradecía lo que hasta entonces dábamos por sentado. El chatbot me dio la razón y me hizo sentir que mi análisis era riguroso. Quizá los datos escondían algún matiz que hasta entonces se nos había escapado.
Así que le pedí que me mostrara el cálculo. Y no pudo.
No es que no quisiera. No podía. Me explicó que podría haber seguido dos métodos distintos, pero ninguno permitía obtener esos 102 días. Cada vez que el chatbot volvía a hacer el análisis, me daba una cifra diferente, presentada con la misma seguridad que la anterior.
A veces me acuerdo de mis estudios de filosofía y me pregunto si un argumento es válido o sólido. Este pertenecía a una tercera categoría. No era ni lo uno ni lo otro, aunque se presentaba como si fuera ambas cosas.
El reparto de tareas
Aquella tarde saqué una regla que he aplicado desde entonces y que coincide con la conclusión a la que llegó nuestro CTO, Kevin, desde el punto de vista de la ingeniería en su artículo sobre el Intelligence Core: no le pidas a un modelo de lenguaje que haga los cálculos. Pídele que determine qué cálculos hay que hacer y deja que los ejecute un sistema determinista.
Y no es sólo una cuestión de precisión. No puedo dar por válido algo que no soy capaz de explicar paso a paso a otra persona. Quien se encarga del control financiero no vuelve a deducir desde cero todas las fórmulas de una consolidación, pero sí puede explicar de dónde sale cada cifra y qué criterios hay detrás. Ese es el nivel de exigencia. Un resultado que no puedo someter a comprobación no es un atajo, sino un riesgo disfrazado de solución.
Una vez que asumimos esto, fue mucho más fácil detectar dónde podía aportar valor la IA en nuestros procesos. Y todas esas aplicaciones eran más específicas y menos espectaculares de lo que había imaginado.
Lo que sí funcionó
Durante las siguientes semanas probamos un montón de nuevos casos de uso en el equipo. Tres de ellos los seguimos usando a día de hoy:
- Una estimación de ingresos previa al cierre, elaborada a partir de datos de Salesforce, nos ofrece una visión desde el día cero de los ingresos recurrentes. No es la cifra definitiva que comunicamos tras completar un proceso más detallado, pero nos permite anticipar si nos espera alguna sorpresa varios días antes de que, de otro modo, pudiéramos detectarla.
- Cálculos conforme a la NIIF 15, donde la clave está en interpretar las normas aplicables, no en inventar una respuesta.
- Y uno de mis favoritos: las comprobaciones de los informes. Hacemos dos tipos: una para revisar el estilo de redacción y otra para comprobar la coherencia, tanto dentro de una presentación para la dirección como respecto a las presentaciones anteriores. La IA revisa la presentación y comprueba si la página 14 sigue contando la misma historia que la 3 y si ambas son coherentes con lo que dijimos el mes anterior.
Este último caso es el menos llamativo, pero quizá sea el más valioso, porque detecta el tipo de error que, después de varias revisiones, puede pasar desapercibido incluso para una persona. A la cuarta lectura, ya no lees de verdad: simplemente reconoces lo que esperas encontrar.
Y algo importante: no fui yo quien desarrolló estas soluciones. Lo hicieron nuestro vicepresidente de finanzas, nuestro responsable de planificación y análisis financiero (FP&A) y el equipo de control financiero. Hemos desarrollado estas capacidades en todo el equipo para que cada persona pueda abordar con rapidez los retos más urgentes. Pero eso no equivale a disponer de herramientas con la calidad necesaria para un entorno de producción y que cualquiera pueda utilizar. Un flujo de trabajo creado con un LLM no es un producto completo.
Lo que pusieron de manifiesto las herramientas que desarrollamos internamente
Tras algunos éxitos iniciales, avanzar en retos de mayor envergadura ha resultado más lento.
En casi todas las tareas en las que hemos probado la IA, en la práctica le hemos pedido que buscara problemas en nuestros datos. Y los ha encontrado. Muchos.
Definiciones incoherentes. Registros duplicados. Campos que en 2023 significaban una cosa y ahora significan algo ligeramente distinto, sin que nadie considerase necesario documentar el cambio.
Esta es la parte de la historia que no se ve en una demostración. La IA es muy buena detectando dónde están los riesgos. Pero, por sí sola, no los soluciona si necesitas resultados predecibles o incluso deterministas. Para obtener resultados en los que podamos confiar, hemos tenido que hacer un verdadero trabajo de ingeniería de datos e integración. Y, con herramientas desarrolladas internamente, no creo que hubiera forma de evitarlo.
Todos nuestros mayores avances han partido de la calidad de los datos y la integración de sistemas, no de un modelo de terceros que encontrásemos de repente. Crear herramientas que estén correctamente integradas con nuestros datos y cuenten con el nivel adecuado de validación es un trabajo que requiere ingeniería profesional.
Ser el cliente exigente
Mientras mi equipo desarrollaba flujos de trabajo y herramientas con LLM, nuestro equipo de producto trabajaba en paralelo para hacer las cosas como es debido.
En Lucanet, un paso fundamental antes de lanzar cualquier agente es probarlo con nuestros propios equipos financieros y fiscales. Cuando el equipo de producto habla de probar el producto internamente, en mi caso eso significa ponerlo a prueba durante el cierre de mes.
Esto ha resultado más útil y, a la vez, más difícil de lo que cualquiera de las partes esperaba.
Ha sido difícil porque quienes trabajan en contabilidad no tienen formación en gestión de producto y, desde luego, tampoco son ingenieros de control de calidad. Para los responsables de producto, una buena colaboración implica recibir comentarios estructurados, conocer los pasos necesarios para reproducir un problema y entender con claridad cuál era el comportamiento esperado. Todo perfectamente razonable, hasta que quien tiene que proporcionar esa información es una persona experta en la materia que está en el tercer día del cierre y tiene una idea muy distinta de lo que significa «urgente».
Ambas partes tuvimos que adaptarnos. Mi equipo tuvo que aprender que «algo no cuadra» es un punto de partida, no una conclusión. Y el equipo de producto tuvo que entender que, en este caso, MVP no podía significar «producto mínimo viable», sino más bien «producto totalmente fiable».
Algunos de los agentes que ya hemos lanzado surgieron precisamente de situaciones como estas. El Close Agent elimina gran parte del trabajo manual del ciclo de cierre. El Analyst Agent se encarga de parte del análisis de desviaciones, mientras que el Emission Agent ha reducido una tarea manual que llevaba semanas a una pequeña fracción de la jornada de Tina, responsable de nuestros informes de sostenibilidad, que en realidad quería dedicar su tiempo a otras cosas y no a clasificar datos.
A menudo me preguntan por qué elaboramos informes ESG con el estándar con el que lo hacemos en lugar de con el mínimo que podríamos. Más allá del ahorro que conseguimos en nuestro préstamo vinculado a objetivos de sostenibilidad, la respuesta es sencilla: estamos orgullosos de hacerlo así. Y ahora, gracias al tiempo que nos ahorra un agente específico para este flujo de trabajo, ese orgullo nos cuesta menos que antes.
El talento y cómo aprovecharlo de verdad
Todavía es pronto para analizar cualquiera de nuestros agentes o herramientas desarrolladas internamente y cuantificar el ahorro que generan, ya sea en mi equipo o el que podrían conseguir nuestros clientes. Pero basta decir que nuestro negocio sigue creciendo a un ritmo superior al 30 % anual y que, por suerte, mi equipo financiero mantiene un tamaño bastante estable. Nada de lo que ha aportado la IA ha sustituido el factor que sigue determinando si todo esto funciona o no. La supervisión y la gestión humanas siguen siendo, con diferencia, el principal factor de éxito.
El cambio más interesante está en lo que ahora busco en las personas.
En primer lugar, la experiencia a la hora de ejecutar una tarea ha perdido peso frente a la capacidad de entender cómo está diseñada. Si un proceso puede describirse con precisión, cada vez es más fácil delegarlo o, quizá más importante aún, explicárselo a nuestro equipo de producto. Si solo existe como una serie de hábitos que alguien ha adquirido, no es posible hacerlo.
En segundo lugar, necesito personas capaces de ver el conjunto. El antiguo modelo, en el que una persona responsable llega cada mañana con una lista de tareas, deja de tener sentido cuando las herramientas pueden generar esa lista. Ahora el trabajo consiste en saber qué tiene que estar listo para el jueves.
Y la capacidad de revisar el propio trabajo nunca había sido tan importante. Cuando obtener un primer borrador no cuesta prácticamente nada, la verdadera habilidad escasa es saber determinar si ese borrador es realmente bueno.
No creo que nuestro equipo financiero haya hecho nada extraordinario. Cuando empezamos algo nuevo, todos sabemos más o menos igual de poco. Lo que sí nos está funcionando es probar más cosas de las que nos resultan cómodas y revisar los resultados con la suficiente objetividad como para identificar qué funciona. Los pequeños avances, cuando se repiten, se acumulan hasta producir resultados que, vistos desde fuera, parecen fruto de un plan.
Lo de los 102 días nunca fue verdad, pero puede que sea el número más útil que me han dado nunca.
Descubre la familia de agentes de workflow de Lucanet
La IA ya está transformando las finanzas y la fiscalidad. La cuestión es cómo adoptarla sin perder el control sobre tus cifras. Únete a nuestra serie de webinars para explorar Lucanet Lume y la familia de agentes diseñados para cerrar, planificar y elaborar informes a tu manera. Cada sesión se centra en un agente, su flujo de trabajo y los resultados que los equipos ya están viendo.
