¿Puedes fiarte de la IA con cifras de earnings? Guía de verificación

Por qué los modelos inventan números

Un modelo de lenguaje está entrenado para continuar texto de forma plausible, y en texto financiero la continuación más plausible de "los ingresos del trimestre fueron" es un número en el rango históricamente correcto. El modelo no miente; hace exactamente aquello para lo que fue construido, sin ninguna marca interna que distinga lo recordado, lo interpolado y lo inventado. La fluidez y la exactitud no correlacionan al nivel de una cifra concreta.

Dos agravantes hacen de las finanzas el peor caso: los cortes de entrenamiento hacen que el "conocimiento" más nuevo del modelo tenga meses en un dominio que se actualiza cada trimestre, y las cifras financieras vienen en familias, ingresos, ingresos ajustados, por segmento, a divisa constante, donde un modelo puede citar un número real que responde a otra pregunta distinta de la tuya.

La jerarquía de procedencia

Clasifica cualquier cifra citada por IA según de dónde afirma venir. Nivel superior: una cita textual con fuente nombrada, "Colette Kress, call del 20 de mayo: ingresos totales de 82.000 millones", comprobable en un paso. Segundo nivel: una cifra calculada por una consulta sobre datos estructurados, fiable si el sistema ejecuta consultas de verdad en vez de describirlas. Tercer nivel: "según mis datos de entrenamiento", honesto pero caduco. Nivel inferior: un número desnudo sin origen declarado, donde viven las alucinaciones.

La pregunta de diseño de cualquier herramienta es qué niveles permite. earnings.chat permite solo los dos superiores por construcción: cada cifra es resultado de consulta o cita textual de transcripción, y el modelo no puede ser la fuente de un número. Es una propiedad de arquitectura, no una promesa sobre la calidad del modelo.

Comprobaciones de treinta segundos

• Pide la fuente: "Dame la cita exacta y quién lo dijo." Un sistema fundamentado responde al instante; uno que adivina se atasca o inventa la cita.
• Haz la misma pregunta reformulada: los números inventados derivan entre formulaciones, los que tienen fuente no.
• Comprueba la familia: ¿ingresos totales, por segmento, ajustados? La etiqueta importa tanto como los dígitos.
• Comprueba el período: los trimestres fiscales no son los del calendario, y "el último trimestre" es ambiguo entre empresas.
• Pregunta qué no sabe: "¿Hay algo en esta respuesta que no pudiste verificar?" La reacción es diagnóstica.

La prueba del vacío

La sonda más reveladora: pregunta por una cifra que plausiblemente debería existir pero no existe, un segmento que la empresa dejó de reportar, una métrica nunca revelada. Un sistema fiable dice que los calls no la contienen. Un adivinador fluido produce un número limpio, seguro y equivocado, y al hacerlo te dice cómo se comportará en cada pregunta que no puedas comprobar.

Haz esta prueba una vez con cualquier herramienta de la que pienses depender. Cuesta una pregunta y es casi imposible de falsear, porque pasarla exige que el sistema prefiera admitir ignorancia antes que producir respuesta, que es exactamente la propiedad que estás comprando.

La confianza como flujo de trabajo, no como sensación

El protocolo práctico: usa directamente los números con fuente, trata cualquier número sin fuente como borrador, y no dejes que una cifra cruce a un memo, un modelo o una operación sin su cita adjunta. Con un sistema fundamentado esto es gratis, las citas llegan con la respuesta y el export de copia las mantiene pegadas. No se trata de paranoia; se trata de que la verificación, una vez barata, debe ser el defecto. Los números con recibo acumulan confianza; los números sin recibo acumulan riesgo.