Kann man KI bei Earnings-Zahlen trauen? Ein Prüf-Leitfaden

Warum Modelle überhaupt Zahlen erfinden

Ein Sprachmodell ist trainiert, Text plausibel fortzusetzen, und in Finanztext ist die plausibelste Fortsetzung von "der Quartalsumsatz betrug" eine Zahl im historisch richtigen Bereich. Das Modell lügt nicht; es tut exakt, wofür es gebaut wurde, ohne inneres Signal, das Erinnertes, Interpoliertes und Erfundenes unterscheidet. Flüssigkeit und Genauigkeit sind auf Ebene einer einzelnen Zahl unkorreliert.

Zwei Verschärfungen machen Finanzen zum schlimmsten Fall: Trainings-Cutoffs bedeuten, dass das neueste "Wissen" des Modells Monate alt ist, in einer Domäne mit Quartalstakt, und Finanzzahlen kommen in Familien, Umsatz, bereinigter Umsatz, Segmentumsatz, währungsbereinigt, wo ein Modell eine echte Zahl zitieren kann, die eine andere Frage beantwortet als deine.

Die Herkunfts-Hierarchie

Ordne jede KI-zitierte Zahl nach ihrer behaupteten Herkunft. Oberste Stufe: ein wörtliches Zitat mit benannter Quelle, "Colette Kress, Call vom 20. Mai: Gesamtumsatz 82 Milliarden", in einem Schritt prüfbar. Zweite Stufe: eine per Query über strukturierte Daten berechnete Zahl, vertrauenswürdig, wenn das System Queries wirklich ausführt statt sie zu beschreiben. Dritte Stufe: "laut meinen Trainingsdaten", ehrlich, aber veraltet. Unterste Stufe: eine nackte Zahl ohne Herkunft, und dort wohnen die Halluzinationen.

Die Designfrage jedes Tools ist, welche Stufen es zulässt. earnings.chat erlaubt konstruktionsbedingt nur die obersten zwei: Jede Zahl ist Query-Ergebnis oder wörtliches Transkript-Zitat, das Modell darf nicht Quelle einer Zahl sein. Das ist eine Architektureigenschaft, kein Versprechen über Modellqualität.

30-Sekunden-Checks, die die meisten Fehler fangen

• Nach der Quelle fragen: "Gib mir das exakte Zitat und wer es sagte." Ein belegtes System antwortet sofort; ein ratendes stockt oder erfindet eine Zitation.
• Dieselbe Frage umformuliert stellen: Erfundene Zahlen driften zwischen Formulierungen, belegte nicht.
• Die Familie prüfen: Gesamtumsatz, Segmentumsatz, bereinigt? Das Etikett zählt so viel wie die Ziffern.
• Die Periode prüfen: Fiskalquartale sind keine Kalenderquartale, und "letztes Quartal" ist über Unternehmen hinweg mehrdeutig.
• Fragen, was das System nicht weiß: "Gibt es in dieser Antwort etwas, das du nicht verifizieren konntest?" Die Reaktion ist diagnostisch.

Der Lücken-Test

Die aufschlussreichste Einzelprobe: Frag nach einer Zahl, die plausibel existieren müsste, es aber nicht tut, ein Segment, das nicht mehr berichtet wird, eine nie offengelegte Kennzahl. Ein vertrauenswürdiges System sagt, dass die Calls sie nicht enthalten. Ein flüssiger Rater produziert eine saubere, selbstbewusste, falsche Zahl, und verrät damit, wie er sich bei jeder Frage verhält, die du nicht prüfen kannst.

Führe diesen Test einmal bei jedem Tool durch, auf das du dich verlassen willst. Er kostet eine Frage und ist kaum zu fälschen, denn ihn zu bestehen verlangt, dass das System Unwissen zugeben dem Antworten vorzieht, und genau diese Eigenschaft kaufst du.

Vertrauen als Workflow, nicht als Gefühl

Das praktische Protokoll: Belegte Zahlen direkt verwenden, jede unbelegte Zahl als Entwurf behandeln, und keine Zahl in ein Memo, ein Modell oder einen Trade lassen ohne ihr Zitat daran. Mit einem belegten System ist das gratis, die Zitate kommen mit der Antwort, und der Copy-Export behält sie. Der Punkt ist nicht Paranoia; sondern dass Verifikation, einmal billig, Standard sein sollte. Zahlen mit Beleg verzinsen Vertrauen; Zahlen ohne Beleg verzinsen Risiko.