4 Min. LesezeitDokumente, Qualität
Die KI war sich sicher und lag trotzdem daneben
Beim Auslesen gescannter Prüfberichte hat unser Modell Angaben erfunden und sich dabei als sehr sicher eingestuft. Wie wir das gelöst haben.
Im Kundenportal der UNS GmbH laden Kunden Prüfberichte und Datenblätter ihrer Aufzugsanlagen hoch. Eine KI liest daraus die Angaben aus, die wir für die Aufschaltung auf das Notrufsystem brauchen. Das spart allen Beteiligten Abtipperei. Der Weg dorthin hatte allerdings eine Episode, die wir heute jedem erzählen, der mit KI Dokumente verarbeiten will.
Der Moment, in dem es auffiel
Bei sauberen, digital erzeugten PDF-Dateien lief das Auslesen von Anfang an gut. Dann kamen die ersten echten Unterlagen: abfotografierte Seiten, schief eingescannte Berichte, Stempel quer über dem Text.
Das Modell lieferte auch hier Ergebnisse. Und zu jedem Feld eine Einschätzung, wie sicher es sich sei. Bei mehreren Dokumenten stand dort „hoch“. Beim Abgleich mit dem Original zeigte sich: Der angegebene Standort der Anlage stand so nirgends im Dokument. Das Modell hatte ihn erfunden, plausibel klingend und mit bestem Gewissen.
Warum das passiert
Ein Sprachmodell ist darauf trainiert, sinnvolle Antworten zu erzeugen. Wenn die Vorlage schlecht lesbar ist, füllt es Lücken mit dem, was wahrscheinlich klingt. Die Selbsteinschätzung, die es dazu abgibt, ist ebenfalls nur erzeugter Text. Sie ist keine Messung.
Das ist kein Fehler eines bestimmten Modells. Es ist eine Eigenschaft der Technik, mit der man rechnen muss.
Was wir geändert haben
Wir haben das Problem nicht mit einem größeren Modell gelöst, sondern mit einem besseren Ablauf:
- Texterkennung zuerst. Gescannte Seiten laufen durch eine klassische Texterkennung, bevor die KI sie sieht. Das Modell bekommt dann Text und Bild zusammen und muss nicht mehr raten, was dort steht.
- Belegen statt behaupten. Ein Feld wird nur gefüllt, wenn die Angabe im Dokument tatsächlich vorkommt. Fehlt sie, bleibt das Feld leer, und das ist ausdrücklich erlaubt.
- Mensch bestätigt. Jeder Vorschlag erscheint neben dem Original. Übernommen wird erst, wenn ein Mensch bestätigt oder korrigiert.
- Tests mit echten Dokumenten. Wir haben eine Sammlung realer, auch schlechter Beispieldokumente angelegt. Jede Änderung am Ablauf muss sich an dieser Sammlung beweisen, bevor sie live geht.
Die Selbsteinschätzung des Modells verwenden wir seitdem für nichts mehr, was eine Entscheidung auslöst.
Was das für Sie bedeutet
Wenn Sie KI für Rechnungen, Lieferscheine, Prüfprotokolle oder Verträge einsetzen wollen, sind die schönen Beispiele in Vorführungen wenig aussagekräftig. Entscheidend sind Ihre schlechtesten Dokumente: das zerknitterte Fax, der Scan mit Kaffeefleck, das Formular aus dem Jahr, in dem das Layout anders war.
Drei Fragen helfen bei der Bewertung jeder Lösung, auch unserer:
- Was passiert, wenn eine Angabe im Dokument fehlt? Bleibt das Feld leer oder wird etwas erfunden?
- Mit welchen echten Dokumenten wurde getestet, und wie viele davon waren schlecht lesbar?
- Wer sieht das Ergebnis, bevor es in einem System landet, in dem es weiterverarbeitet wird?
Eine KI, die zugibt, etwas nicht zu wissen, ist im Alltag mehr wert als eine, die immer eine Antwort hat.
Und die Geschwindigkeit?
Ein letzter, praktischer Punkt: Texterkennung und lokales Modell brauchen Rechenzeit. Auf der Grafikeinheit unseres Mac Mini dauert eine Seite rund 13 Sekunden. Für einen Kunden, der einen Bericht hochlädt und dann weiterarbeitet, ist das kein Problem. Auf einem Server ohne Grafikkarte waren es rund drei Minuten pro Seite, zu lang für ein angenehmes Arbeiten. Solche Messungen machen wir vor jeder Entscheidung über Hardware, nicht danach.
Wenn Sie wissen wollen, wie gut KI mit Ihren eigenen Unterlagen zurechtkommt, testen wir das gern an einer kleinen Auswahl. Am liebsten mit den Dokumenten, vor denen Sie selbst die meiste Angst haben.