Wenn die KI selbstbewusst Unsinn erzählt: so checkst du sie gegen

Ein Freelancer sitzt abends an seiner Steuererklärung, tippt seine Fragen in ChatGPT und bekommt saubere, klare Antworten. Keine Rückfrage, kein Zögern. Laut einem Bericht von buchhaltungsbutler.de ist genau das dem Expat-Freelancer Hernan Barahona passiert: Die KI half ihm geduldig durch die Grundbegriffe des deutschen Steuerrechts – und übersah dabei die Gewerbesteueranrechnung. Hätte er sich allein darauf verlassen, hätte ihn das nach Angaben des Berichts mehr als 4.000 Euro gekostet.

Das Fiese daran: Die Antwort klang nicht unsicher. Sie klang fertig.

Genau da liegt das Problem. Ein Sprachmodell sagt nicht “das weiß ich nicht genau”. Es sagt einfach das nächste Wort, das statistisch am besten passt – ob es stimmt oder nicht, spielt für den Mechanismus keine Rolle. Stell dir eine sehr belesene Person vor, die noch nie eine Quelle offen gelassen hat, aus Prinzip nie “keine Ahnung” sagt und stattdessen lieber etwas Plausibles erfindet. Genau so tickt eine KI, wenn sie an die Grenze ihres Wissens kommt. Fachleute nennen das Halluzination.

Ein Steuerberater aus München berichtet laut visionarydata.de von einem noch deutlicheren Fall: ChatGPT zitierte ihm Urteile des Bundesfinanzhofs – mit korrektem Aktenzeichen, korrektem Datum, aber komplett erfundenem Inhalt. Erst nach fünfmaligem Nachfragen räumte das Modell ein, dass es sich die Angabe ausgedacht hatte. Fünfmal. Bis dahin hätte ein normaler Nutzer längst weitergemacht.

Warum ausgerechnet Zahlen und Recht so gefährlich sind

Bei einem Rezeptvorschlag merkst du einen Fehler meistens sofort – das Essen schmeckt komisch, fertig. Bei Steuerregeln, Paragrafen oder Prozentsätzen merkst du gar nichts. Der Fehler zeigt sich erst Monate später, wenn das Finanzamt einen Bescheid schickt oder ein Vertrag Ärger macht. Genau deshalb sind Zahlen, Recht und Fristen die Bereiche, in denen ein Irrtum am teuersten wird und am längsten unentdeckt bleibt.

Kommt dazu: Steuerrecht ändert sich laufend, und ein Modell kennt oft nur den Stand seines Trainings. Ein Berater fragte laut visionarydata.de Microsofts Copilot nach dem aktuellen Verpflegungsmehraufwand für die Schweiz. Antwort: 63 Euro, mit “100 Prozent Sicherheit” vorgetragen. Das widersprach einem aktuellen Schreiben des Bundesfinanzministeriums. Nicht unsicher formuliert, nicht mit Vorbehalt – einfach falsch und selbstbewusst.

Der Gegencheck, den ich seitdem konsequent mache

Ich behandle jede Zahl, jede Rechtsaussage und jeden Fakt aus einer KI-Antwort wie eine Behauptung von einem Bekannten, den ich zwar mag, dem ich aber schon beim Falschliegen zugesehen habe. Freundlich, aber ohne Blankoscheck.

Erstens: Quelle verlangen. Nicht “stimmt das wirklich?” fragen – das beantwortet die KI meistens trotzdem mit Ja. Sondern konkret: “Welcher Paragraf, welches Urteil, welches Aktenzeichen?” Kann sie keine echte Fundstelle nennen oder wird sie bei Nachfrage vage, ist das ein Alarmsignal.

Zweitens: mit einer zweiten, unabhängigen Quelle gegenchecken. Zweite KI, klassische Suchmaschine, oder – bei Geld und Recht – ein Mensch vom Fach. Zwei KI-Systeme mit derselben blinden Stelle im Training können zwar beide danebenliegen, aber das ist deutlich seltener als ein einzelnes Modell, das sich verhaspelt.

Drittens, und das ist die wichtigste Regel: Zahlen und Rechtsfragen niemals ungeprüft übernehmen. Nie. Eine KI ist hervorragend darin, dir ein Thema verständlich zu machen, dir Begriffe zu erklären, dir eine erste Struktur zu geben. Sie ist keine verlässliche Quelle für die letzte Nachkommastelle oder den finalen Paragrafen.

Warnsignale, auf die ich mittlerweile achte: eine Antwort, die bei längeren Gesprächen plötzlich vereinfacht oder Details unter den Tisch fallen lässt. Eine Formulierung wie “das ist definitiv so” ohne jede Einschränkung, obwohl das Thema komplex ist. Und – besonders verräterisch – wenn die KI bei der ersten Nachfrage sofort einlenkt und etwas völlig anderes behauptet. Das zeigt: Die erste Antwort war nie Wissen, sondern eine Wahrscheinlichkeit, die genauso gut hätte anders ausfallen können.

Ein europäisches Modell, zum Vergleich

Auch Mistrals Le Chat ist von diesem Grundproblem nicht ausgenommen – Halluzinationen sind kein ChatGPT-spezifischer Bug, sondern eine Eigenschaft aller großen Sprachmodelle, egal ob aus den USA, Frankreich oder sonst woher. Mistral wirbt zwar mit Transparenz zu Trainingsdaten und einer gewissen Zurückhaltung bei unsicheren Antworten, doch auch hier gilt: Bei einer Rechtsfrage oder einer Steuerzahl bekommst du keine Garantie, nur eine Einschätzung, die genauso überprüft werden muss wie bei jedem anderen Modell.

Für kleine Betriebe heißt das am Ende: KI als ersten Entwurf nutzen, nicht als letzte Instanz. Ich würde jede steuer- oder rechtsrelevante Zahl, die aus einem Chat kommt, so lange als vorläufig behandeln, bis sie von einer zweiten Quelle bestätigt ist – auch wenn das nach zusätzlicher Arbeit klingt. Die 4.000 Euro von Hernan Barahona sind der Beweis, dass diese zusätzliche Arbeit günstiger ist als der Irrtum.