Prüf durch Ausführen, nicht durch Lesen

Ich habe mit dem Assistenten von damals eine halbe Stunde damit verbracht, einen Fehler an der falschen Stelle zu suchen.

Die KI hatte mir erklärt, wo die Daten herkommen. Ich habe die Datei aufgemacht, sie gelesen, genickt, und angefangen, dort zu reparieren. Es half nichts. Ich las nochmal. Half wieder nichts. Erst als ich aufhörte zu lesen und stattdessen die App einmal durchlaufen ließ und nachschaute, was wirklich in die Datenbank ging, sah ich es: Die Daten kamen aus einer ganz anderen Datei. Die KI hatte mir eine plausible Erklärung geliefert. Ich hatte sie gelesen. Und ich hatte die falsche Datei vor mir.

Das ist mir passiert, mit Jahren Erfahrung. Es liegt nicht an dir, wenn es dir auch passiert.

Lesen prüft das falsche Ding

Wenn du Code liest, prüfst du dein Bild davon, was passiert. Du prüfst nicht, was passiert.

Das klingt nach Wortklauberei, ist aber der ganze Unterschied. Beim Lesen baust du im Kopf ein Modell: Dieser Schritt läuft, dann jener, am Ende landet das Ergebnis hier. Wenn dein Modell stimmt, bestätigt das Lesen es. Wenn dein Modell falsch ist, bestätigt das Lesen es trotzdem, weil du liest, was zu deinem Modell passt, und über den Rest hinweggleitest. Ein falsches mentales Modell überlebt das Lesen problemlos.

Dazu kommt das Problem mit der richtigen Datei. Bei zehn Dateien, die alle ähnlich aussehen, kannst du nie sicher sein, dass du die liest, die im Ernstfall tatsächlich läuft.

Ausführen prüft die Realität

Eine Abfrage gegen die echte Datenbank lügt nicht: Sie sagt dir, was wirklich drinsteht. Eine kleine Prüfung, die tatsächlich läuft, zeigt dir das System, wie es ist, nicht wie du es dir vorstellst.

Eine ausgeführte Abfrage schlägt zehn gelesene Dateien. Nicht, weil Lesen wertlos wäre, sondern weil Ausführen die eine Frage beantwortet, die Lesen offen lässt: stimmt mein Bild mit der Wirklichkeit überein? Das laufende System weiß, welche Datei wirklich zählt.

Heute muss das nicht mehr deine Handarbeit sein. Ein Agent wie Claude Code startet die App, fragt die Datenbank ab, lässt Tests laufen und bedient den Browser selbst. Du gibst den Auftrag: “Führ es aus und zeig mir die Ausgabe.” Deine Arbeit ist danach eine andere: die Beweise bewerten.

Die Dreißig-Sekunden-Prüfung

KI-Modelle können Dinge mit voller Überzeugung behaupten, die nicht stimmen. OpenAI hat in einer eigenen Untersuchung (Stand 2025) beschrieben, warum Sprachmodelle selbstbewusst Falsches erzeugen. Das folgt aus der Funktionsweise und lässt sich nicht einfach wegtrainieren. Eine selbstbewusste Behauptung ist also kein Beweis. Sie ist eine Behauptung mit gutem Tonfall.

Deshalb gilt bei allem, was dein laufendes System betrifft: Lass es ausführen, statt es dir erzählen zu lassen. Das dauert meistens dreißig Sekunden.

“Die User-Tabelle hat ein Feld für den Verifizierungsstatus.” Der Agent soll die Datenbank fragen, welche Felder die Tabelle wirklich hat. “Nach dem Login bleibt der Nutzer angemeldet.” Er soll sich einloggen und nachsehen. “Dieser Schritt läuft beim Speichern.” Er soll an der Stelle etwas Sichtbares ausgeben, einmal speichern und zeigen, ob es erscheint.

Jede dieser Prüfungen ersetzt eine Annahme durch eine Beobachtung. Welche Fragen du stellst, damit dir die Stelle gezeigt statt nur behauptet wird, steht in lass dir’s zeigen, nicht sagen.

Was als Beweis zählt

Ab hier bewertest du. Ein paar Fragen, die ich mir stelle:

• Lief der Test gegen die echte Datenbank oder gegen einen Mock, der immer die erwartete Antwort gibt?
• Zeigt der Beleg die Zeile in der Datenbank oder nur einen Screenshot der Oberfläche?
• Prüft der grüne Testlauf wirklich etwas? Ein Test ohne echte Prüfung läuft durch und beweist nichts.
• Lief die Prüfung mit den Rechten, die zählen, zum Beispiel als normaler Nutzer statt als Admin?

Welche Beobachtung als Beweis gilt, legst du fest. Der Agent liefert, du beurteilst.

Vom Test zum Schutz

Wenn eine Behauptung einmal gegen die Realität geprüft ist, wirf die Prüfung nicht weg. Lass den Agenten einen Test daraus machen, der von allein anschlägt, wenn sich das Verhalten später ändert. Aus der einmaligen Dreißig-Sekunden-Prüfung wird ein Wächter, der dauerhaft auf der Stelle sitzt, die dir wichtig ist. Worauf es beim genauen Hinsehen ankommt, steht in was die KI in deinem Code wirklich gebaut hat.

Das schützt auch vor dem grünen Häkchen, das wie ein Beweis aussieht, aber keiner ist. “Ich habe es getestet, es funktioniert” ist ein Satz. Die Ausgabe des Tests ist der Beleg.

Prüfungen gehören in die Einrichtung

Auch wenn der Agent ausführt: Er tut es, wenn der Auftrag es verlangt. Dass es bei jeder Änderung passiert, ist eine Frage der Einrichtung. Eine Regel in der CLAUDE.md (“Vor jedem Abschluss die Tests laufen lassen und die Ausgabe zeigen”) und Hooks, die Prüfungen bei jeder Änderung anstoßen, fragen nicht, ob gerade jemand Zeit hat. Sie laufen am Freitagabend genauso wie am Montagmorgen.

Ein Fehlschlag meldet sich dann selbst. Du erfährst von der kaputten Annahme in dem Moment, in dem sie kaputtgeht, nicht eine halbe Stunde später an der falschen Stelle.

Genau das steht im Harness-Setup-Guide: welche Prüfungen sich verdrahten lassen, wo im Ablauf sie einhaken und wie du dem Agenten das Ausführen zur Pflicht machst.

Eine Annahme stirbt nicht beim Lesen. Sie stirbt beim Ausführen.