Kontakt aufnehmen →
Wissen

KI-Texte erkennen: warum ein Score kein Beweis ist

Content Pipelines Marc Ostermann · 24. August 2026 · 13 Min

Ich hatte einen Kundentext in Pangram geprüft, gut 750 Wörter, und kurz zuvor einen Absatz von Hand ergänzt. Das Werkzeug las den ganzen Text als menschlich geschrieben. Nur einen Abschnitt hielt es für das Werk einer Maschine: genau den, den ich selbst getippt hatte. Ein Einzelfall, sicher. Aber kein Ausreißer. Er reiht sich in eine Serie ein, die den deutschsprachigen Medienbetrieb in diesem Sommer umtreibt, von einem gelöschten FAZ-Gastbeitrag bis zu einem Streit um die NZZ.

Detektoren wie Pangram, GPTZero oder ZeroGPT versprechen, KI-Texte zu erkennen: eine Prozentzahl, darunter der Anschein von Gewissheit. Nur hält beides einer Prüfung selten stand. Ich habe den Test gemacht, mit eigenen Texten aus der Zeit vor dem Start von ChatGPT und mit aktuellen Beiträgen aus unserer Produktion, quer durch drei Werkzeuge. Dieser Beitrag zeigt, was die Detektoren wirklich messen, wo sie richtig liegen und wo sie irren, was mein eigener Test ergeben hat und warum am Ende kein Score die eine Frage sicher beantwortet, für die es ihn gibt: Hat diesen Text ein Mensch geschrieben oder eine Maschine?

Was die Studienlage von 2023 bis 2026 wirklich zeigt

Die Studienlage ist gemischt, und genau das ist der erste Befund. Schon im Frühjahr 2023 prüfte ein internationales Team um die Berliner Informatikerin Debora Weber-Wulff 14 damals verfügbare Detektoren an englischsprachigen akademischen Texten und fällte ein hartes Urteil: weder treffsicher noch zuverlässig. Im selben Jahr zeigte eine Stanford-Gruppe um Weixin Liang, wen die Fehlurteile trafen. Sie schickte 91 Aufsätze von Nicht-Muttersprachlern durch sieben Detektoren, im Schnitt stuften diese 61 Prozent der rein menschlichen Texte fälschlich als Maschinentext ein. In einem zweiten Experiment ließ das Team die Wortwahl von 88 Aufsätzen amerikanischer Achtklässler durch ChatGPT vereinfachen: Die Fehlalarmquote sprang von gut 5 auf knapp 57 Prozent. Was diese Detektoren maßen, war sprachliche Schlichtheit. Die schreiben Menschen genauso wie Maschinen.

Die Befunde reichen bis heute.

2025 nahm sich ein Team der University of Maryland um Shoumik Saha einen Alltagsfall vor: menschliche Texte, die mit KI nur leicht überarbeitet wurden. Je nach Detektor landeten 10 bis 75 Prozent der minimal mit GPT-4o polierten Menschentexte im KI-Verdacht, und die Autoren warnen ausdrücklich vor falschen Plagiatsvorwürfen. 2026 prüfte eine Studie der Sultan-Qaboos-Universität 192 Texte durch Turnitin, die weltweit verbreitetste Plattform für akademische Textprüfung, und Originality, einen kommerziellen Detektor für Web-Publisher. Die Gesamtgenauigkeit über die drei Klassen Mensch, Maschine und Mischtext lag bei 61 und 69 Prozent. Bei den Mischtexten, für die Studie hälftig aus menschlichen und maschinellen Passagen montiert, erkannte Turnitin noch 31 Prozent, Originality ganze 2.

Im Labor sind die Detektoren stark, im Marketing-Einsatz nicht so …

Zur Ehrlichkeit gehört die Gegenseite, und die ist stärker, als die Schlagzeilen vermuten lassen. Ein Forscherduo der University of Chicago Booth School verglich 2025 in einem Working Paper knapp 2.000 menschliche Passagen mit ebenso vielen maschinellen Gegenstücken aus vier Sprachmodellen, quer durch sechs Gattungen. Unter diesen Laborbedingungen trennte Pangram nahezu fehlerfrei: Die Trennschärfe, gemessen als AUROC und damit ein Rangmaß, keine Trefferquote, fiel nie unter 0,998, GPTZero blieb über 0,96. Pangram hielt sein Niveau weitgehend auch bei sehr kurzen Passagen und gegen das getestete Umgehungswerkzeug StealthGPT.

Eine Brüsseler Studie von 2026 sah Pangram sogar bei künstlich gemischten und nachträglich humanisierten Texten über 92 Prozent richtig liegen. Der Vorbehalt bleibt trotzdem: Getestet wurde jeweils mit bekannter Wahrheit im Labor, echte redaktionelle Mischarbeit hat keine dieser Studien gemessen. Und die Booth-Forscher warnen selbst vor einem Wettrüsten mit den Humanizer-Werkzeugen, die Maschinentext gezielt umschreiben, bis er durch die Detektoren rutscht. Worin sich die Forschung tatsächlich einig ist, ist bemerkenswert schmal: Ein Score allein trägt keine folgenreiche Entscheidung.

Im Labor sind diese Detektoren stark. Nur entstehen Alltagstexte nicht unter Laborbedingungen: Sie sind redigiert, manchmal von mehreren Person und oft auch kurz. Genau auf diesem Terrain beginnen die Werte zu streuen.

Wenn ein Alarm eine Prüfung auslöst: der Fall Voigt

Damit die These nicht ins Detektor-Bashing kippt, ein Fall, in dem der Alarm etwas Reales anstieß. Im Juni 2026 prüfte eine Recherche von FragDenStaat einen FAZ-Gastbeitrag des thüringischen Ministerpräsidenten Mario Voigt mit KI-Detektoren. Pangram meldete 100 Prozent KI-Anteil. Der Text, erschienen im August 2025, enthielt Zitate von Jonathan Haidt, Gerald Hüther und Manfred Spitzer, die sich in deren Büchern und Beiträgen nicht verifizieren ließen. Spitzer schrieb den Rechercheuren, er glaube nicht, den ihm zugeschriebenen Satz so wörtlich formuliert zu haben. Die FAZ nahm den Beitrag aus dem Netz und sperrte ihn im Archiv. Ob und in welchem Umfang eine KI an dem Text beteiligt war, blieb offen. Axel-Springer-Vorstandschef Mathias Döpfner antwortete Mitte Juni mit einem Kommentar in der „Welt“, der laut Transparenzhinweis vollständig von Gemini erzeugt und unverändert übernommen wurde, Erzeugungsdauer etwa eine Sekunde. Die Überschrift nannte die FAZ „Maschinen-Stürmer“.

Die Pointe liegt neben dem Score. Bewiesen hat der Detektor hier nichts. Ausgelöst hat er etwas: eine Zitatprüfung, die vorher niemand gemacht hatte. Ein Alarm, der eine Nachfrage auslöst, ist nützlich. Ein Alarm, der die Nachfrage ersetzt, ist gefährlich.

Wenn die Prüfkette fehlt: der Fall NZZ

Der Gegenfall lief zeitgleich und ist bis heute ungeklärt. Das Magazin „Cicero“ ließ 52 Texte des NZZ-Deutschland-Chefredakteurs Florian Eder auf KI-Anteile prüfen und erhob den Vorwurf, ein Großteil sei maschinell verfasst. Die NZZ weist das zurück: Die Behauptung, Eder lasse seine Kommentare von KI verfassen, treffe nicht zu, erklärte die Medienstelle des Hauses. Mit einem Score allein lässt sich der Verdacht weder belegen noch entkräften, und genau dort steht der Fall bis heute.

Ein Detail aus dem Fall ist für meinen eigenen Test lehrreich. Als Kontrolle prüfte man fünf Eder-Texte aus dem Jahr 2013, aus einer Zeit lange vor ChatGPT. Pangram zeigte dort null Prozent. Genau diese Logik habe ich für meinen Selbsttest übernommen: Wer wissen will, ob ein Detektor Fehlalarme schlägt, füttert ihn mit Texten, die unmöglich von einer KI stammen können.

Mein eigener Test: drei Detektoren, ein Widerspruch

Erst der Kontext, welchem Werkzeug man da überhaupt begegnet. Das deutsche Suchinteresse an Pangram schoss im Juni 2026 auf ein Vielfaches seines vorherigen Niveaus, laut Google-Ads-Schätzung auf rund 27.000 Anfragen, wobei solche Werte gerundet sind und ähnliche Suchbegriffe bündeln. Es war derselbe Monat, in dem die Fälle Voigt und Eder liefen. Bekannter im Alltag sind ZeroGPT und GPTZero, an Hochschulen ist weltweit Turnitin die verbreitetste Plattform.

Angeheizt hat die Debatte eine Pangram-eigene Analyse, nach der über 40 Prozent der langen LinkedIn-Posts vollständig KI-generiert seien. Der Wert stammt aus einer freiwilligen Nutzer-Stichprobe der hauseigenen Browser-Erweiterung, repräsentativ ist er nicht. Als Beleg taugt er wenig. Als Anlass hat er gereicht: Er hat das Klima erzeugt, in dem auch mein Kundentext durch den Scanner lief.

Also habe ich selbst gemessen, mit drei Detektoren und zwei Gruppen von Texten. Gruppe A: sechs Texte, die nachweislich ich geschrieben habe, veröffentlicht zwischen 2016 und Oktober 2022, allesamt vor dem öffentlichen Start von ChatGPT. Von einem Chatbot können sie nicht stammen, jeder KI-Treffer darauf ist ein Fehlalarm. Gruppe B: sechs aktuelle, veröffentlichte Texte von prdesk.de aus unserer eigenen, geprüften Produktion, an denen Mensch und Maschine gemeinsam gearbeitet haben.

Der auffälligste Befund steckt in Gruppe B, und zwar in der Streuung der Werte. Denselben Fachbeitrag mit knapp 1.000 Wörtern bewertete Pangram mit 100 Prozent KI, ZeroGPT mit null. Die Anzeigen liegen 100 Punkte auseinander, und keine von beiden beschreibt, was an diesem Text tatsächlich geschehen ist: Ein Mensch hat geschrieben, eine Maschine hat mitgearbeitet, geprüft und freigegeben hat ihn ein Mensch. Dazu kommt ein Umstand, den kaum jemand mitliest: Die Prozentwerte der Anbieter messen gar nicht dasselbe. Pangram und ZeroGPT schätzen, welcher Anteil des Textes maschinell ist, GPTZero gibt eine Wahrscheinlichkeit für das ganze Dokument aus. Derselbe Beitrag stand dort übrigens bei 38 Prozent. Drei Werkzeuge, drei Skalen, drei Urteile.

Balkendiagramm: Pangram bewertet einen Fachtext mit 100 Prozent KI-Anteil, GPTZero mit 38 Prozent Dokument-Wahrscheinlichkeit, ZeroGPT mit 0 Prozent KI-Anteil.
Derselbe rund 1.000 Wörter lange Fachtext, drei Detektoren, drei unterschiedliche Werte. ZeroGPT zeigt einen echten Messwert von 0 Prozent, keine fehlende Angabe.

In Gruppe B lagen zwischen dem höchsten und dem niedrigsten Detektorwert am selben Text im Schnitt 67 Prozentpunkte, im Extremfall volle 100. Über alle zwölf Texte beider Gruppen betrug der mittlere Abstand knapp 49 Punkte. Ein Messwert, der je nach Werkzeug zwischen „ganz sicher Maschine“ und „ganz sicher Mensch“ schwankt, gleicht einem Würfelwurf mit Nachkommastelle. Als Beweismittel taugt er nicht.

Screenshot: Pangram-Ergebnis 100 Prozent KI für einen Text, ZeroGPT-Ergebnis 0 Prozent für denselben Text.
Derselbe geprüfte Text, zwei Werkzeuge: Pangram (oben) hält ihn für vollständig KI-generiert, ZeroGPT (unten) für vollständig menschlich.

In Gruppe A war das Bild ruhiger, mit einer Ausnahme, die ich offen benenne. Pangram und GPTZero schlugen auf keinem meiner Alttexte Fehlalarm, GPTZero blieb im Maximum bei sieben Prozent. ZeroGPT dagegen flaggte zwei Texte mit 88,8 und 89 Prozent. Beide sind kurze Firmen-Webseitentexte aus dem Oktober 2022, wenige Wochen vor dem ChatGPT-Start, beide von mir geschrieben. Als Mindestlänge hatte ich mir 300 Wörter vorgenommen, weil Detektoren bei kurzen Texten unzuverlässiger werden. Eingehalten habe ich diese Grenze nicht durchgehend, die Hälfte meiner Texte liegt darunter, die beiden geflaggten eingeschlossen.

Das schwächt die Messung, und ich schreibe es lieber hier, als dass es ein Leser für mich findet. Der Befund selbst bleibt: Auf allen Texten oberhalb der Schwelle gab es keinen einzigen Fehlalarm, getroffen hat es ausschließlich kurze Proben. Das passt zu meinem Kundentext vom Anfang: Ein einzelner, von Hand ergänzter Absatz ist kurz, und bei kurzen Passagen steigt bei vielen Systemen die Unsicherheit. Wie stark, hängt vom Werkzeug ab, im Booth-Labor hielt Pangram selbst unter 50 Wörtern die Spur.

Screenshot: ZeroGPT-Ergebnis 88,8 Prozent KI für einen vor dem ChatGPT-Start geschriebenen Menschentext.
Ein Text, den ich im Oktober 2022 für eine Firmenwebseite geschrieben habe, Wochen vor dem ChatGPT-Start. ZeroGPT liest daraus 88,8 Prozent KI.

Die Grenzen des Tests nenne ich klar. Sechs plus sechs Texte sind eine Momentaufnahme, als Schwelle für einen Treffer galt ein KI-Anteil von 50 Prozent. Was der Test dokumentiert, sind Einzelfälle einer starken Werkzeugabhängigkeit: derselbe Text, je nach Anbieter Maschine oder Mensch. Für die Praxisfrage, ob ein einzelner Score eine Entscheidung tragen darf, reicht genau das.

Warum ein Score kein Beweis ist

Der Grund für das Durcheinander steckt in der Technik. Ein Detektor liest kein Wasserzeichen und keine Metadaten, die Herkunft eines Textes kennt er nicht. Er schließt von der Textoberfläche auf die Entstehung, und dafür arbeitet jeder Anbieter anders. Ältere Verfahren maßen statistische Größen wie die Vorhersagbarkeit des nächsten Wortes und die Varianz im Satzrhythmus. Die heutigen Marktführer haben diese Stufe hinter sich: Pangram setzt einen eigens trainierten neuronalen Klassifikator ein, GPTZero hat die klassischen Maße Perplexity und Burstiness nach eigenen Angaben bereits im Herbst 2023 ausgemustert und arbeitet mit Deep Learning. Gemeinsam bleibt allen Werkzeugen eines: Sie erkennen Muster im fertigen Text. Beim Entstehungsprozess waren sie nicht dabei.

Und hier liegt das Missverständnis. Ein Wert von „95 Prozent KI“ beschreibt, wie stark ein Text einem gelernten Maschinen-Muster ähnelt. Über die tatsächliche Herkunft sagt er wenig. Wer klar, glatt und durchredigiert schreibt, erzeugt dieses Muster von selbst, und die Stanford-Daten zeigen, dass es Nicht-Muttersprachler mit schlichter Wortwahl besonders oft trifft. Bei kurzen Texten kommt zu wenig Signal zusammen, dann wächst bei vielen Systemen die Unsicherheit, in welchem Maß, das unterscheidet sich von Werkzeug zu Werkzeug.

Dass dieses Problem nicht neu ist, belegt ausgerechnet OpenAI.

Das Unternehmen, das mit ChatGPT die Debatte überhaupt erst ausgelöst hat, baute selbst ein frei zugängliches Erkennungswerkzeug und stellte es wieder ein. Der „AI Text Classifier“ lief ganze sechs Monate, im Juli 2023 zog OpenAI den Stecker, offizielle Begründung: „low rate of accuracy“. Er erkannte nur 26 Prozent echter KI-Texte korrekt und stufte zugleich 9 Prozent menschlicher Texte fälschlich als Maschinentext ein. Der Hersteller riet selbst davon ab, ihn als alleinige Entscheidungsgrundlage zu nutzen, und zog dann die Konsequenz. Das war 2023, über heutige Systeme sagt es wenig. Bemerkenswert bleibt trotzdem, dass der Anbieter des bekanntesten Sprachmodells den eigenen Detektor für zu unsicher hielt, um ihn weiterzubetreiben.

Was Herkunft wirklich belegt

Wenn ein Score die Herkunft nicht beweisen kann, was dann? Die Antwort ist unbequem, weil sie mehr verlangt als einen Klick: einen dokumentierten Prozess. Jeder Wissensbeitrag hier durchläuft eine Faktenvalidierung gegen die Quellen und ein Freigabe-Gate, bevor er erscheint, jede Zahl prüfen wir am Original, und die redaktionelle Verantwortung trägt eine Person mit Namen. Auch dieser Beitrag ist so entstanden. Das Verfahren dahinter ist offen dokumentiert, die Rohwerte des Selbsttests liegen im internen Messprotokoll.

Was ein belastbarer Prüfprozess dokumentiert, lässt sich in vier Punkten fassen:

  1. Quellen: jede Zahl und jedes Zitat mit Fundstelle, geprüft am Original statt an der Wiedergabe.
  2. Bearbeitungsschritte: wer geschrieben, wer geprüft, wer freigegeben hat.
  3. KI-Beteiligung: an welchen Stellen Maschinen mitgearbeitet haben, und in welcher Rolle.
  4. Verantwortung: eine benannte Person, die für den veröffentlichten Text geradesteht.
Screenshot: Pangram-Ergebnis 78 Prozent KI für eine kurze, von PR DESK verantwortete Seite.
Den Hinweis „confidence limited“ setzt das Tool selbst: Bei so wenig Text traut es dem eigenen Urteil nicht.

Das ist der Unterschied zwischen unangreifbar und unsichtbar. Ein technisches KI-Wasserzeichen entsteht im Moment der Erzeugung und ist damit ein deutlich stärkeres Herkunftssignal als jede nachträgliche Schätzung, auch wenn es sich durch Umschreiben schwächen lässt und nur dort greift, wo das erzeugende System es setzt. Die gesetzliche Offenlegungspflicht knüpft ebenfalls an die Erzeugung an, kennt allerdings Ausnahmen, etwa für redaktionell verantwortete Inhalte, die Details stehen im verlinkten Beitrag. Der Detektor dagegen rät im Nachhinein. Herkunft belegt man am Anfang der Kette. An ihrem Ende lässt sie sich nur noch schätzen.

Meine Empfehlung: Behandeln Sie einen Detektor-Score als Anlass zur Nachfrage, nie als Urteil. Wer Herkunft wirklich belegen will, braucht eine dokumentierte Prüfkette, keine Prozentzahl. Ein Score sagt Ihnen bestenfalls, wo Sie hinschauen sollten. Was Sie dort finden, entscheidet Ihr Prozess.

Fazit: Die Detektoren sind nicht als Beweis geeignet

Mein von Hand geschriebener Absatz gilt einem Detektor bis heute als Maschinenwerk. Das ärgert mich. Aufschlussreicher ist der Schluss daraus: Ein Werkzeug, das einen selbst getippten Absatz für KI hält und denselben geprüften Fachtext je nach Anbieter mit 0 oder 100 Prozent bewertet, taugt nicht als Beweismittel. Ein Score kann ein Anlass sein, genauer hinzusehen. Die Herkunft eines Textes macht eine dokumentierte Kette prüfbar, seine Richtigkeit entscheidet sich Aussage für Aussage am Beleg. Wer einem Text trauen will, prüft beides. Eine Prozentzahl auf dem Bildschirm ersetzt keins davon.

Quellen

Aus Ihrem Fachwissen wird ein Content-System. Lassen Sie uns klären, welches Thema Ihre erste Content Pipeline trägt. Erstgespräch vereinbaren →