Student entwickelt KI, die KI erkennt: Entlarvende Logik

Tim Tlok aus Seevetal hat einen Detektor gebaut, der KI-generierte Texte von menschengemachten unterscheiden kann. KI-geplagte Lehrkräfte freuen sich.

Hat fünf Monate lang fast jeden Tag am KI-Detektor gearbeitet: Tim Tlok   Foto: Theresa Moosmann

Osnabrück taz | Haben Sie sich schon mal gefragt, ob der Text, den Sie gerade lesen, von einem Menschen oder von einer KI geschrieben wurde? Seit einigen Jahren sind sogenannte Large Language Models (LLM) immer erfolgreicher darin, menschengemachte Texte zu imitieren. Das bekannteste LLM ist ChatGPT.

Das menschliche Auge kann kaum noch unterscheiden, ob ein Text menschlich ist oder nicht. Deshalb wird parallel an sogenannten KI-Detektoren geforscht. Also an künstlicher Intelligenz, die künstliche Intelligenz überführt. Der Student Tim Tlok hat im Rahmen seiner Masterarbeit an der Fachhochschule Wedel einen solchen KI-Detektor gebaut, der mit deutschsprachigen Texten trainiert wurde.

Als Tlok Ende 2022 ein Thema für seine Masterarbeit suchte, fiel ihm auf, dass KI-Detektoren nur im englischsprachigen Raum erforscht sind. „Das ist ein Problem, denn LLM können in nahezu jeder Sprache Texte generieren, aber Detektoren nur englische KI-Texte zuverlässig entlarven“, sagt Tlok.

Dass niemand zuvor einen Detektor für deutschsprachige KI-Texte gebaut hat, versteht Tlok selbst nicht. Wahrscheinlich liege es daran, dass man die Daten, mit denen man den Detektor trainiert, selbst zusammenstellen und erzeugen muss, glaubt der 25-Jährige. Er trainierte seinen Detektor mit jeweils 70.000 KI-generierten und menschlich gemachten Texten.

Zuverlässigkeit von 98 Prozent

Für die menschlich gemachten Texte nutzte er öffentlich zugängliche wissenschaftliche Datenbanken von Hochschulen, Reddit-Einträge, Tweets und frei zugängliche Zeitungsartikel. Er achtete darauf, dass die Texte verschiedene Längen hatten und aus verschiedenen Genres stammten, also zum Teil spontan, zum Teil intensiv redigiert veröffentlicht wurden, um eine möglichst breite Datenbasis zu haben.

Für die KI-generierten Texte schrieb er acht Anweisungsvorlagen für ChatGPT, zum Beispiel: „Schreibe mir einen Zeitungsartikel zum Thema X“ oder: „Schreibe mir einen besonders menschlich wirkenden Tweet“. Diese Vorlagen führte sein Computer aus, dafür lief er Tag um Nacht. „Meiner Stromrechnung geht es zum Glück trotzdem gut“, sagt Tlok und lacht.

Ab und zu ging er zum Sport oder traf Freunde, aber fünf Monate lang gab es für ihn nur die Arbeit am Detektor. Sieben Tage die Woche saß er am PC in seiner Wohnung in Seevetal in Niedersachsen. „Ich bin schon sehr ehrgeizig“, sagt er und schmunzelt. Auch seine Mutter sei sehr stolz gewesen, als es im September plötzlich auf das Masterzeugnis auch noch einen Innovationspreis obendrauf gab.

Der Detektor hat nach Angaben der Hochschule eine Zuverlässigkeit von 98 Prozent, das stimmt Tlok zuversichtlich. „In meinen Augen wird es immer möglich sein, KI-generierte Texte zu erkennen“, sagt er. Die Funktionsweise ist sehr durchschaubar. Vereinfacht gesagt ist die Logik von LLM, dass immer das wahrscheinlichste Wort an das vorangegangene angereiht wird. Selbst bei vermeintlich berechenbaren Texten wie Nachrichtenmeldungen hat sein Detektor gute Erfolgsquoten. „Wir Menschen sprechen mit unwahrscheinlicheren Worten, als uns bewusst ist“, sagt er.

Mit seinem Detektor macht Tlok sich jetzt selbstständig, denn das Interesse ist groß. „Ich treffe da einen Nerv der Zeit“, sagt er. Hochschulen wollen prüfen, ob Studierende ihre Hausarbeiten selbst schreiben. Pla­gi­ats­prü­fe­r*in­nen wollen ihren Service um KI-Prüfung erweitern. Und Berufsschullehrer rufen Tlok an, weil sie überprüfen wollen, ob Schü­le­r*in­nen ihre Hausaufgaben wirklich selbst gemacht haben.

Comments

[perebor]

Funktioniert ungefähr zwei Wochen. Dann trainiert irgendjemand eine KI mit seinem Detektor und, schwupps, "weiß" die KI, wie sie seinen Detektor überlisten kann.

Konzeptionell sinnloses Unterfangen mit dem man lediglich zeitlich begrenzt die Unbedarftesten ohne Zugang zu neuer Technologie erwischen wird.

Wird dem Ersteller als Fachmann ja auch bewusst sein.

[Lars Hofmann]

Oben im Text schreibt er seine Masterarbeit. Unten erhält er ein Bachelor-Zeugnis. Was denn nun?

[Matt Gekachelt]

Die KI wird menschliche Texte ersetzen, denn wir gehen gern den bequemsten Weg. Darum brauchen wir solche Detektoren nicht, denn alle Texte werden künstlich sein. Einige vielleicht künstlerisch. Die wären dann aber von Menschen.



Schöpferisch wird keine KI sein können. Etwas neues erfinden, was es noch nie gab, ebenfalls nicht.

[TheBox]

Bei allem Respekt für seinen Enthusiasmus - das ist altbekannte Technologie, nur übertragen auf deutsche Sprache, und mir sind mindestens 6 (!) kommerzielle Anbieter äquivalenter Services für deutschsprachige Texte bekannt, die am Start waren, bevor er seine Arbeit abschloss. Ist sicher immer noch eine respektable Masterarbeit, aber wirklich nichts, was einen prominent platzierten Zeitungsartikel rechtfertigen würde, der impliziert, dies wäre ein bedeutender Durchbruch.