Rund 5 Milliarden Euro stellen Bund und Länder über die nächsten fünf Jahre im Rahmen des „DigitalPakts 2.0“ bereit. Ein Teil des Geldes soll in generative KI fließen. Mehrere Bildungs-Start-ups stehen in den Startlöchern. Ihr Versprechen: Lehrkräfte können sich auf ihre pädagogischen Kernaufgaben konzentrieren.
Dabei geben manche Tools Schüler:innen automatisiert Rückmeldungen zu ihren Hausaufgaben, so wie FelloFish. Das Programm Edaira hingegen schlägt Lehrkräften vor, wie sie Schüler:innen-Leistungen bewerten und welche Noten sie einzelnen Klassenarbeiten geben.
Sean Quägwer und Rainer Mühlhoff haben diese zwei Tools wissenschaftlich untersucht und geprüft, ob sie sich für den Einsatz in der Schule eignen. In ihren Tests fallen beide durch und sie bestätigen die Ergebnisse einer früheren Studie zum Korrektur-Tool von fobizz von 2024: Digitale Korrekturhilfen für die Schule, die auf generativer KI basieren, simulieren nur, Probleme mit Arbeitslast zu lösen.
Warum das so ist, erklärt Quägwer im Gespräch mit netzpolitik.org. Er studiert Kognitionswissenschaft, ist ausgebildeter Philosoph und wissenschaftlicher Mitarbeiter in der Forschungsgruppe „Ethik und kritische Theorien der KI“. Diese leitet Mühlhoff am Institut für Kognitionswissenschaft der Universität Osnabrück.
Wenn die KI Hausaufgaben prüft
netzpolitik.org: Nach dem Korrektur-Tool von fobizz habt ihr euch nun FelloFish und Edaira angeschaut. Wie funktionieren diese Programme?
Sean Quägwer: Bei beiden Tools werden Texte von Schüler:innen durch ein KI-Sprachmodell geleitet. Dahinter steht dann ein Prompt, in dem ein Chatbot-Agent mittels sprachlicher Anweisungen für die Rolle, Arbeiten zu feedbacken, konfiguriert wird. Wie das Prompt bei den beiden untersuchten Tools genau aussieht, wissen wir derzeit nicht.
FelloFish soll, so suggeriert es das Marketing, Passagen der Aufgabenbearbeitung durch Schüler:innen im Unterricht abkürzen und den Schüler:innen Feedback zu ihren Texten geben. Üblicherweise stellt die Lehrkraft Schüler:innen eine Aufgabe, um deren Texte im Anschluss einzusammeln, zu lesen und ihnen dazu eine Rückmeldung zu geben. Was können sie besser machen, was haben sie gut gelöst?
Diese Schleife soll mit FelloFish (teil-)automatisiert werden. Schüler:innen bearbeiten über ihren digitalen Zugang die Aufgabe direkt im Interface, drücken auf einen Button und lassen sich für ihren Text automatisch ein Feedback generieren. Dann können sie ihren Text überarbeiten und erneut abgeben.
Mit FelloFish sollen Schüler:innen so verfolgen können, ob sich ihre Texte durch ihre Überarbeitungen verbessert haben. Das Programm ist darauf ausgelegt, mehrere Abgaben hintereinander entgegen zu nehmen. Das Ziel dabei ist auch, mit den Verbesserungen eine bessere Bewertung zu bekommen.
Edaira funktioniert hingegen etwas anders. Es richtet sich nicht unmittelbar an Schüler:innen, sondern an Lehrkräfte. Das Programm schlägt ihnen vor, wie sie Schüler:innen-Texte bewerten können. Dafür laden sie die Texte selbst hoch.
Inkonsistente Sprachmodelle
netzpolitik.org: Warum haltet ihr die Tools für keine guten Lösungen?
Sean Quägwer: Um es klar zu sagen: Wir wollen Lehrkräften nicht absprechen, dass sie überarbeitet sind und auch nicht, dass sie legitime Hilfsmittel brauchen, um die Arbeitslast zu bewältigen. Aber wir sehen diese Faktoren als ein strukturelles Problem. Ein KI-Chatbot löst das Problem nicht. Im Gegenteil, wir halten diesen Lösungsweg aufgrund diverser Mängel für sehr problematisch.
Zum Beispiel: Bei mehrfacher Eingabe derselben Klassenarbeit oder Hausaufgabe in eines dieser Tools kamen bei unseren Testreihen sehr häufig unterschiedliche Ergebnisse heraus. Das Problem: Wenn die Ergebnisse Bewertungen oder Noten enthalten, variieren diese ebenfalls. Bei zahlreichen Abgaben schwankte diese Bewertung sogar um mehr als eine Schulnote – einfach nur wenn wir die Abgabe unverändert und mit den gleichen Kriterien erneut bewerten lassen haben.
Es ist bekannt, dass große Sprachmodelle, also Large Language Models (LLMs), nach dem Wahrscheinlichkeitsprinzip funktionieren, also nicht deterministisch. Dementsprechend können sie auf dieselbe Eingabe unterschiedliche Outputs liefern. Bei einem Korrektur-Tool, das auf LLMs basiert, ist das nicht anders.
Man kann durch Prompt-Engineering zwar in einem limitierten Rahmen dazu beitragen, dass diese Schwankung möglichst gering ist. Vollständig kann man Schwankungen allerdings in solchen Systemen nicht ausschließen und auch in unseren Tests hat sich diese Einschränkung markant gezeigt.
Tools, die Schüler:innen Feedback geben sollen, sollten jedoch konsistent sein. Wenn zwei Schüler:innen beispielsweise gemeinsam eine Hausaufgabe bearbeitet und denselben Text abgegeben haben, sollten sie dasselbe Feedback und dieselbe Note erhalten. Bei den Tools, die wir uns angeschaut haben, erfüllt das Feedback diesen Anspruch nach Konsistenz jedoch nicht.
„Davon hängen Lebensverläufe ab“
netzpolitik.org: Was sagst du zu dem Argument, dass auch Lehrkräfte inkonsistentes Feedback geben und sehr unterschiedlich benoten?
Sean Quägwer: Das ist ein Strohmann-Argument und verfehlt den zentralen Punkt: Selbst wenn Lehrkräfte inkonsistent bewerten, ist das ja gerade auch etwas, das wir kritisieren sollten. Wenn wir auf eine Technik umsteigen wollen, sollte sie gegenüber der vorherigen Methode eindeutige qualitative Verbesserungen bewirken, und es steht in Frage, ob die LLM-Tools das tun.
Und noch schlimmer: Die Automatisierung ist mit der allgemeinen Erwartung von mehr Objektivität verbunden. Dass diese Erwartung nicht erfüllt wird, merkt man nur, wenn man mit dem Tool mehrfach die gleiche Aufgabe bewertet. Genau dazu haben gestresste Lehrkräfte jedoch keine Zeit.
netzpolitik.org: Wie habt ihr die Schwankungen gemessen?
Sean Quägwer: Wir haben Texte jeweils zehnmal bei unveränderten Bewertungskriterien in das Tool eingegeben und dabei zahlreiche verschiedene Bewertungen erhalten. Das gilt für beide Tools. Schwankungen haben wir nicht nur in der Gesamtwertung festgestellt, sondern auch in den einzelnen Bewertungskriterien. Das ist der Kern unserer Studie: Wir zeigen, dass ein Defizit an reproduzierbaren Ausgaben, das LLMs aufgrund ihrer Funktionsweise haben, auch im Kontext der getesteten Korrektur-Tools für die Schule besteht.
Diese Inkonsistenz ist bei einem Feedback- und Bewertungstool besonders relevant, weil von der schulischen Bewertung im Zweifelsfall möglicherweise Lebensverläufe und akademische Laufbahnen abhängen. Hier ist ein solches Tool mit den aufgezeigten Schwächen nicht tragbar.
Vermeidbare Fehler
netzpolitik.org: Was hat euch während eurer Untersuchung überrascht?
Sean Quägwer: Zumindest die Schwankung in den Bewertungen hat uns überhaupt nicht überrascht, von der Variabilität der Outputs weiß man seit dem ersten LLM.
Überrascht hat uns das Ergebnis zum Adversarial Testing. Das ist eine Methode, die in der KI-Entwicklung bei LLMs Standard ist. Aus unseren ideologiekritisch-soziologischen Analysen der Start-up-Kultur – die sind nicht Teil der FelloFish-Edaira-Studie – wissen wir, dass Start-ups oft nicht auf standardmäßige Prozesse aus der Forschung und Entwicklung zurückgreifen, zum Beispiel Qualitätssicherung und strukturierte Tests. Also haben wir getestet, ob wir mit unserer Vermutung richtig liegen.
Die Standardfrage hinter dem Adversarial Testing lautet quasi: Kann ich den Bot dazu überreden, etwas zu tun, was er nicht machen soll? Wir haben zum Beispiel untersucht, wie die beiden Tools auf einen Metatext reagieren. Der besteht aus Sätzen wie: „Hier steht ein Satz, der die Einleitung eröffnet, indem er spannend an einer aktuellen Debatte orientiert die Aufmerksamkeit der Leser auf die Relevanz des Themas lenkt.“
Eigentlich sollten solche Texte abgefangen werden, damit der Bot einen solchen Text nicht annimmt und gut bewertet. Bei Edaira hat dieser Text allerdings die Bestnote bekommen, besser als unsere Test-Texte. Dazu gehörten KI-generierte Texte und Texte unterschiedlicher Qualität, die wir von Studierenden schreiben ließen und die Schüler:innen-Texte nachahmen sollen. Den Metatext hat Edaira noch besser bewertet als den besten Schüler:innen-Text.
Im Rahmen unserer explorativen letzten Testreihe haben wir auch getestet, wie die Tools reagieren, wenn man den Text in Chinesisch oder in Binärcode abgibt. FelloFish hat den Text dann ganz normal bewertet, obwohl die Aufgabenstellung war, eine Textaufgabe in Deutsch zu lösen. Es gab lediglich leichte Abzüge in der Note, weil die Sprache falsch war. Eine Lehrkraft würde die Aufgabe klar als nicht bestanden bewerten.
Inhalt spielt keine Rolle
netzpolitik.org: Auf welche Probleme würden Schüler:innen beim Feedback-Mechanismus stoßen?
Sean Quägwer: Beide Tools generieren Feedback: als Note, als grüner oder roter Balken oder auch als Fließtext. An Feedback hat man üblicherweise den Anspruch, dass Schüler:innen daraus lernen und damit ihre Texte verbessern können; vor allem bei produktivem Feedback, das konkrete Verbesserungsvorschläge enthält.
FelloFish ist so ausgelegt, dass Schüler:innen mithilfe eines Feedbacks ihre Leistung verbessern können sollen. Zu diesem Zweck kann das Feedback dann eine Anmerkung enthalten: Führe einen Punkt in deinem Aufsatz aus und stelle den Kontext her. Wenn Schüler:innen das umsetzen, dürfen sie zurecht erwarten, dass ihr Text besser bewertet wird.
Doch wenn man Feedback zum Entwurf eingebaut hat, wird der Text, den man schließlich abgibt, nach unseren Tests immer besser bewertet. Wir haben geprüft, ob das System darauf konfiguriert ist, die Abgabe immer besser zu bewerten als den Entwurf. Unser Ergebnis: Das scheint der Fall zu sein, auch wenn sich der Text gar nicht substanziell verändert hat.
Auch interessant: Wir haben bei FelloFish mehrere Durchläufe aus Entwurf, Einarbeiten der Verbesserungsvorschläge aus dem Feedback, und Abgabe des Textes gemacht. Man könnte erwarten, dass die Note linear ansteigt, je mehr man den Text anhand der Vorschläge des Tools verbessert. Das passierte aber nicht, stattdessen ergab sich in vielen unserer Tests ein Zickzack-Verlauf. Mit jedem zweiten Einbau des nächsten Feedbacks verschlechterte sich die Note wieder. Oft wurden Formulierungen vorgeschlagen, die zuvor verworfen wurden – die Verbesserungsvorschläge schankten zwischen verschiedenen Varianten. Das System glaubt also im nächsten Schritt nicht mehr, dass die Verbesserung wirklich eine Verbesserung war. Ähnlich ist das bei Edaira.
KI bevorzugt KI-Output
netzpolitik.org: Bewerten die beiden Tools, ähnlich wie das Tool von fobizz, KI-generierte Inhalte besser?
Sean Quägwer: Der KI-generierte Text, den unser Datensatz enthält, hatte bei beiden Systemen abseits vom Metatext bei edaira die höchste Durchschnittsbewertung und die Bewertung war im Gegensatz zu anderen Texten bei identischer Wiederholung sehr stabil.
Darüber hinaus müssen Schüler:innen sich teils nicht einmal selber bemühen, Textpassagen für ihre Abgaben mit KI-Tools zu generieren: Bei FelloFish konnte man einfach die in den Verbesserungsvorschlägen enthaltenen Formulierungsvorschläge in den eigenen Text copy-pasten. Das Programm machte sogar Vorschläge für inhaltliche Ergänzungen mit Beispielsatz. Pädagogisch sinnvoll wäre vermutlich, Schüler:innen übernehmen den Beispielsatz nicht eins zu eins, sondern formulieren den inhaltlichen Punkt in ihren eigenen Worten. Wir haben explorativ getestet, wie das Programm hier bewertet.
Wenig überraschend: Das Copy-Pasten brachte in der Regel eine bessere Note als die Verbesserung nach inhaltlichem Ermessen anhand des Feedbacks, aber mit anderen Wörtern. Das legt den Verdacht nahe, dass bei der Bewertung die syntaktische Nähe zur vorgeschlagenen Verbesserung bevorzugt wird, während der semantische Gehalt eventuell eine geringere Rolle spielt. Das bestätigt auch allgemeine Forschung der letzten Jahre zum sogenannten Selbsterkennungs-Bias von LLMs. Es gab nur einen Fall in unserer Testreihe, wo Copy-Paste und eine inhaltlich äquivalente, alternativ formulierte Verbesserung gleich gut bewertet wurden.
Für die Schule ungeeignet
netzpolitik.org: Hört sich an, als wären die Tools für den Einsatz an Schulen ungeeignet.
Sean Quägwer: Wir halten sie für nicht geeignet. Bevor man Millionen für Lizenzverträge ausgibt – und genau das geschieht ja gerade in zahlreichen Bundesländern – könnte man Lehrkräfte entlasten, indem man beispielsweise zusätzliche qualifizierte Personen einstellt, die bei den Korrekturen helfen und echtes, nachvollziehbares Feedback geben können.
Wenn man die Tools so einsetzen will, dass sie tatsächlich weniger bedenklich sind, würde das hingegen auf das Folgende hinauslaufen: Man verfasst für jede Arbeit selbst ein Feedback, lässt die Schüler:innen-Abgabe vom Tool fünfmal bewerten und bildet aus allem einen Mittelwert. Nur so könnten Lehrkräfte die Unzuverlässigkeit des Systems zu einem gewissen Grad ausgleichen und eine konsistente, plausible Bewertung gewährleisten. Das wäre jedoch keine Arbeitsersparnis, sondern ein Mehraufwand.
Kritik des Gründers trägt nicht
netzpolitik.org: Anfang August hat fobizz die KI-Tools für Korrektur und Feedback abgeschaltet und es damit begründet, dass LLMs „bei der Bewertung von Texten keine ausreichend zuverlässigen Ergebnisse“ liefern würden. Das Unternehmen greift damit eure Hauptkritik auf. Der Gründer von FelloFish, Hendrik Haverkamp, reagiert ganz anders auf eure Arbeit. Er kritisierte eure Untersuchung kürzlich in einem Podcast, worauf ihr bereits schriftlich reagiert habt. Gegenüber dem Tagesspiegel (€) hat er den Vorwurf geäußert, ihr hättet eine KI-kritische Grundhaltung und damit von vornherein die Chance auf positive Ergebnisse ausgeschlossen. Was würdest du darauf erwidern?
Sean Quägwer: Wir sind KI-kritisch vorgegangen, wobei „Kritik“ dem griechischen Ursprung des Wortes nach bedeutet: Man guckt sich eine Sache genau an und prüft, welche Stärken und Schwächen sie hat, man urteilt. Das schließt nicht aus, dass das Urteil positiv sein kann. In unserem Fall war es das nicht.
Worin in dem Test-Design „lasse jede Abgabe 10 Mal bewerten und schaue, ob immer die gleiche Note herauskommt“ eine unzulässige Voreingenommenheit liegen soll, erschließt sich uns nicht. Stabilität der Bewertung ist eine Grundvoraussetzung für die Gebrauchstauglichkeit solcher Tools. Dass sie in dieser Disziplin bereits durchfallen, hat nichts mit irgendeiner Voreingenommenheit zu tun.
netzpolitik.org: Er hat auch kritisiert, dass ihr keine echten Schüler:innen-Texte benutzt habt.
Sean Quägwer: Die Kritik mag ich, weil sie eigentlich unseren Punkt stärkt. Wir haben den Anspruch unserer Studie von Anfang an klar gemacht: Es handelt sich lediglich um Tests der notwendigen Voraussetzungen für die Gebrauchstauglichkeit.
Unsere Studie ist dabei keine super systematische, finale, vollumfängliche Studie, in der wir mit hunderten Schüler:innen-Texten testen. Derartige ausführliche Tests durchzuführen, wäre bei einem Tool, das bereits bei Pilottests systematisch versagt, eine Ressourcenverschwendung. Von einem Auto, dessen Motor durch Zufall mal schneller und mal langsamer läuft, würde man ja auch nicht verlangen, dass es im richtigen Straßenverkehr getestet werde.
Wir haben stichprobenartig eine Erstuntersuchung durchgeführt. Eine Erweiterung der Stichprobe um Schüler:innentexte könnte die Defizite, die wir aufgezeigt haben, nicht eliminieren. Die Tools bewerten identische Texte unterschiedlich – und auch der Schüler:innen-Text ist keine magische Textsorte, die dafür sorgt, dass LLMs auf einmal anders funktionieren als nach einem variablen stochastischen Prinzip. Wenn sich bereits mit kurzen Texten, die nicht von Schüler:innen stammen, erhebliche Mängel zeigen lassen, werden diese nicht verschwinden, wenn man mit längeren und authentischen Texten testet.
Schreibe eine Ergänzung!