Der VK:KIWA:Blog

Der Beitrag schildert explorativ Erfahrungen aus zwei Seminaren, in denen Studierende KI-Tools beim wissenschaftlichen Schreiben nutzten, den Einsatz dokumentierten und Vor- und Nachteile des Schreibens mit KI-Tools evaluierten – angefangen von der Literaturrecherche über das Verarbeiten von Literatur und Schreiben des Textes bis zum Überarbeiten. Aus den Erkenntnissen lassen sich Schlüsse für die künftige Entwicklung von Schreibprozessen wie auch für die (hochschulische) Schreibdidaktik ziehen. Ohne breiter angelegter empirischer Forschung vorgreifen zu wollen, schließt der Beitrag mit kurzen Empfehlungen für alle Lehrenden, die KI im Kontext wissenschaftlichen Schreibens in der Hochschullehre einsetzen wollen.

Der vorliegende Beitrag behandelt die Frage, welche Rolle ChatGPT bei der Aufsatzbewertung spielen kann. Anhand verschiedener Textausgaben von GPT3.5 und 4 wird im Einzelnen überprüft, wie stark der Bezug zwischen maschinell generierter ‚Notenbegründung‘ und zu bewertendem Aufsatz ist. Insbesondere wird getestet, ob der Chatbot Fehler verschiedener Art (sprachlich-stilistische, logische, sachlich-referentielle) identifizieren und kategorial unterscheiden kann. Die Untersuchung dient dazu, Folgendes herauszufinden: Kann ChatGPT unter Umständen eine Notenbegründung „leistungsgleich ersetzen“ (Janich) oder zumindest dabei helfen, eine solche Begründung zu formulieren? Die dahintersteckende größere Frage, die sich auch auf andere Textsorten und Sprachspiele (im Sinne Wittgensteins) übertragen ließe, lautet: Reicht die massenhafte syntaktische Exemplifikation von Wörtern in realen Kotexten, mit der ChatGPT trainiert wird, unter Umständen (irgendwann) aus, um die mangelnde Referentialität auszugleichen?

Vermehrt tauchen an Schulen und Hochschulen schriftliche Prüfungsarbeiten auf, bei denen die Lehrenden den Verdacht haben, dass sie in großen Teilen KI-generiert worden sind. Aber wie kann ein überzeugender argumentativer Nachweis gelingen? Der folgende Beitrag zeigt dazu zwei Wege auf: der Einsatz von sogenannten Detection Tools am Beispiel von GPT Radar und die händische Analyse von KI-typischen Textmerkmalen. Beide Verfahren sind für sich fehleranfällig, aber zusammen ergeben sie doch eine recht plausible und verlässliche Beurteilungsgrundlage. Dabei ist jedoch zu bedenken, dass sich KI-gestützte Textgeneratoren auf der einen Seite und ebenso Detection Tools auf der anderen kontinuierlich weiterentwickeln. Auch können Schüler/-innen und Studierende versuchen, die Herkunft von KI-generiertem Text bewusst zu verschleiern.

Auf der Gründungskonferenz des VK:KIWA im März 2023 hat sich eine Arbeitsgruppe gebildet, die das Potenzial von KI-Schreibwerkzeugen zur Förderung der Argumentationsfähigkeit im wissenschaftlichen Schreiben an Hochschulen untersucht. Der Einsatz dieser Tools soll verantwortungsbewusst und kritisch erfolgen und dient dem Ziel, das Feedback für die Studierenden zu individualisieren und formativ zu gestalten. Zu diesem Zweck möchte die Arbeitsgruppe einen Leitfaden für interessierte Lehrpersonen entwickeln.

Wenn KI-Sprachwerkzeuge Studierende beim Schreiben wissenschaftlicher Texte unterstützen, führt dies in einer dystopischen Perspektive dazu, dass Schreibzentren und Schreibberatung sinnlos werden. Viel wahrscheinlicher ist jedoch ein positiveres Szenario: Schreibzentren sind prädestiniert dafür, an Hochschulen als zentrale Akteurinnen an konkreten Lösungen für einen sinnvollen, verantwortungsbewussten Einsatz von KI-Schreibwerkzeugen in Studium und Lehre mitzuarbeiten, da Schreibzentren aufgrund ihrer Expertise überzeugende Antworten auf Fragen haben, die Hochschulleitende wie Lehrende in Anbetracht der technologischen Transformationen derzeit umtreiben. Insofern sind die aktuellen Entwicklungen eine große Chance für die Sichtbarkeit und strategische Positionierung von Schreibzentren – wodurch am Ende wiederum auch die Bedeutung von Schreibberatung gestärkt wird.

Rechtliche Fragen zum Umgang mit textgenerierender KI wie ChatGPT sind an den Hochschulen immer drängender geworden: Wer ist Urheber:in eines KI-generierten Textes? Besteht eine Kennzeichnungspflicht bei der Nutzung in prüfungsrelevanten Arbeiten? Das Projekt KI:edu.nrw am Zentrum für Wissenschaftsdidaktik der Ruhr-Universität Bochum konnte Fragen wie diese nun erstmals ausführlich durch Prof. Dr. Thomas Hoeren von der Westfälischen Wilhelms-Universität Münster bewerten lassen. Auch, wenn rechtlich nun mehr Klarheit herrscht – die Hochschulen bleiben weiter gefordert, sich mit den didaktischen Folgen KI-gestützten Schreibens auseinanderzusetzen.

Im Kontext von Schule und Hochschule hat der Einsatz textgenerierender KIs Bedenken hinsichtlich der Bewertung von schriftlichen Arbeiten aufgeworfen. Im Diskurs wird deswegen häufig ein Wandel von der Bewertung des Endprodukts zu einer prozessorientierten Bewertung gefordert. Dies stellt jedoch eine Herausforderung für die Benotung dar, insbesondere im Hinblick auf die Vielfalt der Schreibprozesse und das Lern- und Bildungspotential unvollständiger und fehlerhafter Zwischenprodukte. Außerdem muss die Rolle der Lehrkraft bei einem solchen Ansatz klar definiert werden, um sicherzustellen, dass die Lernmöglichkeiten der Studierenden erhalten bleiben.