KI-basierte Tools beim wissenschaftlichen Schreiben

Wir schildern im Folgenden die Erfahrungen aus zwei Seminaren an der Universität Bremen und der Ruhr-Universität Bochum, die aus dem Interesse heraus angeboten wurden, die öffentliche und auch in den Hochschulen rege Diskussion um Folgen und Nutzungsmöglichkeiten großer Sprachmodelle und verwandter KI-Anwendungen praktisch umzusetzen und in der Lehre zu erproben. Beide Seminare fanden im Sommersemester 2023 statt und wurden von Studierenden verschiedener, nicht ausschließlich philologischer Fächer besucht. Die Möglichkeiten und Grenzen der KI-Nutzung im hochschulischen Kontext, speziell in Schreibprozessen, waren sowohl Gegenstand der Seminardiskussion wie auch der praktischen Erprobung. Grundlagen zu Künstlicher Intelligenz und großen Sprachmodellen und die Relevanz für das wissenschaftliche Arbeiten wurden in den Seminaren besprochen, um eine gemeinsame Informationsgrundlage zu schaffen. Viel Zeit verwendeten wir auf das Ausprobieren und Diskutieren einzelner Tools sowie die kritische Reflexion; die Arbeitsphasen waren dabei entlang des Arbeitsprozesses für eine Hausarbeit modelliert. Dadurch bot sich in Auseinandersetzung mit den neuen Möglichkeiten auch die Gelegenheit zur fachmethodischen Reflexion. 

Nach einem kurzen Überblick über die Daten, die wir im Rahmen der Seminare erhoben und für diesen Erfahrungsbericht auswerteten, legen wir dar, welche KI-Tools die Studierenden verwendeten, wann sie sie einsetzten und wie sie den jeweiligen Nutzen wahrnahmen, bezogen auf die verschiedenen Phasen des Schreibprozesses. Ausgehend von den Beobachtungen diskutieren wir abschließend, wie sich der Schreibprozess durch den Einsatz von KI-Tools verändert und welche Folgen damit verbunden sind, und formulieren Vorschläge für Lehrende, wie dieser Entwicklung Rechnung getragen werden kann. 

Die Daten und ihre explorativ-qualitative Auswertung

Im Rahmen des Leistungsnachweises sollten die Studierenden das Erlernte dokumentieren. Die Aufgabenstellung war in beiden Seminaren bewusst gleich gehalten, um für die anschließende Analyse eine größere Datenbasis herzustellen: Auf ca. zwei Seiten (5.000 Zeichen) sollten die Studierenden ein Thema fachwissenschaftlich darstellen, inkl. Zitationen, Fußnoten und Schlussfolgerungen. Diesen fachwissenschaftlichen Text sollten sie mithilfe von KI-Tools ihrer Wahl verfassen. Die Bibliografie musste 5 fachwissenschaftliche Sekundärliteraturtitel angeben. Parallel dazu hatten die Studierenden die Aufgabe, auf ca. 10 Seiten ihren Arbeitsprozess mit Hilfe eines einfachen Formulars zu dokumentieren, auf Strategiewechsel im Schreibprozess einzugehen und dabei Für und Wider der Nutzung von KI-Tools gegenüber klassischen Arbeitsmethoden darzustellen. 

Unseren Beobachtungen liegen demnach kurze wissenschaftliche, von Studierenden verfasste Texte zugrunde, die jeweils von einer ausführlichen Dokumentation des Arbeitsprozesses sowie teilweise von ergänzenden Reflexionstexten begleitet wurden. 

Insgesamt verfügen wir (Bremen und Bochum) über 21 studentische Portfolios (Fachtexte plus Dokumentationen) der Seminare beider Universitäten, die trotz der einheitlichen, schriftlich kommunizierten Aufgabenstellung sehr heterogen ausfielen, was auf die unterschiedlichen fachlich-methodischen Voraussetzungen und Wissensstände der Studierenden zurückzuführen ist. Daher lässt sich auch keinerlei Anspruch auf Repräsentativität erheben, es geht uns an dieser Stelle allein um einen explorativen Einblick. Die Daten haben wir ausgewertet mit Blick auf die Fragen, welche Tools die Studierenden in welchen Phasen ihres Arbeitsprozesses verwendeten und welchen Nutzen sie dabei wahrnahmen.

KI-basierte Tools nutzen beim wissenschaftlichen Schreiben: Welche Tools setzten die Studierenden ein?

Die Studierenden erwiesen sich als sehr experimentierfreudig und verwendeten auch Tools, die im Seminar nicht thematisiert worden waren. Folgende Tools kamen zum Einsatz (in alphabetischer Reihung): 

• BingAI
• ChatDoc
• ChatGPT (kostenfreie Version 3.5)
• ChatPDF
• Connected Papers
• Consensus
• DeepL Translate
• DeepL Write
• DocTranslator
• ElevenLabs
• Elicit
• Humata AI
• JenniAI
• LightPDF
• Litmaps
• Open Knowledge Maps
• Neuroflash
• PerplexityAI
• ResearchRabbit
• Scribbr
• SciSpace

Wann nutzten die Studierenden KI-basierte Tools?

Um die Frage zu beantworten, an welcher Stelle ihres Arbeitsprozesses die Studierenden die Tools verwendeten, haben wir folgende standardisierte Arbeitsphasen erfasst [1]: 

• Themenfindung und inhaltliche Recherche
• Recherche nach Literatur
• Erfassen / Durchlesen der Literatur
• Konzeptuelle Planung des Texts
• Textproduktion 
• Textüberarbeitung

Diese Phasen sind nicht als unbedingt in dieser Reihenfolge ablaufender Prozess zu verstehen, sondern treten auch rekursiv auf, so beginnt z.B. der Schreibprozess meist mit einer inhaltlichen Recherche zur Themenfindung, oft wird aber nach der Sichtung der Fachliteratur noch einmal nach Sachinformationen gesucht. Darüber hinaus fällt auf, dass viele Studierende die Arbeitsphasen nicht klar trennen bzw. definieren können. Dementsprechend fiel es ihnen in den uns vorliegenden Arbeiten auch schwer, Taktikwechsel genau zu verorten. 

In der folgenden grafischen Übersicht sind die Fragen „Welche Tools nutzten die Studierenden?“ und „Wann nutzten sie sie?“ übereinandergelegt

An der grafischen Darstellung wird deutlich, dass nur wenige Tools über verschiedene Arbeitsphasen hinweg und die meisten Tools eher punktuell zum Einsatz kamen. ChatGPT läuft dabei allen anderen Tools den Rang ab – was allerdings aufgrund der großen medialen Präsenz auch nicht überrascht. Bei der Themenfindung und inhaltlichen Recherche, bei der Literaturrecherche und bei der Literaturverarbeitung haben die Studierenden sehr unterschiedliche Tools genutzt. Insbesondere für die Literaturrecherche und -verarbeitung sowie für die Textüberarbeitung gibt es spezialisierte Tools für genau diesen einen Einsatzzweck. Für die Recherche haben die Studierenden mehrheitlich ResearchRabbit genutzt; bei der Verarbeitung von Literatur bzw. der Arbeit mit Literatur war ChatPDF das favorisierte Tool; DeepL write ist wiederum das Tool der Wahl für die Textüberarbeitung. Vor allem ChatGPT, aber daneben auch (in etwas eingeschränkterem Maß) Elicit, Perplexity AI sowie Jenni AI wurden von den Studierenden offensichtlich als Allzweck-Tools wahrgenommen und in vier oder mehr Phasen des Schreibprozesses verwendet.

Welchen Nutzen sahen die Studierenden?

Um den subjektiv wahrgenommenen Nutzen der einzelnen Tools zu ermitteln, haben wir uns erneut an den verschiedenen Arbeitsphasen orientiert.

Themenfindung und inhaltliche Recherche
Zur Themenfindung wurden unserer Beobachtung nach die KI-Anwendungen kaum genutzt. Lediglich eine Person versuchte sich an der Themensuche mit ChatGPT mit dem Prompt „Nenne mir Themenvorschläge für eine Hausarbeit über […]“ und empfand es als hilfreich, dass gleichzeitig verschiedene Gliederungsvorschläge gemacht und damit Richtungen angezeigt werden, in die die Arbeit gehen kann. Sie dokumentierte: „ChatGPT nennt zehn verschiedene Themenvorschläge, wobei es innerhalb der Thematik in verschiedene Schwerpunkte geht, was sehr helfen kann, wenn man noch unsicher ist, welchen Fokus die Arbeit beinhalten soll.“

Inhaltliche Recherche wurde ebenfalls häufig mit ChatGPT betrieben, das Google in dieser Hinsicht schon teilweise abzulösen scheint. Für etwas fortgeschrittenere Studierende wird dabei schnell klar, dass es einerseits einer gewissen Geschicklichkeit beim Formulieren der Prompts bedarf, um ChatGPT zur Informationsgewinnung zu nutzen, und andererseits auch Skepsis gegenüber den Ergebnissen der Suche geboten ist. So nannte mehr als eine Studentin die Überprüfung der ChatGPT-Recherche anhand der ihr vorliegenden wissenschaftlichen Beiträge als eigenen Arbeitsschritt. Auch wurde inhaltliche Oberflächlichkeit beklagt: „Ich habe nichts erfahren, was mir ein kurzer Blick auf den Wikipediaartikel zum Roman nicht schon hätte sagen können.“

Literaturrecherche
Für die Literaturrecherche wurde der Einsatz von KI-Tools mehrheitlich als Vorteil gesehen. Studierende äußerten sich positiv zu KI-Tools wie Connected Papers und Open Knowledge Maps, da man sich mit ihrer Hilfe, ausgehend von einem punktuellen Thema, die Publikationen eines Fachgebietes erschließen kann und da die Tools Wissenszusammenhänge grafisch und damit schnell erfassbar darstellen.

Allerdings lässt sich passende Literatur mitunter schwer oder gar nicht finden, man weiß nicht, ob sie sich eignet, und manchmal noch nicht einmal, ob es sie überhaupt gibt oder das Programm nicht „fantasiert“.

Darüber hinaus wurden bei der Literatursuche wie in anderen Arbeitsphasen oft technische Probleme thematisiert: So sind die KI-Anwendungen gelegentlich noch nicht ausgereift genug oder verfügen über zu wenig Serverkapazität, um Nutzeranfragen zuverlässig zu verarbeiten. In diesen Fällen musste die Literaturrecherche über ein anderes Tool erneut gestartet werden und der Prozess zog sich in die Länge.

Teilweise haben die Studierenden die Performance einzelner Tools wie JenniAI oder Elicit ausführlich getestet und kritisch kommentiert. „Jenni hat viel zu bieten, aber nichts davon ist wirklich überzeugend. Die anfängliche Begeisterung, die bei jeder neu gefundenen Funktion ausgelöst wurde, wird schließlich davon beseitigt, dass die Funktion nicht das abliefert, was sie verspricht.“

Vielfach kritisierten die Studierenden auch, dass die vorgeschlagene Literatur nicht zuverlässig auffindbar war. Anstelle der versprochenen Abhandlung wurden nur Reviews davon verlinkt, obwohl die Anwendung das anders angegeben hatte. Dadurch mussten sämtliche Texte einzeln herausgesucht werden, es gab keine Erleichterung gegenüber dem klassischen Arbeitsweg. Natürlich wurde auch bemängelt, dass die vorgeschlagene Literatur gar nicht online verfügbar war. Gelegentlich verursachte auch die zugrunde liegende Datenbasis Beschränkungen, da sie zumindest in Bezug auf Fachliteratur in deutscher Sprache noch recht dürftig ist. Inwieweit sich die KI-Tools zur Literaturrecherche eignen, hängt nämlich stark vom jeweiligen Fach ab: Speziell die Studierenden geisteswissenschaftlicher Fächer beanstandeten die ungenügende Auffindbarkeit von Fachpublikationen, zumal auf Deutsch.

Literaturverarbeitung
Bei der Arbeit mit der ermittelten Fachliteratur ist eine Stärke von KI-Anwendungen, dass ihre Zusammenfassungen oft gut genug sind, um Literatur schnell im Hinblick auf ihren Gebrauchswert zu beurteilen. Studierende stellten fest, dass „die Nutzung von ChatPDF beim Erfassen der Literatur deutlich effizienter als die klassische Methode“ war, und notierten in ihrer Dokumentation: „Gut war zweifellos, dass ChatPDF schnell Dinge aus dem Text heraussuchen und auf passende Stellen im Text verweisen konnte. Teilweise machte die KI Teile des Textes auch leichter verständlich.“

Aber auch dieses Tool liefert offenbar nicht immer Ergebnisse von guter Qualität, wie eine Studentin anmerkte: „Leider hat die KI aber nicht selten auf Stellen verwiesen, die mit der Frage kaum etwas zu tun hatten, obwohl es Stellen gab, die weitaus besser dazu gepasst hätten. Auch wurden viele Textstellen durch die Antworten ChatPDFs nicht leichter, sondern schwieriger verständlich.“ In der Folge musste der Text dann eben doch selbst gelesen werden, um Zweifel an der Inhaltsangabe oder Antwort des Programms zu bestätigen oder zu widerlegen: „Erst nachdem ich die Textstelle, auf die verwiesen wurde, selber durchgelesen hatte, verstand ich es. Einige Informationen aus diesem Textabschnitt, welche für das Verständnis unabdingbar waren oder es wenigstens stark vereinfachten, wurden in der Antwort von ChatPDF ausgelassen.“

Die hier zitierte Studentin hatte zunächst das PDF-Dokument hochgeladen und daraufhin gezielte Fragestellungen an ChatPDF gerichtet, um anschließend die Antworten des Programms sorgfältig zu studieren. Anschließend vertiefte sie ihre Untersuchungen, indem sie den betreffenden Artikel in seiner Gesamtheit rezipierte und bei Bedarf weitere inhaltliche Anfragen an ChatPDF richtete. Ihr Fazit zu ChatPDF: „Es ist für mich also hilfreich als Vorarbeit, jedoch nicht geeignet zum Ersetzen des gesamten Leseprozesses.“

Daneben haben viele Studierende angemerkt, dass die Arbeit mit ChatPDF (in der kostenfreien Version) nur schwerfällig vonstattengeht: „ChatPDF: PDF hochladen – PDF zu groß – zeitaufwendig – PDF in mehrere Kapitel teilen.“ Vollkommen obsolet wird die Nutzung, wenn ebenso viel Zeit benötigt zum Hochladen benötigt wird wie zur eigenen Lektüre des Textes, wie dieser Student ironisch anmerkte: „ChatPDF ist zwar nützlich. Jedoch ist das downloaden und hochladen (sic!) der Studien auf ChatPDF zeitintensiv und könnte auch manuell betrieben werden, indem in den Studien das Abstract gelesen bzw. der ganze Text analysiert wird.“

Oft wichen die Studierenden auf alternative Tools aus, teilweise auch mit gutem Erfolg. Funktioniert eine Plattform, beschleunigt das den Arbeitsprozess nicht unerheblich: „In vielen Fällen habe ich die von den Anwendungen vorgeschlagenen Prompts verwendet, da diese bereits auf den Inhalt des Textes zugeschnitten waren.“

Gesamteindruck Recherche und Arbeiten mit Literatur
Schildern die Studierenden ihren Gesamteindruck zur Literaturrecherche und -erschließung mit Hilfe von KI-Tools, so heben sie in erster Linie die Bedeutung eines informierten Promptings als neuer Kompetenz hervor: „Abschließend lässt sich sagen, dass KIs die herkömmlichen Methoden der Recherche und des Textverstehens zwar ergänzen und erleichtern, sie aber auf keinen Fall ersetzen können. Außerdem ist die Arbeit mit KIs nichts, was direkt funktioniert: Wenn man nicht weiß, was genau man für Fragen stellen muss, kann es sogar recht frustrierend werden, wenn man keine hilfreichen Antworten bekommt.“ In einer anderen Reflexion wurde festgehalten: „Beim Schreiben des Inhalt-Teils musste ich feststellen, dass ich letztendlich viele der über Elicit gefundenen Quellen nicht verwendet habe – teils aufgrund des geringen Umfangs, den dieser Teil haben musste, teils aber auch, weil manche Quellen sich bei einer genaueren Lektüre als weniger geeignet herausstellten, als ich gehofft hatte und ich aus anderen Suchen – zum Beispiel über Google Scholar – schon andere Literatur gefunden hatte.“

Textproduktion
Was das Textverfassen betrifft, haben die Studierenden beim Einsatz von KI-Tools mehrheitlich wenig bis keinen Nutzen wahrgenommen. Dies erstaunt insofern, als in der gesellschaftlichen Debatte um ChatGPT das Schreiben von Texten durch die KI im Mittelpunkt steht. Dass die Studierenden dem Einsatz von KI-Tools beim Schreiben wenig Nutzen attestieren, möchten wir allerdings dezidiert nicht damit erklären, dass sie hier womöglich (unbewusst) die vermuteten Erwartungen und Hoffnungen von uns Dozentinnen bedienten. Vielmehr gehen wir aufgrund der offenen Seminardiskussionen davon aus, dass sich die Seminarteilnehmer*innen in diesem Setting tatsächlich sehr kritisch mit dem Einsatz von KI auseinandersetzten und daher auch die jeweiligen Schwächen bewusster wahrnahmen. So machte eine Studentin die folgende Erfahrung: „Ich integrierte einen Abschnitt meines bereits verfassten Textes in die Kommunikation [mit ChatGPT und JenniAI] und fragte nach möglichen Ergänzungen oder Verbesserungen. Bei beiden KI-Systemen empfand ich jedoch, dass die erzielten Ergebnisse begrenzten Nutzen boten. Unabhängig von meinen Anfragen, sei es nach einem neuen Absatz oder einer Zusammenfassung, konnte ich nichts wirklich Nutzbringendes feststellen. Infolgedessen entschied ich mich dazu, meinen Text eigenständig zu verfassen.“ Beachtet werden muss auch, dass ein Teil der Studierenden aus schreibaffinen Fächern kommt, was sicherlich zur kritischen Einschätzung textgenerierender KI und zur grundsätzlichen Bereitschaft, selbst zu schreiben, beiträgt. 

Teilweise nutzten die Studierenden aber auch gewinnbringend KI-Tools, um weitere Impulse für den eigenen Text zu erhalten: „Bei einem konkreten Versuch, Jenni dazu anzuregen, meinen Text fortzuführen, generierte sie einen Satz und fügte eigenständig eine Literaturquelle hinzu, die tatsächlich existierte, jedoch von mir zuvor nicht erwähnt worden war. Dies impliziert, dass Jenni in der Lage ist, auf verschiedene Literaturquellen zuzugreifen und sie in den Text zu integrieren, was zweifellos von Nutzen sein kann, um potenziell neue Literaturquellen zu identifizieren.“

Wird also eine Anwendung mit Hilfe präzisierender eigener Prompts und Textbausteine als Sparringspartner bei der Texterstellung genutzt, zeigen sich oft gute Erfolge, wie z. B. diese Dokumentation eines Arbeitsablaufs zeigt: 

Hier zeigt sich zudem wiederum auch die Rekursivität des Schreibprozesses und die wiederholende Rückkehr zu früheren Arbeitsphasen. 

Ein Effekt des Einsatzes von KI-Tools beim Schreiben wird aber auch zweifelsohne auf einer anderen Ebene des Textes sichtbar, nämlich auf sprachlich-stilistischer Ebene: „Mit dem Wissen, dass ich den Text sowieso durch Jenni.ai schicken würde, um ihn dort überarbeiten zu lassen, war die Qualität zuerst gröber oder die Wortwahlen weniger sorgfältig und durchdacht. Dabei funktionierte für mich das Prinzip, zwischen den Vorschlägen der KI und meinen Anpassungen dieser Vorschläge zu wechseln. Ob der Text objektiv schneller als im Vergleich zur klassischen Methode verfasst wurde, ist schwer zu sagen, aber das Verfassen war durch diese Zusammenarbeit definitiv angenehmer und wirkte dadurch schneller oder effizienter.“ 

Motivational können KI-Tools also dazu beitragen, dass Studierende an ihrem Text weiterarbeiten, weil sie sich mit dem, was die KI liefert, auseinandersetzen müssen. Von hier aus lässt sich die Brücke schlagen zum nächsten Arbeitsschritt: dem Textüberarbeiten.

Textüberarbeitung
Zur stilistischen Überarbeitung nutzten die Studierenden verschiedene Tools mit unterschiedlichem Erfolg: „In Bezug auf ChatGPT möchte ich anmerken, dass ich seine Anwendung beim Fortführen oder Zusammenfassen meines Textes nicht als besonders nützlich empfunden habe. […] Meiner Einschätzung nach erweist sich ChatGPT jedoch in anderen Bereichen als effektiver, wie beispielsweise bei der Umformulierung des Textes, um ihm einen ‚akademischeren‘ Ton zu verleihen.“

Sehr viele Studierende nutzten DeepLWrite, um ihre Texte stilistisch zu überarbeiten, und äußerten sich sehr zufrieden mit der Funktionalität des Tools. Auch die Repetitivität von durch andere KI-Anwendungen verfassten Texten ließ sich damit ausschließen.

Ein Studierender urteilte, DeepLWrite sei ein „sinnvolles Tool um einige Formulierungen zu präzisieren oder um die Lesbarkeit zu optimieren“. Bemerkenswerterweise wird dabei die mögliche Voreinstellung eines „akademischen“ Stils nicht immer als sinnvolle Wahl empfunden: „Das Ergebnis gefällt mir nicht so gut. Die Sätze werden verzweigter und einfache Begriffe werden durch komplexere ausgetauscht. Ich strebe einen Common Language Stil an und möchte exotische Fachbegriffe vermeiden, deshalb ist diese Überarbeitung für mich unangemessen.“

Gesamteindruck
Bei Schilderung ihres Gesamteindrucks wurde von den Studierenden oft die Möglichkeit genannt, die KI zum Ausgleich individueller Defizite einzusetzen. Dies müsste man in künftigen Veranstaltungen sicher kritisch thematisieren. Wichtig scheint uns hier die Rede von der Unterstützung, die mehrfach vorkam: „[D]er Nutzen sollte in der Unterstützung der eigenen Leistung bleiben. Beispielsweise in den Bereichen, wo normalerweise Schwierigkeiten bestehen, damit diese Hürden ausgeglichen werden können.“ In einer anderen Reflexion heißt es: „Zusammenfassend zeigen diese Arbeitsschritte, dass die Unterstützung von KI in einigen, wenn auch nicht in allen, Aufgaben effizienter ist als durchgehend nach klassischen Methoden zu arbeiten. Hierbei ist ein wichtiges Schlüsselwort ‚Unterstützung‘. KI-Tools können Vorbereitungen beschleunigen, wie es hier der Fall war, aber könnten nicht adäquat die eigene Leistung vollständig ersetzen.“

Die Studierenden zeigten sich durchaus in der Lage, die mit KI erzielten Ergebnisse kritisch zu überprüfen und betonten, dass sich ohne kritische und durch Fachkenntnisse gestützte Eigenleistung nicht sinnvoll mit den Anwendungen arbeiten lässt: „Insgesamt bieten KI-Tools eine wertvolle Unterstützung beim Schreiben von Hausarbeiten, insbesondere für Einleitungen, Übersetzungen und die Überarbeitung von Texten. Dennoch sollten sie mit Vorsicht und kritischem Blick eingesetzt werden, da sie nicht alle Anforderungen an wissenschaftliches Schreiben und Quellenverwaltung erfüllen können.“ 

Auch wird klar, dass ein einziges Tool allein kaum die Anforderungen der verschiedenen Arbeitsphasen abdecken kann und dass ein kompetenter Umgang mit den KI-Tools notwendig ist: 

„Das Nutzen mehrerer Tools ist nicht zwingend notwendig, erweist sich in diesem Fall jedoch als unabdingbar. [Mit diesem Thema musste ich] Prompts formulieren, die nur schwer erreichbare Ecken der KI-Datenbanken erreichen und so die Folgearbeit mit anderen KI-Systemen verkürzt. (…) KI kann die wissenschaftliche Arbeit leiten, jedoch nur unter Voraussetzung geeigneter Prompts. Sie ersetzt die Eigenleistung nicht. Die Prompts müssen auf das System der KI abgestimmt und die Kredibilität der Ergebnisse eigenständig geprüft werden.“

„Die KI-Anwendungen erleichtern den Forschungsprozess und das Schreiben einer Hausarbeit. Stand jetzt ist es jedoch nicht so, dass ChatGPT und Co. das Schreiben einer Forschungsarbeit allein übernehmen können. Ich würde sogar behaupten, dass mangelndes Wissen über den richtigen Umgang mit den KI-Anwendungen mehr Zeit in Anspruch nimmt, als dass sie den Forschungsprozess unterstützen.“ 

„Abschließend kann ich sagen, dass ich die Nutzung von ChatGPT, Connected Papers und Open Knowledge Maps als einen großartigen Begleiter sehe, wenn es darum geht, ein Thema zu recherchieren, eine Idee davon zu bekommen, welche Punkte man ansprechen möchte, nach Literatur zu suchen und das Geschriebene zu überarbeiten. Ich glaube nicht, dass sie den Wert eines Textes schmälern, denn meiner Meinung nach liegt der Wert eines akademischen Textes letztlich im Inhalt selbst, der vom Autor verstanden werden muss und auch Zitate enthält, die sich auf die gelesene Literatur beziehen…“

Damit sind wichtige Punkte angesprochen, die weiterer Auseinandersetzung bedürfen:

Worin besteht eigentlich die Leistung von Studierenden beim Verfassen eines wissenschaftlichen Textes? Und wie können und müssen wir unsere Konzepte von Schreibkompetenz und Leistungsnachweis anpassen an die dynamischen technologischen Entwicklungen?

Weiterführende Fragen und Vorschläge für Lehrende

An die Fragen, welche KI-Tools die Studierenden in welchen Phasen ihres Schreibens mit welchem Nutzen einsetzen und welche Vor- und Nachteile damit verbunden sind, schließen sich weitere Fragen an:

• Wie gestaltet sich innerhalb eines Schreibprozesses das Verhältnis von ‚konventionellen‘ Schreibphasen einerseits und voll- und teilautomatisierten Schreibphasen mithilfe von KI-basierten Tools andererseits? 

Die Auswertung der Dokumentationen und Reflexionsberichte hat gezeigt, dass sich diese Schreibphasen sehr stark abwechseln und der Prozess eher in Schleifen abläuft als linear. Das hängt auch damit zusammen, dass KI-Tools für alle Schreibphasen zur Verfügung stehen. Da sich die KI-Tools aber sehr unterschiedlich gut eignen, werden sich mit zunehmender Erfahrung wahrscheinlich Tendenzen herausbilden, in welchen Phasen welche KI-Tools besonders hilfreich sind und wie sich teilautomatisierte Phasen und konventionelle Arbeitsphasen sinnvoll kombinieren lassen. Auch ist eine Entwicklung von passgenau auf verschiedene Bedarfe abgestimmten Tools absehbar, wie schon jetzt die Ausdifferenzierung der Angebote z. B. von Neuroflash oder Perplexity zeigt. 
In der Literaturwissenschaft und verwandten Fächern wird die Anzahl der Nutzer und die Qualität der mit KI-Anwendungen erstellten Arbeiten auch davon abhängen, wie stark digitale Inhalte (nicht nur in englischer Sprache) in näherer Zukunft verschlagwortet, in von KI erschließbaren Repositorien zur Verfügung gestellt oder als Textgrundlage in Large Language Models eingespeist werden. In anderen Fachkulturen wie der Medizin oder der Sportwissenschaft ist schon jetzt ein lückenloses wissenschaftliches Arbeiten mit KI-Anwendungen von der Recherche bis zur Ausformulierung möglich. 

Vorschlag: Binden Sie in Ihre Veranstaltungen, gerade dann, wenn die Studierenden auch mit KI-Tools experimentieren (sollen), Reflexionen zum Schreibprozess ein. Wie plane ich meine Schreibaufgaben? An welchen Stellen des Prozesses halte ich inne, kehre zu einer früheren Phase zurück, setze neu an, ziehe Zwischenbilanz? Welche Tools erweisen sich unter den Voraussetzungen meines Schreibens als hilfreich?

• Lässt sich aus den Daten ableiten, in welcher Weise sich Schreibprozess und Schreibstrategien verändern? 

Von Strategien können wir an dieser Stelle noch nicht sprechen. Aber es haben sich doch mehrere Studierende nach dieser Erfahrung dahingehend klar geäußert, ob und wie sie KI-Tools künftig einsetzen möchten. Welche Auswirkungen das auf den Schreibprozess hat (über Einzelfallbeispiele hinaus), wird man anhand umfangreicherer Prozessdaten analysieren müssen. 

Vorschlag: Dokumentieren Sie hilfreiche Tools unter verschiedenen Gesichtspunkten. Lassen Sie die Studierenden auch beobachten, wie sich ihr Schreiben durch den Einsatz von KI wandelt. Wo verlasse ich mich auf die Ergebnisse der KI, wo prüfe ich nach? Wie zielbewusst setze ich die KI in unterschiedlichen Phasen ein, wo experimentiere ich nur?

• Lassen sich durch den Einsatz von KI und der damit verbundenen Teilautomatisierung einzelner Schreibphasen Motivation und Kreativität fördern und Schreibblockaden reduzieren? 

Diese Frage würden wir mit einem definitiven Ja beantworten. Auch wenn die Studierenden nicht immer von der Leistung der KI-Tools überzeugt waren und manchmal sogar regelrecht frustriert gewesen sein müssen, haben sie auch diese Frustrationserlebnisse animiert, weiterzuarbeiten, und sei es auch aus Trotz dann ohne KI. Dem Vorankommen im Schreibprozess kam der Einsatz von KI definitiv zugute.

Vorschlag: Kehren Sie mit Ihren Studierenden öfter einmal zu der Frage zurück: Was kann KI, was wird sie auch perspektivisch übernehmen – und was kann/muss oder will ich selbst tun? Wann bin ich bereit, die Arbeit am Text abzuschließen bzw. mich von meinem Text zu lösen, weil ich das Gefühl habe, dass er meine Handschrift trägt, mich als Autor*in repräsentiert?

• Welche Konsequenzen lassen sich aus den Erkenntnissen für die Gestaltung von (universitärem) Schreibunterricht ableiten und wie können bspw. KI-basierte Tools sinnvoll in Schreibaufgaben integriert werden? 

Derzeit laufen erste größere Studien zu dem Thema.  Wir sind überzeugt davon, dass sich KI-Tools sinnvoll in Schreibaufgaben integrieren lassen. Lehrende sollten sich bemühen, hier am Ball zu bleiben – das wird auf mittlere Sicht auch ihre Arbeit erleichtern – und sich für einen von Lehrenden wie Studierenden verantwortungsbewussten Umgang mit KI-Tools einsetzen (Brommer et al. 2023). Gleichzeitig sind Universitäten aufgefordert, entsprechende hochschul- und schreibdidaktische Fort- und Weiterbildungen anzubieten. Wir plädieren dafür, dass gerade in dieser Orientierungsphase Lehrende und Studierende auch gemeinsam neue Formen der Zusammenarbeit und neue, qualitätssichernde Vereinbarungen über die Standards wissenschaftlichen Arbeitens entwickeln. 

Vorschlag: Bleiben Sie, gerade wenn Änderungen in Prüfungsformen und -ordnungen anstehen, mit Ihren Studierenden und Studierendenvertretungen im Gespräch darüber, was möglich und was wünschenswert ist. Machen Sie deutlich, dass Kriterien für die Qualität wissenschaftlicher Arbeit in der Community verhandelt und überprüft werden – und zwar von Menschen, die sich gut auskennen oder willens sind, sich schlau zu machen. Ermutigen Sie Ihre Studierenden, sich aus informierter Perspektive zu beteiligen.

Wie geht es weiter?

Seit dem vergangenen Sommer hat sich viel getan: Auch wenn sich die Geschwindigkeit in der Entwicklung von KI-Tools etwas reduziert hat, diversifizieren sich vorhandene Modelle aus, erweitern ihre Kapazitäten oder werden in Benutzeroberflächen integriert. Welche der KI-Tools sich im spezifischen Kontext wissenschaftlichen Schreibens bewähren, wird empirisch zu prüfen sein. Zahlreiche Hochschulen haben inzwischen Richtlinien verabschiedet und arbeiten an der Klärung von Datenschutzfragen und am Zugang zu vorhandenen oder an der Bereitstellung eigener Large Language Models für Studierende, Lehrende und Forschende. Wird der Zugang zu KI-Tools über Universitäten erst einmal bereitgestellt, ist es keine Frage mehr, ob, sondern nur noch wie KI-Tools eingesetzt werden und wie wir Lehrenden damit umgehen. Sicher scheint uns mit Blick auf Lernziele und die Beurteilung studentischer Leistung, dass sich der Fokus, der bislang stark auf das Produkt gerichtet war und ist (bewertet wird – meist ausschließlich – der geschriebene Text), verschieben wird hin auf den Prozess: Wenn an einem Text die eigenständige studentische Leistung nicht mehr ablesbar ist, rückt zwangsläufig die Frage, wie ein Text entsteht, stärker ins Zentrum.

Anmerkungen

1. Vgl. die Schreibprozessmodelle von Kruse & Ruhmann (2006) sowie Grieshammer et al. (2012).

Literatur

Brommer, Sarah/Berendes, Jochen/Bohle-Jurok, Ulrike/Buck, Isabella/Girgensohn, Katrin/Grieshammer, Ella/Gröner, Carina/Gürtl, Franziska/Hollosi-Boiger, Christina/ Klamm, Christopher/Knorr, Dagmar/Limburg, Anika/Mundorf, Margret/Stahlberg, Nadine/Unterpertinger, Erika (2023): Wissenschaftliches Schreiben im Zeitalter von KI gemeinsam verantworten. Diskussionspapier Nr. 27. Berlin: Hochschulforum Digitalisierung. 

Kruse, Otto/Ruhmann, Gabriela (2006): Prozessorientierte Schreibdidaktik: Eine Einführung. In: Kruse, Otto/Berger, Katja/Ulmi, Marianne (Hg.): Prozessorientierte Schreibdidaktik. Schreibtraining für Schulen, Studium und Beruf, Bern: Haupt Verlag, S. 13–35. 

Grieshammer, Ella/Liebetanz, Franziska/Peters, Nora/Zegenhagen, Jana (2012): Zukunftsmodell Schreibberatung. Eine Anleitung zur Begleitung von Schreibenden im Studium. Baltmannsweiler: Schneider Hohengehren.