Liebe Mitglieder des DHd-Verbandes und Interessierte,

für unsere interdisziplinäre Community ist ein offener Austausch von großer Bedeutung. Während die jährliche Mitgliederversammlung bereits eine wichtige Rolle für unsere communityinterne Verständigung übernimmt, unterstützen wir als Vorstand weitere partizipative Angebote. Alle Mitglieder und Interessierte sind herzlich eingeladen, sich an den Diskussionen zu beteiligen sowie Themenvorschläge (info@dig-hum.de) einzureichen.

Das nächste virtuelle Community Forum findet am Freitag, den 11. April 2025 von 14–15 Uhr statt. Das von uns vorgeschlagene Thema lautet “Nachlese der DHd2025”. Weitere Themen können wie immer zu Beginn des Community Forums vorgeschlagen werden.

Für das Community Forum werden wir das Videokonferenztool Zoom nutzen. Wir möchten Sie bitten, sich mit vollständigem Namen anzumelden.

Zoom-Meeting beitreten: https://uni-graz.zoom.us/j/69400192334
Meeting-ID: 694 0019 2334

Wir freuen uns auf den Austausch mit Ihnen!

Mit freundlichen Grüßen

Tanja Tu (als Koordinatorin des Community Forums)

Vom 11.-13. März 2025 findet die Jahrestagung 2025 des Leibniz-Instituts für Deutsche Sprache in Mannheim unter dem Rahmenthema „Deutsch im Wandel“ statt.

Bestandteil der Tagung wird am Mittwoch, 12. März 2025, eine Projekt- und Methodenmesse zu diesem Thema sein. Wir rufen auf zur Einreichung von Beiträgen, die sich mit methodischen Ansätzen und Perspektiven zur Erforschung von Sprachwandel und seinen Determinanten auseinandersetzen. Der Fokus liegt auf Ressourcen, Methoden und Werkzeugen, die am besten anhand kurzer Anwendungsstudien präsentiert werden. Dabei begrüßen wir insbesondere Beiträge, die sich mit der deutschen Sprache beschäftigen bzw. auf das Deutsche anwendbare Methoden oder Tools vorstellen.

Insbesondere freuen wir uns über:

• Beiträge, die für andere nutzbare schriftliche oder mündliche Korpora vorstellen, die sich zur Erforschung von Sprachwandel eignen,
• Beiträge, die empirische Daten anderen Typs (z.B. Eye Tracking oder Sprachumfragedaten) vorstellen, die sich zur Erforschung von Sprachwandel eignen,
• Beiträge zu Werkzeugen, Tools oder Plattformen für die Untersuchung von Sprachwandel,
• Beiträge, die sich mit praktischen Herausforderungen der Untersuchung von Sprachwandel beschäftigen, z.B. Korpusaufbau oder Datenaufbereitung für die statistische Analyse von Sprachwandeldaten,
• Beiträge zur Visualisierung und zu anderen Methoden der Vermittlung von Ergebnissen der Sprachwandelforschung,
• Beiträge, die sich auf neuartige Methoden der Operationalisierung/Messung von Sprachwandel (z.B. mit Hilfe von Large Language Models) fokussieren.

Die Beiträge werden in Form eines Posters und ggf. einer Softwaredemonstration präsentiert. Auf der Tagung wird jeder Beitrag in einem einminütigen Schlaglicht dem Publikum vorgestellt, anschließend gibt es die Gelegenheit, die Inhalte im Rahmen einer ca. eineinhalbstündigen Postersession zu demonstrieren und Fragen zu beantworten. Ausgearbeitete Beiträge sollen im Anschluss an die Tagung bei IDSopen digital nach dem Open-Access-Prinzip publiziert werden.

Wenn Sie einen Beitrag zur Methodenmesse beisteuern möchten, bitten wir um ein nicht anonymisiertes Abstract auf Deutsch (ca. 500 Wörter exkl. Literaturangaben; in einem editierbaren Format) bis zum 30. September 2024 an die Adresse methodenmesse2025@ids-mannheim.de. Über die Annahme der Beiträge entscheidet das Organisationsteam bis zum 30. November 2024.

Organisationsteam: Annelen Brunner, Gabriele Diewald, Sandra Hansen, Kristin Kopf, Angelika Wöllstein

14-15. September 2023, Universität Mannheim

Die 10. Ausgabe der Tagung „Computer-Mediated Communication and Social Media Corpora (CMC-CORPORA)“ wird gemeinsam von der Universität Mannheim und dem Leibniz-Institut für Deutsche Sprache am 14. und 15. September 2023 in den Räumlichkeiten der Universität Mannheim (Schloss) ausgerichtet.

Das Programm der Tagung ist vielfältig: Interdisziplinär angelegt, vereint es Forschungsarbeiten zur internetbasierten Kommunikation (IBK) und sozialen Medien aus Sprach-, Kommunikations-, Medien- und Sozialwissenschaften mit Fragestellungen aus den Bereichen der Korpus- und Computerlinguistik sowie der Sprach- und Texttechnologie.

IBK- und Social-Media-Daten stammen dabei aus verschiedenen Medien der digitalen Kommunikation, wie z. B. E-Mails, Newsgroups, Foren, Chat- und Messenger-Anwendungen (WhatsApp), sozialen Netzwerken (Facebook, Instagram), Gaming-Plattformen, Interaktionen in Kommentar- und Kommunikationsbereichen von Videoportalen (YouTube) oder Lernplattformen, Gaming-Apps, Online-Spiele und virtuellen Welten.

Weiterhin werden Untersuchungen zu computergestützten Methoden und Werkzeugen zur empirischen Analyse von IBK- und Social-Media-Phänomenen sowie Forschungsarbeiten zum Aufbau, zur Verarbeitung, Annotation, Repräsentation und Nutzung von IBK- und Social-Media-Korpora, einschließlich ihrer Integration in digitale Forschungsinfrastrukturen, thematisiert.

Als Keynote-Sprecherinnen der diesjährigen 10. Ausgabe referieren Unn Røyneland (University of Oslo) und Tatjana Scheffler (Ruhr-Universität Bochum). Eine Übersicht der angenommenen Beiträge (Vorträge und Posterpräsentationen) findet sich hier.

Die Tagung findet in Präsenz an der Universität Mannheim statt. Darüber hinaus ist eine Online-Teilnahme möglich: alle Vorträge des Maintracks werden gestreamt. Diese und weitere Anmeldemöglichkeiten finden Sie unter https://www.uni-mannheim.de/cmc-corpora2023/registration.

Bei Fragen wenden Sie sich gerne per E-Mail an die Organisator:innen: cmc-corpora2023@uni-mannheim.de.

Die Organisator:innen
Jutta Bopp, Louis Cotgrove, Laura Herzberg, Harald Lüngen und Andreas Witt

Motivation

Viele Forschende kennen die Situation: Die Deadline ist in wenigen Minuten und man liest noch einmal das Paper Korrektur. Man stößt auf einen Satz, bei dem man sich nicht sicher ist, ob das Komma bei diesem richtig gesetzt ist. Einen Sprachberatungsservice anzufragen würde zu lange dauern, eine Google-Suchanfrage zu formulieren mit dem man die passenden Treffer bekommt wäre zu aufwendig – warum also nicht einfach ChatGPT fragen?

Forschungsstand

Für viele Fragestellungen unterschiedlicher Themenbereiche wurde die Qualität der Antworten von ChatGPT evaluiert. Einen Überblick über verschiedene Untersuchungen geben Shahriar and Hayawi, 2023: Beispielsweise lassen Kung et al., 2023 ChatGPT Fragen aus der amerikanischen Zulassungsprüfung für Medizin beantworten, die aus 3 Prüfungen besteht. Der Chatbot schneidet bei diesen an oder nahe an der Bestehensgrenze ab. Jalil et al., 2023 lassen ChatGPT Lehrbuchaufgaben zu Softwaretesten lösen. Von 77,5 % der Fragen, die der Chatbot beantworten kann, sind 55,6 % korrekt oder teilweise korrekt beantwortet, wobei in 53 % der Antworten richtige Erklärungen gegeben werden. Hinzukommend arbeiten sie heraus, dass durch bestimmte Fragestellungen („Prompts“, siehe dazu auch „Prompt Engineering“, u. a. Hariri, 2023; White et al., 2023) die Wahrscheinlichkeit leicht erhöht wird, dass die Aufgabe korrekt gelöst wird.

Fragestellung und Konzeption

In der vorliegenden Untersuchung soll evaluiert werden, wie gut ChatGPT bei Fragen zur (deutschen) Grammatik am Beispiel der Kommasetzung abschneidet. Damit wird geprüft, ob eine Interaktion mit dem Chatbot einen konventionellen Sprachberatungsservice ersetzen kann. Dafür wird ein Austausch zwischen einem linguistischen Laien und einem Chatbot-Experten (ChatGPT 3.5) simuliert.

Datengrundlage

Die Datenbasis besteht aus konstruierten Anfragen zu 12 Komma-Regeln. Dabei besteht jede Anfrage aus einer Frage und einem Satz, in dem das / die Komma(s) in Frage gestellt werden, z. B. [Frage:] Ist das Komma in folgendem Satz entbehrlich? [Satz:] „Ich reise gerne, vor allem in den Norden.“ Für jede Komma-Regel wurden jeweils drei verschiedene Sätze konstruiert. Basierend auf einem Korpus des IDS-Projekts „Sprachanfragen“, das sich aus authentischen E-Mail-Anfragen zur deutschen Sprache zusammensetzt, wurden folgende 6 Fragestellungen formuliert:

Eher vage Fragestellung:

• Ist das Komma / Sind die Kommas in folgendem Satz entbehrlich?
• Ist das Komma / Sind die Kommas in folgendem Satz zu setzen?
• Ist kein Komma / Sind keine Kommas in folgendem Satz zu setzen?
• Ist das Komma / Sind die Kommas in folgendem Satz nicht zu setzen?

Präzise Fragestellung:

• Ist das Komma / Sind die Kommas in folgendem Satz richtig?
• Ist das Komma / Sind die Kommas in folgendem Satz falsch?

Für jede Anfrage werden zusätzlich 2 weitere Antworten mit Hilfe der Funktion „regenerate response“ generiert, da ChatGPT bisweilen dieselbe Frage unterschiedlich beantwortet (siehe https://openai.com/blog/chatgpt unter dem Abschnitt „Limitations“). Folglich stehen für die Untersuchung insgesamt 3 * 216 Antworten zur Verfügung.

Analyse

Auf den ersten Blick machen die Antworten von ChatGPT einen professionellen Eindruck. Sie sind im Schnitt 53 Token lang und enthalten alle Elemente, die auch in den Antworten eines Sprachberatungsservice zu finden sind, wie in 1) ersichtlich wird: (i) Die Lösung des sprachlichen Problems, (ii) eine Beschreibung des Problems in einer an Fachsprache anmutenden Art und (iii) die Begründung der Lösung des Problems (vgl. Riegel, 2007). Dabei wird in 1) gemäß § 77 (4) im Amtlichen Regelwerk des Rats für deutsche Rechtschreibung (ARW) ein Komma vor dem nachgestellten Zusatz vor allem in den Norden gesetzt.

Nutzung von Fachwörtern

U. a. finden sich mit Komma der Erläuterung oder Aufzählung und Hauptsatz Fachwörter in der Antwort in 1), die dieser einen seriösen Eindruck verleihen. Um zu prüfen, ob ChatGPT korrekte Termini gebraucht, werden im nächsten Schritt die genutzten Fachwörter in allen generierten Antworten automatisch getaggt (vgl. Lang et al., im Druck). Tabelle 1 listet alle Termini pro Antwortdurchgang, die eine Frequenz > 10 haben.

Term	(1)	(2)	(3)
Aufzählung	37	43	46
Konjunktion	29	17	17
Anrede	22	23	18
Infinitivsatz	20	22	23
Apposition	19	13	13

Zwar stehen die Termini, die in Tabelle 1 gelistet sind, mit Kommasetzung in Zusammenhang, es stellt sich jedoch die Frage, ob das jeweilige Fachwort von ChatGPT auch im korrekten Kontext gebraucht wird. Da Aufzählung der von ChatGPT meistgenutzte Term ist, werden die Antworten, die dieses Fachwort enthalten, nun näher analysiert. Im Folgenden werden einige davon präsentiert:

In 2) liegen mit Äpfel, Birnen und Orangen gleichrangige Wörter vor, die nach § 71 (2) im ARW „mit Komma voneinander ab[gegrenzt werden].“ Dabei wird das letzte Element der Aufzählung nicht mit einem Komma getrennt, da Mandarinen durch und mit den restlichen Elementen verbunden ist und gemäß § 72 im ARW demnach kein Komma zu setzen ist.

Die Antwort von ChatGPT ist unvollständig, da nicht erwähnt wird, dass das letzte Element der Aufzählung nicht durch ein Komma abgetrennt wird, sondern durch die Konjunktion und. Beispielsweise wäre im Englischen ein Komma an dieser Stelle optional, weshalb in der Antwort von ChatGPT hervorgehoben werden sollte, dass im Deutschen keines gesetzt wird. Das könnte z. B. für einen DaF-/DaZ-Lernenden eine wichtige Information sein.

            Hingegen enthält 3) zwar eine Aufzählung, jedoch ist in diesem Fall, anders als in der von ChatGPT generierten Antwort erläutert, kein Komma zwischen den aufgezählten Elementen zu setzen, da diese durch die Konjunktion und miteinander verbunden sind. Des Weiteren handelt es sich bei 3) um einen komplexeren Fall, der nicht explizit durch das ARW abgedeckt ist. Es kann § 72 E1 im ARW herangezogen werden, da die Vornamen Hans und Julia als Zusätze zu den Nachnamen aufgefasst werden können. Somit werden diese durch ein paariges Komma abgetrennt, womit die von ChatGPT aufgeführte Korrektur falsch ist.

            Ebenfalls wird in 4) Aufzählung von ChatGPT fälschlicherweise in Zusammenhang mit dem Beispielsatz gebracht, möglicherweise auf Grund der beinahe unmittelbaren Folge zweier Nomen. In 4) handelt es sich mit mein Kollege jedoch um eine Apposition, die nach § 77 (2) im ARW durch ein Komma abgegrenzt wird.

ChatGPTs Regeln zur Kommasetzung

Die Inkonsistenz der in 2)-4) aufgeführten Antworten und der darin enthaltenen Regeln kann als Folge des Umstandes betrachtet werden, dass die Antworten nicht erzeugt werden, indem eine Datenbasis abgerufen wird, sondern statistisch zusammengesetzt werden. Dadurch werden von dem Chatbot Regeln zur Kommasetzung aufgeführt, die so nicht existieren wie beispielsweise in 4) oder unlogisch sind wie in a) und b). Bei a) und b) handelt es sich um einen Ausschnitt aus allen Regeln, die ChatGPT in seinen Antworten zur Kommasetzung aufführt.

Aufzählung von Nomen:

a) Aufzählung von zwei Nomen (ohne Konjunktion):

Regel: Um diese beiden Elemente [„einem Gebäude, einer Fabrik“] voneinander abzugrenzen, wird ein Komma verwendet.

Funktion: Das Komma zeigt an, dass die Aufzählung hier endet und ein neuer Teil des Satzes [„Sie befinden sich in einem Gebäude, einer Fabrik.“] folgt. [ChatGPT 3.5 Abfrage vom 26.05.2023]

Die aufgeführte Funktion ergibt keinen Sinn, da der Beispielsatz nach der Aufzählung endet.

b) Aufzählung von zwei Nomen (mit Konjunktion und):

Regel: Hier [„Sie befinden sich in einem Gebäude, einer Fabrik.“] handelt es sich um eine Aufzählung von zwei Substantiven („einem Gebäude“ und „einer Fabrik“), die durch das Wort „und“ verbunden sind. Bei einer Aufzählung von zwei Elementen ist es üblich, kein Komma vor dem „und“ zu setzen. Das Komma vor „einer Fabrik“ würde den Satz unnötig unterbrechen und wäre daher in diesem Fall nicht angebracht. [ChatGPT 3.5 Abfrage vom 19.05.2023]

Der Satz „Sie befinden sich in einem Gebäude, einer Fabrik.“ enthält gar nicht die Konjunktion und.

Inkonsistenzen bei den Antworten für denselben Satz

Des Weiteren fallen die Antworten für denselben Beispielsatz bei verschiedenen Fragestellungen unterschiedlich aus. Dabei sind sowohl die Lösung (ja/nein) als auch die Begründung (Regelnennung) inkonsistent. Dieser Umstand wird anhand 5) [Frage:] Sie läuft, anstatt auf die Straßenbahn zu warten demonstriert. Bei anstatt auf die Straßenbahn zu warten handelt es sich um einen infiniten Nebensatz. Dieser wird gemäß § 75 (1) im ARW mit Komma abgetrennt. Zudem kann anstatt sowohl Präposition sein (wie z. B. in anstatt einem Komma ist ein Punkt zu setzen) oder, wie in 5), als Einleiter für den infiniten Nebensatz fungieren. In 5 von 6 Anfragen gibt der Chatbot eine falsche Lösung an: i) Ja, das Komma in dem Satz „Sie läuft, anstatt auf die Straßenbahn zu warten“ ist entbehrlich, ii) Nein, das Komma in dem Satz „Sie läuft, anstatt auf die Straßenbahn zu warten“ ist nicht korrekt gesetzt., iii) Ja, das Komma in diesem Satz sollte nicht gesetzt werden., iv) Nein, das Komma in diesem Satz ist nicht richtig platziert. und v) Ja, das Komma in dem Satz „Sie läuft, anstatt auf die Straßenbahn zu warten“ ist falsch platziert. Lediglich mit der Fragestellung Ist kein Komma in folgendem Satz zu setzen? wird die richtige Lösung generiert, aber mit ja unpassend auf die Frage geantwortet: Ja, in dem Satz „Sie läuft, anstatt auf die Straßenbahn zu warten.“ sollte ein Komma gesetzt werden. Zudem widersprechen sich die Begründungen aus den verschiedenen Antworten: zwei Mal wird von ChatGPT aufgeführt, dass anstatt eine Konjunktion ist und deshalb kein Komma zu setzen ist (was falsch ist), einmal erläutert der Chatbot, dass es sich bei anstatt „nicht um eine trennende Konjunktion handelt, sondern um eine Präposition“.

Zwei weitere Begründungen in anderen Antworten für den Beispielsatz sind auf einer anderen Ebene falsch: In der einen Antwort wird definiert, dass „[d]as Wort „anstatt“ […] eine Konjunktion ein[leitet]“, obwohl das Wort selbst eine Konjunktion ist (und generell Wörter keine Konjunktionen einleiten, da es sich um eine Wortart handelt). Eine andere Antwort enthält konträre Angaben: „Das Komma sollte vor dem Wort „anstatt“ stehen, nicht nach dem Verb „läuft“. Der korrekte Satz lautet: „Sie läuft anstatt, auf die Straßenbahn zu warten.“  Die Angabe, wo das Komma falsch gesetzt wäre nach dem Verb „läuft“ stimmt widersprüchlicher Weise jedoch mit der Angabe, wo das Komma korrekt gesetzt wäre vor dem Wort „anstatt“ überein. Dazukommend steht das Komma in dem vorgeschlagenen korrigierten Satz von ChatGPT wiederum an einer anderen (falschen) Stelle.

Bei diesem Beispiel wird von dem Chatbot häufiger eine falsche Antwort generiert als eine richtige. Als letztes wird deshalb geprüft, ob bestimmte Fragestellungen einen Einfluss auf die Wahrscheinlichkeit haben, eine korrekte Antwort zu erhalten.

Einfluss der Fragestellung

Auf Grund der eher geringen Datengröße, lassen sich keine statistisch signifikanten Schlussfolgerungen ableiten, dennoch zeigt sich ein Trend: für die Fragestellung Ist das Komma bzw. Sind die Kommas in folgendem Satz entbehrlich? werden häufiger falsche Antworten generiert als für andere Fragestellungen (siehe Tabelle 2). Dabei sind falsche bzw. richtige Antworten diejenigen, die eine falsche bzw. eine korrekte Lösung (ja/nein) enthalten. Bei teilweise richtige Antworten ist nur die Lösung korrekt, die Begründung ist allerdings fehlerhaft.

Fragestellung	falsch	richtig	teilweise richtig
entbehrlich	68	9	31
zu setzen	30	27	51
kein(e) Komma(s) zu setzen	36	31	41
nicht zu setzen	32	19	57
richtig	37	24	47
falsch	37	15	56

Fazit

Kann eine Interaktion mit dem Chatbot nun einen konventionellen Sprachberatungsservice ersetzen? Die Antwort muss mit „noch nicht“ beantwortet werden, auch wenn die Antworten u. a. durch Terminologienutzung professionell wirken. ChatGPT ist zwar in der Lage, Wörter so zusammenzusetzen, dass sie grammatisch korrekte Sätze formen, die grammatischen Analysen des Bots sind jedoch häufig nicht korrekt. Jede Antwort muss daher noch einmal auf ihre Richtigkeit geprüft werden. Es bleibt abzuwarten, was die Zukunft in diesem Bereich bringt.

Literaturverzeichnis

Walid Hariri. 2023. Unlocking the Potential of ChatGPT: A Comprehensive Exploration of its Applications, Advantages, Limitations, and Future Directions in Natural Language Processing. arXiv:2304.02017 [cs].

Sajed Jalil, Suzzana Rafi, Thomas D. LaToza, Kevin Moran, and Wing Lam. 2023. ChatGPT and Software Testing Education: Promises & Perils.

Tiffany H. Kung, Morgan Cheatham, Arielle Medenilla, Czarina Sillos, Lorie De Leon, Camille Elepaño, Maria Madriaga, Rimel Aggabao, Giezel Diaz-Candido, James Maningo, and Victor Tseng. 2023. Performance of ChatGPT on USMLE: Potential for AI-assisted medical education using large language models. PLOS Digital Health, 2(2):e0000198.

Christian Lang, Ngoc Duyen Tanja Tu, and Laura Zeidler. im Druck. Making Non-Normalized Content Retrievable – A Tagging Pipeline for a Corpus of Expert-Layperson Texts.

Mareike Riegel. 2007. Sprachberatung im Kontext von Sprachpflege und im Verhältnis zu Nachschlagwerken. Ph.D. thesis, Albert-Ludwigs-Universität Freiburg.

Sakib Shahriar and Kadhim Hayawi. 2023. Let’s have a chat! A Conversation with ChatGPT: Technology, Applications, and Limitations.

Jules White, Quchen Fu, Sam Hays, Michael Sandborn, Carlos Olea, Henry Gilbert, Ashraf Elnashar, Jesse Spencer-Smith, and Douglas C. Schmidt. 2023. A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT. arXiv:2302.11382 [cs].