Forschung

Forschungsschwerpunkte

Pragmatik

Dialogsemantik

Kognitive Verarbeitung von Dialogizität

Arbeitsgruppe „KI + Sprache“

EU-Forschungsnetzwerk „Languange in the Digital Era“ ( https://lithme.eu/)

Soziolinguistik

Sprache & Identität in öffentlichen Diskursen

Kritische Medienlinguistik

Variation & Wandel durch Digitalisierung

E-Learning

Künstliche Intelligenz in E-Learning-Tools

Methodenmix-Zugang

Gesprächsforschung

Korpuslinguistik / Statistik

experimentelle Verfahren der Psycholinguistik

Doktorand*innen

Anna Greilich, M.A., Universität Münster

Oleksandra Kuzmenko, M.A., Universität Münster

Yannik Frommherz, M.A., Technische Universität Dresden

---

Arbeitsgruppe „KI und Sprache“

Leitung: Dr. Netaya Lotze

Mitglieder: Prof. Dr. Christine Dimroth, Anna Greilich, M.A. (Doktorandin), Sarah Sophie Nagel (Hilfskraft), Vera Neufeld (Masterarbeit)

Assoziierte: Prof. Dr. Gernot Bauer und Simon Proost, M.A., B.Sc. (Informatik, FH Münster)

Ehemalige: Laura Ohrndorf, M.A., Helena Budde, M.A.

Ziele und Motivation

Künstliche Intelligenzen wie Apples Assistenzsystem Siri oder Amazons Alexa halten Einzug in unseren Alltag, Chatbots und Social-Bots wie der Twitter-Bot Tay nehmen Einfluss auf öffentliche Diskurse und interaktives Spielzeug mit Dialogfunktion führt bereits unsere Jüngsten an die Interaktion mit dem artifiziellen Gegenüber heran. Hier entsteht eine völlig neue Form der Dialogizität, die wir noch kaum verstehen.

Uns ist es ein dringendes Anliegen, die linguistische KI-Forschung in Deutschland überhaupt erst als medienlinguistische Teildisziplin ins Leben zu rufen. Dazu ist derzeit eine Einführung für Studierende mit gleichem Titel als Buchpublikation in Bearbeitung (Verlag Narr). Linguistische KI-Forschung wird in der Arbeitsgruppe „KI und Sprache“ immer als „Research-Loop“ von Grundlagenforschung und der Implementierung neuer Anwendungen verstanden. Beide Aspekte werden durch die ganz unterschiedlichen Expertisen (Gesprächsforschung, Dialog-Semantik, Psycholinguistik, Informatik) in der „AG KI“ abgedeckt. Ich bin mit beiden Aspekten bestens vertraut, da ich nicht nur Feldforschung betriebe, sondern mit Dr. Torsten Siever 2010-12 bereits auch eine E-Learning-Umgebung mit virtuellem Tutor „El Lingo“ für die Leibniz Universität Hannover entwickelt habe (Preis „Campus Emerge“ 2012, Projektförderung „Leibniz KIQS“).

Mir ist es ein Anliegen, eine interdisziplinäre Nachwuchsgruppe zu leiten, da sie von Anfang an wissenschaftlich interdisziplinär sozialisiert wurde: a) durch ihre Zeit im Graduierten-Kolleg des Norddeutschen Exzellenznetzwerks „Natur des Geistes“ (2007-2009, für Promovierende der Linguistik, Kognitionswissenschaften und Informatik, Prof. Dr. Gerhard Roth) sowie b) durch ihre frühere Beschäftigung im interdisziplinären Forschungszentrum für Web Sciences „L3S“ der Leibniz Universität Hannover (2012, Prof. Dr. Wolfgang Nejdl), wo sie eng mit Informatiker*innen zusammengearbeitet und immer eine gemeinsame Sprache gefunden hat. Als Linguistin und Philosophin an der Schnittstelle zu Informatik und Psychologie bin ich auch per se eine transdisziplinäre Forscherin.

In Münster kann die AG gleichermaßen auf Expertise und Strukturen des psycholinguistischen „Centrums für Mehrsprachigkeitsforschung“ (CEMES, Prof. Dr. Christine Dimroth) und des gesprächslinguistischen „Centrums für Sprache in der Interaktion“ (CESI, Prof. Dr. Susanne Günthner) zurückgreifen sowie auf die technische Kompetenz des Instituts für „Gesellschaft und Digitales“ (GUD) der FH Münster (Prof. Dr. Gernot Bauer).

Methoden

Die Arbeitsgruppe verbindet unterschiedliche methodische Ansätze zur Analyse von Mensch-Maschine-Interaktionen, die von qualitativer Gesprächsforschung über quantitative Korpus-Verfahren bis zu psycholinguistischen und phonologischen Experiment-Designs reichen. Erst durch die methodologisch konsistent zusammengeführten Ansätze kann eine aussagekräftige Erstbeschreibung dieser neuen Form der Dialogizität auf unterschiedlichen linguistischen Ebenen erfolgen (Phonologie, Lexik, Syntax, Semantik, Dialogkohärenz, Userperzeption, medienlinguistische Faktoren), die stets Grundlage für jegliche Diskussion der Potenziale und Gefahren dieser innovativen Technologien sein sollte. Im letzten Schritt überprüfen wir auch die Anwendbarkeit unserer Forschungsergebnisse in neuen Bots, die wir in Usability-Studien ihrerseits evaluieren. Unseren Ansatz konnten wir 2019 auf der IDS-Tagung (Institut für deutsche Sprache) in der Methoden-Ausstellung „Kaleidoskop“ vorstellen.

Eigene Projekte

Projekte zu Kohärenz und Kohäsion in KI-Dialogen

Einführung für Studierende

Dr. Netaya Lotze Publikationsprojekt (in Vorbr.): 

„Linguistische KI-Forschung – Eine Einführung (Narr)“

Die Einführung stellt als erste ihrer Art das Feld des neuen Forschungsbereichs der linguistischen KI-Forschung in seiner vollen Breite vor und leistet damit einen Beitrag zur kritischen Reflexion neuer medialer Kontexte innerhalb der Digital Humanities. Das Buch richtet sich also an Studierende der Geisteswissenschaften – besonders der Philologien und Linguistiken – eignet sich aber auch für interessierte angehende Medienwissenschaftler*innen und Informatiker*innen, die ihre Perspektive auf KI-Forschung erweitern wollen. Auch für Praktiker*innen im Bereich Dialog-Design und KI-Entwicklung stellt die geplante Einführung eine Bereicherung dar, obwohl der thematische Fokus des Buches mehr auf der Seite der Grundlagenforschung zu dieser neuen Form von Dialogizität liegt als auf praktischen technischen Anwendungen.

In Online-Diskursen (Schriftlichkeit)

Dr. Netaya Lotze und Laura Orhndorf in Kollaboration mit Dr. Timo Kaerlein (Kommunikationswissenschaften, Siegen) (in Vorbr.):

„Logische Kohärenz und Filterblaseneffekte in Social Bots“

Im Band wird eine qualitative Erstbescheibung von logischer In- oder Quasikohärenz in Dialogen mit Social Bots vorgenommen (Ohrndorf & Lotze) und deren Wirkung vor dem Hintergrund von Netzwerkeffekten der Social Media interpretiert (Kaerlein).

Mit Kindern

Dr. Netaya Lotze „KIDS-Projekt“ (und Nachfolgeprojekt in Planung)

KIs mit Sprachinterface werden in näherer Zukunft vermehrt in Schulen, Kindergärten und als interaktives Spielzeug in die Lebenswelten unserer Kleinsten vordringen. Inwiefern Kinder sprachlich auf die KIs reagieren, ist auf linguistischer Ebene noch kaum (für das Deutsche gar nicht!) untersucht. Dabei kann von den momentanen, noch äußerst störungsanfälligen Systemen, die nur isolierte Frage-Antwort-Sequenzen ausgeben und keinen kohärenten Dialog mit semantisch logischem „roten Faden“ entwickeln, aus linguistischer Perspektive durchaus eine Gefahr für User*innen im Kindesalter ausgehen, deren Erstspracherwerb noch nicht abgeschlossen ist. Unsere Studien zeigen, dass a) Erwachsene versuchen, KIs gegenüber logische Kohärenz über längere Dialogsequenzen aufzubauen, indem sie sich auf (vermeintlich) geteiltes Wissen berufen (und scheitern) („Grounding“ Lotze 2016, Fischer 2006) und b) Kinder noch hartnäckiger auf Etablierung einer gemeinsamen Wissensbasis („Common Ground“) mit der KI beharren und sich in ihrem Vokabular (lexikalisch und syntaktisch) dem System anpassen (Lotze 2019).

E-Learning

BMBF-Kooperationsprojekt mit FH Münster (Prof. Dr. Gernot Bauer, Institut für Gesellschaft und Digitales GUD)

Projekt: „ALFA-Bot“

Start: Dezember 2020

Das Projekt strebt die Konzeptionalisierung und Gestaltung einer E-Learning Umgebung mit Chatbot in Leichter Sprache zur Unterstützung der Alphabetisierung an. ALFA-Bot wird über eine multimodale Lernumgebung mit medial-mündlichem Sprachinterface verfügen. Durch Erprobung und Evaluation der Technologie sollen neue Erkenntnisse über niedrigschwellige Angebote für Menschen mit Alphabetisierungsbedarf gewonnen werden.

ALFA-Bot ist als interdisziplinäres Projekt zwischen Informatik und Linguistik angesiedelt, um von Entwicklungsbeginn an linguistisch sinnvolle Aufgaben zu konzipieren und ein möglichst natürliches, kohärentes und intuitiv nutzbares Dialog-Design für das Sprachinterface zu gestalten.

Nach oben

Nach oben

Projekte zu Soziolinguistik

Sprache und Identität

Internationals Kooperationsprojekt mit Prof. Dr. Saskia Kersten, LMU München

„IconDA – Identity Construction in the Digital Age – Usernames and Face-Work in Online Communities“ (Pilotstudie zur Antragstellung)

When discussing self-representation online, the predominant focus is on the detrimental effects of a distorted reality that is created by presenting a polished, positive version of oneself only. From a linguistic point of view, however, there is a lack of systematic investigation and a comprehensive analytic and theoretical framework for identity construction online. The IConDA project aims to close this gap and to demonstrate that identity construction is skillfully and consciously employed by people engaging in online communication.

When investigating identity construction online, it is not only important to consider “Who says what in which channel to whom with which effect?” (Lasswell 1948) but also “in which code?” (Androutsopoulos 2003). IConDA addresses these questions and investigates in what way and to what extent social, technical, platform-specific and pragmatic affordances shape online identity construction by analysing the stylistic variation of different user communities, thus leading to a comprehensive study of the strategies involved.

Identity construction online can be viewed as a form of face-work in Goffman’s sense and manifests in a wide-ranging set of practices, e.g. the choice of username, form and content of online profiles and status messages, which contribute to the linguistic positioning of users. According to Bedjis, Held & Maaß (2014) as well as our own work on username onomastics, the face-work strategies employed by users on social media are influenced by a desire to connect with other users and an increasing need to preserve privacy. These conflicting goals of wanting to be recognised as an authentic member of an in-group while retaining a degree of anonymity are, for example, observable in the choice of username (i.e. incorporation of elements of real names, the level of opacity with which this is done, the use of appellatives communicating specific interests or group memberships).

IConDA combines digitally mediated interaction (DMI) with onomastics, text linguistics and stylistics (Labov 1972, Eckert 2008, Irvine 2001, Podesva et al. 2002). We expect to be able to identify user groups and contexts that correlate with certain patterns of face-work strategies, i.e. a form of identity management (Doing Identity) dependent on context factors. The goal is to identity the variables that contribute significantly to the dimensions of identity construction outlined by Bucholtz & Hall (2005), i.e. emergence, positionality, indexicality, relationality, partialness.

Nach oben

Promotionsprojekte

Projekte zu Kohärenz und Kohäsion in KI-Dialogen

Mit Assistenzsystemen (Oralität)

Promotionsprojekt Anna Greilich, M.A. (in englischer Sprache)
Betreuung: Lotze, Dimroth

“Information structure in human-computer interaction: Requesting information from Amazon Alexa vs from a human-interlocutor”

Anna Greilich (WWU Münster)
anna.konstantinova@uni-muenster.de

In human-computer interaction (HCI), we model our utterances based on the expectations about the system’s knowledge and performance which is often inconsistent and unpredictable. Very little is known about how common ground is being managed in the such unpredictable dialogues with AI-based systems like Amazon Alexa, Cortana and Siri. The present ongoing dissertation project aims at shedding light at how the users linguistically mark focused vs given information in requests addressed to Amazon Alexa (HCI condition) and a confederate speaker (HHC baseline condition).

Based on the dataset collected from 20 speakers of German from Munster area, I am analyzing information structure with the focus on the following aspects: 1) the choice of referring expressions, 2) syntactic position of the given and focused information, and 3) prosodic marking of given and focused information. The data was elicited with the help of stimuli shown on the computer screen during the interaction. The procedure allowed to partially control the dialogue-flow and vary the givenness of the requested information.

The preliminary results show significant differences in the choice of referring expressions in HCI and HHC (see Fig. 1). In dialogue with Amazon Alexa, the participants tend to use full names when referring to both given and new information. In dialogues with a confederate speaker, in contrast, the participants use various referring expressions: from accented/defined full names to omission of the salient information.

The syntactic analysis should show how the lack of pronominalisation and omission influences syntactic structures in requests for information in HCI. Another factor which influences the syntactic structure of requests is a high number of attempts to be understood by Alexa after the miscommunication occurred. Reformulations might lead to a more considerable syntactic variation in the position of the given and focused constituents in the requests.

The pilot analysis of the prosodic patterns was conducted based on the data from one participant. The preliminary results suggest the significant differences between pitch max and pitch min measurements on the main topic and focus in the utterances addressed to Amazon Alexa and a confederate speaker. The overall F0 measurements were higher F0 for HCI compared to HHC for given (the main topic) and focused information (see Fig. 2-5).

 

 

Nach oben

Promotionsprojekt Yannick Frommherz, M.A. (in englischer Sprache)

“Alignment in German human-voice assistant interaction”

Yannick Frommherz (TU Dresden)
yannick.frommherz@tu-dresden.de

Alignment beschreibt das psycholinguistische Phänomen, dass Gesprächspartner sich innerhalb einer Interaktion auf verschiedenen linguistischen Ebenen einander angleichen, z.B. auf der lexikalischen Ebene: Wenn Sprecherin A den Ausdruck x einführt, um eine Entität zu referenzieren, so ist es wahrscheinlich, dass ihre Gesprächspartnerin B ebendiesen Ausdruck x aufgreift, um auf dieselbe Entität zu verweisen (Pickering & Garrod, 2004; Szmrecanyi, 2005; Koulouri et al., 2016). Diese Tendenz wurde sowohl für die Mensch-Mensch-Interaktion (Branig, M-an et al., 2000) als auch für die Mensch-Maschine-Interaktion gezeigt, unter anderem für Lexik (Branigan & Pearson, 2016; Huiyang & Min, 2022), Syntax (Heyselaar et al., 2017) und Prosodie (Raveh et al, 2019) sowie für verschiedene Settings wie Interaktionen mit Chatbots (Lotze, 2016), Robotern (Fischer, 2016) und Sprachassistenten (Linnemann & Jucks, 2018).

 

Der Großteil der Forschung zu Alignment in Mensch-Maschine-Interaktion ist experimenteller Natur, wobei vorwiegend die sog. picture-naming-matching-task, i.d.R. als Wizard-of-Oz-Setup, zum Einsatz kommt. Dabei tauschen Probandinnnen und Maschine (bzw. als Maschine getarnter Mensch, d.h. ein Wizard) abwechselnd Beschreibungen von Bildern aus, die der jeweils andere einem Bild unter mehreren zuordnen muss. In der Beschreibung der Maschine verbergen sich sprachliche Elemente (z.B. eine passive Konstruktion), zu denen die Probandin in ihrer Beschreibung dann (unbewusst) alignt oder nicht (Pearson et al., 2006, Heyselaar et al., 2017). Während dieses Design gut kontrollierbar ist, emuliert es ein Szenario, das fernab von realer Mensch-Maschine-Interaktion steht, was die ökologische Validität solcher Erkenntnisse herabsetzt. Auf der anderen Seite, kann eine korpusbasierte Herangehensweise Alignmentprozesse im Gehirn nicht direkt nachweisen, sondern nur die Persistenz linguistischer Strukturen aufzeigen (Lotze, 2016). Gleichzeitig bietet sie den Vorteil, dass (einigermaßen) authentische Interaktionen zwischen Menschen und tatsächlichen Maschinen ausgewertet werden können. Nichtsdestotrotz gibt es kaum korpusbasierte Forschung zu Alignment in der Mensch-Maschine-Interaktion. Eine löbliche Ausnahme ist Lotze (2016), die das Thema in Interaktion zwischen Menschen und Chatbots analysierte und umfassende Belege für lexikalische und syntaktische Persistenz fand. Was noch komplett fehlt, ist korpusbasierte Forschung zu Persistenz in der Interaktion zwischen Menschen und Sprachassistenten, die in der Gestalt von Siri und Alexa immer weiter verbreitet sind (Byrne et al., 2019; Yuan et al., 2020). Dieses Dissertationsprojekt zielt darauf ab, diese Forschungslücke zu füllen, indem mehrere deutschsprachige Korpora mit Interaktionen zwischen Menschen und Alexa auf Persistenz hin untersucht werden.

 

Projekte zu Diskurs-Linguistik, Kritische Medienanalyse

Zur Inszenierung von Gender-Rollen im Online-Gaming

Promotionsprojekt Oleksandra Kuzmenko, M.A. (in englischer Sprache)

Betreuung: Lotze, Dammel

„User Names in Online and Offline Role-Playing Gaming“

Anthroponyms in Linguistic Worldview Formation from the Point of View of a Player-Computer Interaction in a Game as a Media Text and a Piece of Fiction, and Their Implementation in Players’ Interaction (Online Discourse, Webcasts)

Abstract

The present study is aimed at exploring in-game and self-selected anthroponyms of non-player and player characters, paying special attention to their role in the formation of a post-apocalyptic worldview and their functioning in online communication. The study is novel in studying self-selected anthroponyms and their implementation in online discourse.

Role-playing games, like the Fallout Series (Wasteland 3, Cyberpunk 2077, the Outer Worlds), are considered a media text, with interactivity playing a special role in the organization of the text, and a piece of fiction within a post-apocalyptic genre. The main features of a post-apocalyptic genre are the exploration of the game world that presupposes interaction with game objects and game characters. It has been proven that the game world is restricted to a number of objects that have their names. Thus, it is hypothesized that in-game anthroponyms play a vital role in the formation of a post-apocalyptic worldview. However, the game interactivity is bi-directional. Consequently, gamers must influence the game in a similar way. It is hypothesized that self-selected anthroponyms are built in patterns similar to in-game onyms or according to a given sociocultural situation. Moreover, in-game and self-selected anthroponyms are expected to be implemented in online communication.

My previous study, “Onyms as means of game worldview formation”, explored the role of anthroponyms, pragmatonyms, zoonyms, and toponyms in creating a post-apocalyptic worldview of a role-playing game. It has been noted that anthroponyms are the main means of preserving onomastic background knowledge. While the role of the naming of places in games has been sufficiently studied, there seems to be a lack of independent investigation into anthroponyms and their implementation in online discourse.

The key to understanding the process of anthroponyms implementation in gamers online communication lies in the allocation of specifics of such communication using conversation analysis.

Thus, we hypothesize that the in-game anthroponyms are the main means of formation of a post-apocalyptic worldview of a role-playing game and the means of ensuring ‘player-game’ interactivity. Consequently, the self-selected anthroponyms influence the game world and other player characters. It is hypothesized that the webcasting interaction of a team playing the game is structured with certain patterns according to the material environment. This involves queuing, pausing, and addressing each other with real names or nicknames in a game. Moreover, we hypothesize that the names of other in-game objects are used in online communication with certain changes. In online communication, conversation rules violation and, expressions of dominance are likely to take place. It is of interest to trace them, paying attention to the sociocultural peculiarities of a definite group of players. Furthermore, it would be necessary to explore the alleged cases of non-verbal communication in online discourse.

1. Therefore, our research questions are:
For what reason are the game names used?

2. Are the self-selected anthroponyms built according to the formation patters of the in-game anthroponyms?

3. How do names influence players? Is it a one-way impact?

4. What are the additional means of introducing the game characters?

5. What is the role of the sociocultural characteristics of the community in adopting names? How do names function in players’ communication? What are the specifics of such communication?

Answering these questions will help us discover the specifics of gamers’ online communication, paying special attention to cases of addressing, reaction to other in-game objects through names and, the usage of references. The findings of this study will contribute to onomastics, linguistics, and stylistics, revealing the specific naming patterns for obtaining a certain stylistic effect.

Appropriate application of this research would involve the production of a manual that assists game designers in the creation of names according to a given genre and given objectives.

Nach oben

 

„PROJEKTE AN DER UNIVERSITÄT DER HANSESTADT HAMBURG (UHH)“

Supervisor des interdisziplinären Studierenden-Projekts „Die Fragende KI“ (DAAD und BMBF)

Mitarbeitende:

• Ben Müller – Studentischer Leiter und Gewinner des Hackathons #Semesterhack2 2021 (UHH)
• Judith Tripp (WWU)
• Helena Budde (damals WWU, jetzt IDS Mannheim)

Vorstellungs-Video: https://youtu.be/DBz2G__hYOY

„PROJEKTE AN DER LEIBNIZ UNIVERSITÄT HANNOVER (LUH)“

2013 – 2015	„Twifferences – detecting and computing linguistic varieties on Twitter“: interdisziplinäres Projekt / Linguistik / Informatik (Kooperation der LUH mit dem Forschungszentrum für Web Sciences L3S und der University of Hertfodshire), interne Projektleitung
2010 – 2012	„Microblogs global“: Sprachvergleichende Analyse von Tweets, wiss. Mitarbeiterin (Ltg. Prof. Dr. Schlobinski)
2012	„Audio-Coding of Linguistic Data“: Neurolinguistische Studie zur auditiven Perzeption, wiss. Mitarbeiterin (Kooperation mit Fraunhofer Institute for Integradted Circuits (Ltg. Dr. Schinkel-Bielefeld)
2009 – 2011	„El Lingo – eine interaktive Lernplattform“: E-Learning-Projekt, Gestaltung eines Chatbots als virtuellen Tutor für mediensprache.net (Finanzierung Leibniz KIQS), wiss. Mitarbeiterin (Ltg. Dr. Siever)
2008 – 2010	„Meaningful Changes“: Neurolinguistische Studie zur kognitiven Verarbeitung von Chat-Beiträgen (Kooperation mit MPI Leipzig, Universität Marburg, Universität Mainz), wiss. Mitarbeiterin (Ltg. Prof. Dr. Bornkessel-Schlesewsky, Prof. Dr. Schlesewsky)