Homepage of Eric Auer: Eye-tracking during concurrent scene and sentence presentation

My diploma thesis

Eye-tracking during concurrent scene and sentence presentation

Diploma Thesis at Saarland University,
Faculty 4 - Humanities II, Department 4.7 - General Linguistics.
Author: Eric Auer
Thesis Committee: Pia Knoeferle and Matthew Crocker
Date: 6th September 2005

Abstract

Eye-tracking has a long tradition in psycholinguistic research, for example helping to investigate human language comprehension in the presence of non-linguistic context. We present a concurrent scene and written sentence presentation study, where we manipulate congruence and sentence type of structurally ambiguous German sentences. The corresponding displayed scenes show role-ambiguous characters involved in depicted actions. We investigate the effects of depicted events onambiguity resolution in the context of a congruence decision task.

Our concurrent presentation experiment combines aspects of several recent studies on scenesentence integration. We put our results in context and present a comprehensive analysis of our data. The detailed analysis allows direct comparison with various aspects of existing and future results of other studies. We replicate some results from related studies and discuss parallels and differences in the results. We present some interesting interactions between sentence type and congruence effects. Another goal of our study is to evaluate the new open source eye-tracking environment NEWTRACK (running on FreeDOS) and our custom portable DPIFilter post-processing and visualization software. NEWTRACK is more suitable for our study than for example PCEXPT.

We give an overview of the features of NEWTRACK (e.g. support for near-standardhardware and automatic stimulus image analysis) and assess the current performance. We also review the current limitations of NEWTRACK and make suggestions forfuture enhancements.

Zusammenfassung

Eye-tracking hat eine lange Tradition in der psycholinguistischen Forschung, zum Beispiel in Untersuchungen zum menschlichen Sprachverstehen im Zusammenhang mit nichtlinguistischem Kontext. Wir präsentieren eine Studie mit gleichzeitiger Anzeige von Text und Bild, in der wir Kongruenz und Satzbau lokal strukturell ambiger deutscher Stimuli manipulieren. Die verwendeten Bilder zeigen Personen und Aktionen, wobei ambige Rollenzuordnungen vorkommen. Wir untersuchen die Effekte der im Bild gezeigten Ereignisse auf die Ambiguitätsverarbeitung im Kontext der Aufgabe, über die Übereinstimmung von Bild und Text zu entscheiden.

Unser Experiment verbindet Eigenschaften mehrerer aktueller Studien zur Text / Bild Integration. Wir präsentieren unsere Ergebnisse im Kontext und analysieren unsere Daten umfassend. Die detaillierte Analyse erlaubt den direkten Vergleich unserer Ergebnisse mit den Ergebnissen bestehender und zukünftiger Experimente. Wir reproduzieren einige Ergebnisse ähnlicher Studien und besprechen Parallelen und Unterschiede in den Ergebnissen. Wir präsentieren einige interessante Wechselwirkungen zwischen Satzbau und Kongruenzeffekten.

Ein weiteres Ziel unserer Studie ist der Test der neuen open source eye-tracking Umgebung NEWTRACK (unter FreeDOS) und der plattformunabhängigen DPIFilter Nachbearbeitungs- und Visualisierungs-Software dieses Lehrstuhles. NEWTRACK eignet sich aus verschiedenen Gründen besser für unsere Studie als zum Beispiel PCEXPT. Wir bieten einen Überblick über die Funktionen von NEWTRACK (zum Beispiel Unterstützung aktueller Standard-Hardware und automatische Analyse der Stimulus-Bilder) und geben eine Beurteilung der aktuellen Leistungsfähigkeit. Wir betrachten auch die Grenzen der aktuellen NEWTRACK Version und schlagen Verbesserungen für zukünftige Versionen vor.

The files

There are two versions available: I recommend the web version, which is a much smaller download and saves your and our bandwidth. The full version has full resolution stimulus images in the appendix, while the web version only shows the object outlines of the images (which is how the software "views" the images). Apart from that, the web version is fully useable and has all other figures and tables in full resolution and detail.

Valid HTML 4.01 Transitional

Raw data