Data Science & Arts Hack your Brain: Ein audio-immersives Literaturerlebnis mit Bedeutung wird geschaffen 

Shortcuts zum Inhalt:
Intro - Die Vorbereitung - Die Modellierung - Das Experiment - Die Zukunft -
Fortsetzung des Projekts / Teil 2

Ermöglicht wird dieses audio-immersive Literaturerlebnis durch das Hirnstrom-Messgerät Emotiv Insight und weiteren, eigens dafür entwickeltem Code. Unser HSLU "Hack your Brain" Applied Data Science Projekt & Forschungsteam: 

Herr Professor Peter Gloor,  MIT Massachusetts (Boston) Institute of Technology:
Innovativer Forscher, Wissenschaftler, Dozent & Unternehmer 

Data Science findet immer mehr Anwendungsbereiche, auch der Kunstsektor interessiert sich dafür. Gemeinsam mit dem Maison du Futur wurde beschlossen, ein Experiment zu planen, bei welchem die Gesichter und Gehirnströme der Teilnehmer und ihre Emotionen aufgezeichnet werden. Dies, um die Wirkung von "Ressentiments" (Unmut, Abneigung), die durch gesprochene Sprache und den Verweis auf ein "Objekt" (hier: ein Buch) ausgedrückt werden, an den Emotionen des Empfängers zu messen. 

Maison du Futur ist ein nationales Innovationszentrum für die Künste, in dem alle Formen des audiovisuellen und performativen Storytellings in Kombination mit neuen Technologien wie Künstliche Intelligenz, Augmented Reality und Big Data entwickelt und präsentiert werden - und wir waren dabei.

Nach einer intensiven Vorbereitungsphase fand das Experiment in Zürich statt und die Daten konnten erfolgreich nachverfolgt werden und stehen für weitere Analysen im nächsten Semester bereit. Da unsere Gesellschaft immer individualistischer wird und die Menschen daran gewöhnt sind, individuell behandelt zu werden, vor allem online, ist dieser Bereich der Studie sehr interessant. 

Der wichtigste Teil dieser Untersuchung bestand darin, genügend Gehirnwellendaten zu sammeln, um ein Modell zu entwickeln. Freunde, Familienangehörige und Kollegen wurden eingeladen, als Testpersonen teilzunehmen und uns ihre Gehirne mit Hilfe des Emotiv Insight-Messgeräts "auszuleihen". Dieses Gerät misst die Aktivität in allen kortikalen Lappen des Gehirns und liefert detaillierte Informationen, die normalerweise nur in Forschungsgeräten zu finden sind. Wir haben uns die Gelegenheit nicht entgehen lassen, das Gerät auch an unseren Köpfen zu testen. 

Unsere Testpersonen, zu denen auch wir gehörten, sahen sich ein etwa 10 Minuten langes Video des Personality Prediction Project von COIN an, das verschiedene Emotionen wie Glück, Wut, Ekel, Traurigkeit und Neutralität auslöste. Die Daten wurden nicht nur über die Gehirnströme, sondern auch über die Gesichtserkennung erfasst. Zu diesem Zeitpunkt waren also Daten über die anhand des Gesichts erkannten Emotionen und eine Echtzeitanzeige der rohen Elektroenzephalographie (EEG) sowie Leistungskennzahlen verfügbar.

Ein Elektroenzephalogramm zeichnet die elektrischen Signale des Gehirns mit Hilfe von Elektroden auf, die an der Kopfhaut befestigt werden. Die Gehirnzellen kommunizieren miteinander über elektrische Impulse, und die Gehirnaktivität wird auf einer EEG-Aufzeichnung als Wellen dargestellt. Sechs grundlegende Messgrössen für die geistige Leistungsfähigkeit (Engagement, Erregung, Konzentration, Interesse, Entspannung und Stress), die direkt von der geistigen Aktivität abgeleitet werden. Jedes Mass wird automatisch so skaliert, dass es dem normalen Bereich und dem Ausgangsniveau des jeweiligen Zustands entspricht. Nun können verschiedene Modelle erstellt werden.  

Die Emotionen der Hirnstromdaten wurden mit den erwarteten Emotionen aus der Gesichtserkennung abgeglichen und anschliessend beschriftet. Mit Hilfe von Deep Learning wurde ein Modell zur Erkennung von Emotionen erstellt. Es wurde ein LSTM-Netzwerk (Long Short-Term Memory) gewählt, das zu den rekurrenten neuronalen Netzen gehört. LSTM ist in der Lage, langfristige Abhängigkeiten in Daten zu lernen. In der Trainingsphase des Modells wurden vielversprechende Ergebnisse mit hoher Genauigkeit erzielt. Für den Fall, dass unser Modell in der neuen Umgebung nicht genau genug sein sollte, beschlossen wir, zusätzliche Emotionen hinzuzufügen, die durch die Gesichtsemotionserkennung erfasst wurden. Es mussten also neue Wege beschritten werden. Glücklicherweise sammelten wir auch Emotionen aus der Gesichtserkennung. 

Der Tag des Experiments war gekommen. Wieder wurden Freunde, Familie und Kollegen zusammengebracht, um weitere Erkenntnisse über ihre Emotionen zu sammeln - aber das ist noch nicht alles. 

Im Max Frisch Bad wurde jeder Versuchsteilnehmer in einen mit Literatur gekennzeichneten Raum gebracht. Sie setzten sich auf einen Stuhl und sahen sich zwei Büchern gegenüber - einem, das den Feminismus befürwortet, und einem, das ihn ablehnt - beide von Frauen geschrieben. Die Bücher wurden dunkel beleuchtet, um nicht zu viel Aufmerksamkeit auf sie zu lenken. Das Messgerät wurde sorgfältig auf den Köpfen der Teilnehmerinnen und Teilnehmer angebracht - je nach Frisur manchmal mit mehr Mühe als beabsichtigt. Beruhigende Musik leitete die Einführungsphase ein, in der die Person auch gebeten wurde, zwei Artikel über feministische und antifeministische Autorinnen zu lesen.

Nach der 5-minütigen Einführungsphase wurde eine emotionsgeladene Hörlesung des Schweizer Autors Robert Walser aus "Der Spaziergang" abgespielt. In der Lesung ging es um eine bestimmte Szene in einer Buchhandlung, in der sich die Protagonistin gegen ein bestimmtes, nicht genanntes Buch sträubte. Nachdem genug Spannung aufgebaut wurde, wurde DAS BUCH vor den Probanden beleuchtet. Das beleuchtete Buch war dasjenige, das in den Artikeln erwähnt wurde, die sehr affirmativ zum Feminismus waren. Die gleiche Lesung, aber mit neutraler Stimme, begann erneut, und dieses Mal leuchtete das antifeministische Buch auf. 

DAS EXPERIMENT - IMPRESSIONEN
Einige Impressionen des Experiments "audio-immersives Literaturerlebnis", das im Max Frisch Bad in Zürich stattfindet

Im Anschluss an das Experiment wurde ein Fragebogen ausgeteilt, in dem die politische Orientierung der Teilnehmer abgefragt wurde. Ziel war es, herauszufinden, ob sie je nach ihrer politischen Orientierung unterschiedlich auf die beiden hervorgehobenen Bücher reagieren würden. Dabei wurde erwartet, dass bei den emotionsgeladenen Audios stärkere Emotionen gemessen werden.  

Bei einer ersten Analyse unmittelbar nach dem Experiment zeigte der datenbasierte Nachweis klare Ergebnisse. Die Version mit dem wütenden Audio und dem pro-feministischen Buch löste mehr emotionale Reaktionen aus als die zweite Version. Die Daten zeigen jedoch auch, dass diese Emotionen weniger durch das provokative Buch als vielmehr durch den Tonfall des Sprechers ausgelöst wurden. Der Punkt, an dem die Stimme ins Schrille kippt, ist visuell deutlich erkennbar, im Gegensatz zu dem Punkt, an dem das Buch beleuchtet wurde.

Durch eine tiefere Analyse der aufgezeichneten Daten und eine Weiterentwicklung des Algorithmus sollen im nächsten Schritt auch subtilere emotionale Reaktionen, wie in unserem Beispiel die durch ein polarisierendes Buch ausgelösten Gefühle, die politische Einstellung oder der Einfluss des Settings, erkennbar werden. In dieser Richtung liegt für uns auch die spannendste Weiterentwicklung des Projekts. 

Die Erkennung von Emotionen mit EEG-Daten hat noch einen leicht futuristischen Touch. Vor allem ausserhalb von Laborbedingungen und standardisierten Datensätzen. Und genau darin liegt der grösste Reiz dieses Projekts: Neue Ideen an der Schnittstelle von Datenwissenschaft, Kunst und Emotionen zu erforschen, ohne genau zu wissen, wohin die Reise geht. Maison du Futur in ihrer Rolle als Künstler, die Emotionen "produzieren", und als Experten für die Suche nach etwas Neuem, waren natürlich ein perfekter Partner für dieses Experiment. 

Dass wir neben neuronalen Netzen und Gehirnströmen auch etwas über Literatur gelernt haben, war mehr als nur ein angenehmer Nebeneffekt. Und dass solche Partnerschaften zwischen Kunst und Datenwissenschaft mehr als nur Spass machen. Dass sie auch ausserhalb von Hausarbeiten von hoher Relevanz sind, ist spätestens seit dem Hype um AR, VR und Metaverse kein Geheimnis mehr.

In der Zwischenzeit verbrachte das Studenten-Team ein weiteres Semester mit der Analyse, der im Rahmen des Experiments gesammelten Daten. Ihr wichtigstes Ergebnis war, dass Teilnehmer, die die wütende Stimme hörten und denen das Pro-Feminismus-Buch gezeigt wurde, mehr emotionale Reaktionen hervorriefen als eine ruhige Stimme und ein Anti-Feminismus-Buch. Die Daten zeigen jedoch auch, dass diese Emotionen weniger durch das provokative Buch als vielmehr durch den Tonfall des Sprechers ausgelöst wurden. Der Punkt, an dem die Stimme ins Schrille kippt, ist visuell erkennbar, während der Punkt, an dem das Buch beleuchtet wurde, viel weniger Emotionen auslöste. Durch eine tiefere Analyse der aufgezeichneten Hirnstromdaten konnte also gezeigt werden, dass unterschiedliche Lesestile die Emotionen der Zuhörer entscheidend beeinflussen. Dies wurde vorläufig durch den Vergleich der Hirnwellendaten mit den Gesichtsemotionsdaten des Zuhörers bestätigt.

Zusammenfassend zeigt dieses Projekt, dass die Verwendung von Elektroenzephalographie (EEG) zur Erkennung von Emotionen ein wertvolles neues Instrument zur Bereicherung und Verbesserung von Audiokunst-Projektinstallationen ist. 

Wir danken dem "Hack your Brain" Team und dem Maison du Future herzlich für die interessanten Einblicke in dieses faszinierende Projekt!

Autoren: Ardiana Hoxha, Daniel Gisler, Nicole Hediger, Lisa Marino
Professor & Dozent: Herr Peter Gloor, MIT Massachusetts Institute of Technology. 
Innovativer Forscher, Wissenschaftler, Dozent & Unternehmer