[John and Mary] [Videoinstallation]

„Ist es ethisch vertretbar, Systeme zu bauen, 
die Furcht haben, traurig sein oder sich freuen können? 
Dürfen wir diese Maschinen überhaupt noch als 
reine Instrumente für unsere Zwecke benutzen?” 
Catrin Misselhorn

Die Tatsache, dass Emotionen eine der fundamentalen Quellen unseres moralischen Handelns und Zusammenlebens sind, lässt uns darüber nachdenken, inwiefern und ob auch künstliche Systeme oder Maschinen diese simulieren, verstehen oder sogar aufweisen können – und sollten.

Kann sich eine Maschine im Hinblick auf Emotionen oder Schmerzempfinden ausdrücken oder gar beurteilen? Und was verstehen wir wiederum als menschliche Betrachter*innen davon, bzw. wie verstehen wir sie?

Die Videoinstallation [John and Mary] versteht sich als audiovisuelles Experiment und Differenzerfahrung, welche die Grenzen zwischen Mensch und Maschine, natürlichen und künstlichen Algorithmen, Emotion und deren maschinelle Reproduktion, verwischt.

Sie stellt den Beginn einer Projektreihe dar, die multimedial und künstlerisch die Möglichkeiten und Risiken von Affective Computing auslotet. Einem interdisziplinären Forschungsfeld, das u.a. Künstliche Intelligenzen entwickelt, um Zustände menschlicher Emotionen nicht nur zu erkennen, sondern auch auf diese angemessen reagieren zu können. 

Ausgehend von den o.g. Fragen wurden für [John and Mary] Texte in Form von Gedichten, Szenarien Essays etc. mittels eines Sprachmodells mit künstlich neuronalen Einbettungen (GPT-3) generiert. In einem Folgeschritt wurden diese generierten Texte dann zeilenweise in diverse Bilddiffusionsmodelle (Stable Diffusion, Dall-E 2, stability ai) eingelesen um sie in synthetische Bilder und Videos umzuwandeln. 

Beim Affective Computing wird mithilfe maschineller Lerntechniken versucht an den Schnittstellen von mensch- und computergenerierten Texten und Bildern ästhetische Erfahrungen hervorzurufen, um  kognitive Systeme empatisch werden zu lassen. So wurden auch bei [John and Mary] die synthetischen Bewegtbilder dekontextualisiert und verschiedenen Probanden vorgelegt. 

Sie fungierten innerhalb dieses Prozesses quasi als menschliche Algorithmen, die auf Anweisung Texte in Form von Gedichten, Prosa, Essays u.s.w. verfassten. Sie sollten ihre eigene, individuelle Interpretation der maschinengenerierten Videos schreiben. Die Autor*innen selbst sind es auch, die jeweils im VoiceOver via Kopfhörer zu hören sind.

So entsteht innerhalb traumartiger Sequenzen ein sakral anmutender Sog, der dazu verführt in den maschinengenerierten Bildern Bedeutung zu fassen. Es bildet sich ein Spannungsverhältnis von maschineller und menschlicher Semantik heraus. Abstraktionen, Unschärfen und Mehrdeutigkeiten in der Sprache öffnen neue Bedeutungsräume.

Es stellt sich die Frage nach dem Ursprünglichen und nach der Unterscheidbarkeit von Mensch und Maschine sowie der gesellschaftlichen Wirkmacht.

Videoarbeit, 17’48”, 2023

Cast

Regie/Konzept/Montage: Lisa Reutelsterz
Gedichte/Gesprochen von: Jan Reutelsterz, Björn Gabriel, Stephan Weigelin, Anna Marienfeld, Benita Martis, Nina Berner
Sound: Jan & Lisa Reutelsterz

Weitere Projekte

Generationenworkshop [Workshop]
2022
Tears.Of.Tunupa [Short LED Animation]
2022
RESET – A Night Without Men [Ein Live-Theater-Film von Trafique]
2022
Heimlich [Animation Short Film]
2022
Babel [Ein Live-Theater-Film von Trafique]
2021
LENZ (nach Georg Büchner) [Ein Live-Theater-Film von Trafique]
2022
Über.Leben [Ausstellung/Installation]
2021
Fassaden [Ein Live-Theater-Film von Trafique]
2021
try e.m.i.s. now [VR Live Theater / Performance]
2021
LOCKDOWN AUTOMATIONS [Public Art]
2020
VOID – Envåk [VR/360 music video]
2020
All of us
2020
Über das Unsichtbarsein und Treibenlassen
2019
Sensing Data
2019
Emotionale Erfahrbarkeit durch audiovisuell gestaltete Daten
2019 Layout
Sonifikation und Installation
2019 Layout
INTERMEDIALE FOTOGRAFIE [Projection Mapping]
2019
Envåk & Lisa Peter live @ Art Space Andromeda, 2019 [Live Performance]
2019
Photophobia
2018
Yugen
2018
Showreel 2017/18
2018
The Origin of Purity
2017
Lange Nacht der Museen Köln 2015, KISD
2015
Deep Well / Runa
2016