Beyond the Canvas: Transitional Perspectives ist ein interdisziplinäres Projekt, das Kunst, Rauminstallation, Game Design und Digitale Realität vereint. Es ermöglicht eine einzigartige Interaktion zwischen physischer und virtueller Realität, ein transitorische agieren um Objekten zwischen den Welten zu transferieren. Ein digitaler Spiegel fungiert dabei als Guckloch, welches den Blick in den jeweils anderen Raum eröffnet und so ein Gefühl der gemeinsamen Präsenz schafft.

Die Installation zeigt eine realitätsübergreifende Bildergalerie, in der eine außer Kontrolle geratene Künstliche Intelligenz massenhaft gefälschte Gemälde reproduziert. Diese werden aus Profitgründen in verschiedenen Realitäten verbreitet. In dieser Krise begeben sich kunstbegeisterte Held:innen auf die Mission, die Bilder in Galerien zu sortieren, die entweder nur Fälschungen oder Originale zeigen.

Festival der Zukunft
06.-08 Juli 2023
Deutsches Museum, München

Die Installation wurde erstmals auf dem Festival der Zukunft 2023 im Deutschen Museum in München ausgestellt und vom XR Hub Bavaria gefördert. Im initialen Kooperationsprojekt entwickeln die Studierenden der Hochschulen BHT Berlin, HAW Hamburg und THM Gießen einen gemeinsamen Interaktionsraum. In einem ergänzenden Forschungsprojekt soll herausgefunden werden wie über Realitätsgrenzen hinaus Kommunikation gefördert werden kann, um Menschen die Teilhabe an Veranstaltungen gleichermaßen zu ermöglichen und um Inklusion und Diversität in Form von Cross-Reality Events zu fördern.

Die Interaktion auf der physischen Seite wurde über einen Button auf einem Touchdisplay ausgelöst, während im virtuellen Raum die Bilder nach rechts oder links verschoben werden mussten. Das führte zu einem langsameren Spielverlauf auf der virtuellen Seite und keiner Synchronität zwischen den beiden Realitäten. Während die physische Interaktion durch den einfachen Tastendruck schnell und intuitiv erfolgte, erforderte die virtuelle Umgebung präzises Verschieben der Bilder, was den Spielfluss verlangsamte und das immersive Erlebnis beeinträchtigte.

https://xrhub-bavaria.de/beyond-the-canvas-transitional-perspectives/

In einer ersten Iteration wurde die Hard- und Softwarekonfiguration erweitert. Dabei ersetzten Videoprojektoren die bisherigen Touchdisplays, während Touchinterfaces durch gestenbasierte Steuerung ausgetauscht wurden. Für die re:publica 2024 erfolgte eine weitere Optimierung durch die Implementierung einer leistungsfähigeren Datenbank sowie die Einbindung einer kamerabasierten Interaktion zur Erweiterung des physischen Raumerlebnisses. Allerdings benötigt die Kamera im realen Raum zusätzliches Licht und sobald im Hintergrund zu viel Publikum steht, wird die performende Hand nicht mehr eindeutig erkannt. Somit wurde der Spielfluss auf der realen Seite langsamer.

In einem ergänzenden Forschungsprojekt soll herausgefunden werden, wie über Realitätsgrenzen hinaus eine Co-awarness durch gemeinsame Kommunikationsmodi und ein Co-engagment über Interaktionen gefördert werden kann. In diesem Jahr wurde das Projekt außerdem für den Next Reality Award in der Kategorie studentische Projekte nominiert.

Anschließend wurde die Interaktion kontinuierlich verbessert, insbesondere die latenzfreie Übertragung von Bild und Video. Außerdem wurde das gesamte Design der Installation optimiert. Die neue Version ist eleganter und modularer, mit zwei Rückprojektionswänden und einer Mittelwand in der die Technik verschwindet. Zudem wurde die Interaktion auf der physischen Seite durch die Integration einer Leap Motion weiterentwickelt. Dies erlaubt nun eine nahtlose Interaktion zwischen den Realitäten.

Hilfsprogramme für das Tablet unterstützen die einfache Administration (Start/Reset), dadurch ist die Installation nun bereit für größere Ausstellungskontexte.

In 2025 wird der digitale Spiegel wird um ein Audiointerface erweitert, so dass eine direktere Kommunikation der Besucher:innen möglich wird.