Immersive Audio Guiding System (IAGS)

Zum Forschungsprojekt

Das Ziel des durch innosuisse geförderten Forschungsprojekts «Immersive Audio Guiding System (IAGS)» war die Entwicklung eines skalierbaren und einfach zu konfigurierenden Mixed Reality Guiding-Systems für Innenräume.

Ursprünglich dienten Audio-Guides bloss einem Zweck: der Vermittlung von Informationen. Eine Stimme führt durch eine Ausstellung und liefert Facts über die Exponate, welche die Besucher:innen interessieren. Nur in Ausnahmefällen werden Guides thematisch oder künstlerisch in irgendeiner Form gestaltet. Das IAGS soll diese Lücke füllen und die Gestaltung von höchst sinnlichen und interaktiven Ausstellungen ermöglichen.

Mit Hilfe eines Indoor-Tracking-Systems kann die exakte Position und Kopforientierung von Ausstellungsbesucher:innen in Innenräumen laufend bestimmt werden. Klänge können als virtuelle Audioquellen an spezifischen Orten im Raum platziert werden. Abhängig von der individuellen Position und Kopforientierung der Besucher:innen werden Text, Musik und/oder Sound Design über Kopfhörer wiedergegeben und die Klänge kommen stets aus der vorgesehenen Richtung. Letzteres wird in Echtzeit mit einer dynamischen Binaural-Synthese realisiert, die sowohl die Eigenschaften des menschlichen Ohres als auch akustische Raumeigenschaften (sogenannte BRIRs) mit einbezieht. Das Resultat ist ein neuartiges, dreidimensionales Hörerlebnis.

Platziert und programmiert werden die Audioinhalte zuvor in einem sogenannten 'digital twin', einer digitalen Version der realen Räumlichkeiten. Die Herangehensweise ist dabei ähnlich wie bei der Erstellung eines modernen Computerspiels. Dieser digital twin wird dann auf die mobilen Endgeräte übertragen und präzise auf die realen Räumlichkeiten gemappt. Durch Einbezug der Daten, die das Tracking-System liefert, wird die Besucher:in also quasi zur Spielfigur des Computerspiels. Die hochpräzise Lokalisation der Besucher:innen wird mit Hilfe eines Ultra-Wideband-Systems (UWB) und eines in den Kopfhörer integrierten Head-Tracker Moduls realisiert.

Nachdem wir das IAGS in der Ausstellung Pissarro Sounds im Kunstmuseum Basel 2021 erstmals öffentlich getestet hatten, konnten wir seine Stärken 2023 in der Ausstellung Sprachenland Schweiz im Landesmuseum Zürich schliesslich umfassend ausnutzen.

Projektpartner: iart & FHNW 
Forschungsteam: Thomas Resch, Hannes Barfuss, Anna Pfeiffer, Elias Hodel, Ramon De Marco, Jascha Dormann, Valentin Spiess, Ivo Schüssler, Christian Studach, Michael Lotz, Marcel Colomb

Siehe auch: Second Layer SoundWalk