Immersive Audio Guiding System (IAGS)

Das IAGS wurde erstmals in einer Ausstellung getestet

Pissarro Sounds war die erste öffentliche Anwendung des Innosuisse Forschungsprojektes Immersive Audio Guiding System (IAGS) der Hochschule für Musik FHNW, iart und Idee und Klang Audio Design.

Das Atelier der Moderne im Kunstmuseum Basel bot in seiner Ausstellung zu Camille Pissarro mit den 'Pissarro Sounds' die Möglichkeit zu einem neuartigen, erweiterten Besuchserlebnis. Der Künstler Moritz Fehr (*1981, Berlin) hatte für vier Ausstellungsräume ein Soundkunstwerk aus dynamischen Klangräumen geschaffen, das die Besucher:innen mittels sogenannter Binauralsynthese und einem präzisen Location Tracking in die Kunst- und Lebenswelt des französischen Neoimpressionisten eintauchen ließ. 

Über Kopfhörer konnten die Besucher:innen an diesem immersiven Hörerlebnis teilnehmen. Die Köphhörer ermittelten den Standort im Ausstellungsraum, um die Besucher:innen in die verschiedenen Klangräume zu versetzen. Das Gehörte nahm dabei Bezug auf reale Schauplätze und trat mit den Werken Pissarros in Dialog. Zahlreiche Aufnahmen waren auf einer Reise an die Orte entstanden, an denen der Maler gelebt und die er in seinen Gemälden verewigt hatte, darunter sein Atelier und die Kirche in Éragny-sur-Epte, der Boulevard Montmartre in Paris und der Hafen von Le Havre. Moritz Fehr hat daraus akustische Klangräume komponiert, die den visuellen Eindruck der Besucher:innen um eine hörbare Ebene erweiterten. Je nachdem, in welchem Raum man sich befand, bot sich ein anderer inhaltlicher Schwerpunkt, der die sichtbaren Werke abwechslungsreich kontextualisierte. Zitate aus Briefen des Künstlers und seiner Zeitgenoss:innen ergänzten das Hörerlebnis. Sie wurden gelesen vom Schauspieler Hanns Zischler und der Schauspielerin Marie Grützke.

Die Grundlage für Pissarro Sounds bildete ein interaktives 3D-Modell, in dem eine exakte Kopie der Ausstellungsräume hinterlegt war. Vergleichbar mit einem Computergame, das aus virtuellen Räumen und Objekten besteht, waren auch in diesem digitalen Zwilling der Ausstellung Camille Pissarro verschiedene Objekte, Sounds, Interaktionen und Triggerzonen verortet. Das war der Kern der von iart speziell für Anwendungen im Museum entwickelten Mixed Reality Plattform (MxRP).

Ein hochpräzises Location Tracking erfasste die Bewegung der Besucher:innen in Echtzeit und übertrug ihre Position ins 3D-Modell. Das Tracking baut auf Ultra-Breitband-Technologie (UWB) auf. Es erfolgt über spezielle Kopfhörer, die sich von der Optik und Handhabung her kaum von herkömmlichen Kopfhörern unterscheiden. Jeder Kopfhörer empfängt die Signale von im Ausstellungsraum verteilten UWB-Sendern und kann basierend darauf seine eigene Position bestimmen. Ein IMU-Sensor (Inertial Measurement Unit) ermittelt zudem die Kopforientierung der Besucher:innen. So weiß das System nicht nur, wo sich die Nutzer:innen befinden, sondern auch, in welche Richtung sie schauen.

All diese Informationen werden in Echtzeit verarbeitet. In der sogenannten Binaural-Synthese werden sowohl die Eigenschaften des menschlichen Ohres als auch akustische Raumeigenschaften miteinbezogen. So entstehen die Klangräume im Moment, in dem die Besucher:innen sich durch die Ausstellung bewegen.

Idee und Klang Audio Design hat ein ganzes Konzept dazu entwickelt, wie bestehenden Ausstellungen durch eine zusätzliche Ebene aus Sound neues Leben eingehaucht werden kann. Mehr dazu unter Second Layer Soundwalk.

Projektpartner: iart & FHNW 
Forschungsteam: Thomas Resch, Hannes Barfuss, Anna Pfeiffer, Elias Hodel, Ramon De Marco, Jascha Dormann, Valentin Spiess, Ivo Schüssler, Christian Studach, Michael Lotz, Marcel Colomb

Siehe auch: Second Layer SoundWalk