Das Herzstück der Brainmusic ist eine eigens entwickelte Software namens POSER.POSER—Parametric Orchestral Sonification of EEG in Real-TimeDie Möglichkeit derEchtzeit-Klangerzeugungwurde ermöglicht durch dieEntwicklung der Software„POSER als Erweiterungdes TTDs (Hinterberger &Baier, 2004). POSERbedeutet „ParametricalOrchestral Sonification ofEEG in Real-Time.„Parametrisch heißt hier,dass das Gehirnsignal(EEG), das als ein GemischunterschiedlichsterFrequenzen und Rhythmengesehen werden kann(Abbildung 1), in dieeinzelnen Frequenzbänderunterteilt wird undverschiedene Parameter,wie Schwingungsdauer undAmplitude zurrhythmischen undmelodiösen Wiedergabegenutzt werden.„Orchestral bedeutet, dassjede Frequenz und jederRhythmus, der aus demEEG-Signal extrahiert wird,einem oder mehrerenInstrumenten zugeordnet werdenkann und damit eine vielstimmige Sonifikation (Hörbarmachung) der Gehirnaktivität ermöglicht wird. Real-Time heißt, dass dies mit Verzögerungszeiten von nur wenigen Millisekunden möglich ist. Das Gehirn gleichteinem Orchester, wobei der Computer die Musikinstrumente darstellt und das Hirn als Dirigent die Auswahlund den Einsatz der Gehirnrhythmen und Instrumente bestimmt.Die Methode der Sonifikation von Gehirnrhythmen ist in Abbildung 9 dargestellt. Das SonifikationsmodulPOSER ist dabei fester Bestandteil des TTD. Um das EEG-Signal in seine Frequenzbereiche (siehe Abbildung1) zu zerlegen, wird ein FIR-Bandpassfilter verwendet. Da die EEG-Signale im wesentlichen unter 30 Hzliegen, das menschliche Gehör jedoch erst Schwingungen ab etwa 20 Hz als Ton wahrnimmt, können sienicht direkt akustisch hörbar gemacht werden. Allerdings werden diese tiefen Frequenzen als Einzelereignissewahrgenommen und, wenn Regelmäßigkeiten vorhanden, als rhythmisch empfunden. Dazu muß jedoch jedeGehirnschwingung als ein hörbares Ereignis wiedergegeben werden. Genau das macht das POSER-System,indem jedes Schwingungsmaximum eines Bandpass-gefilterten Signals einen Anschlag eines Instrumentesdes MIDI-Systems auslöst. Die Anschlagstärke wird durch die Amplitude der Schwingung bestimmt. DieHäufigkeit der Schwingungen kann die Tonhöhe modulieren, indem der zeitliche Abstand zweierSchwingungsmaxima als Tonhöhenparameter dient. Hier ergibt sich die Besonderheit, dass auch Harmonienim EEG hörbar werden, wenn die Skalierung so gewählt wird, dass ein EEG-Rhythmus von z.B. 8 Hz mit derdoppelten Frequenz (also eine Oktave höher) gespielt wird, wie eine Schwingung mit 4 Hz.Diese melodiöse Umsetzung ist allerdings nicht zwingend, die Parameter im POSER-System sind variabel, sodass unterschiedlichste Klangwelten geschaffen werden können. Für die akustische Umsetzung derGammaaktivität, sowie der langsamen Hirnpotentiale werden andere Codierungsmethoden verwendet(Hinterberger & Baier, 2004). Daher ist die Komposition von Klängen, die für diese Performance geeignetsind, ein Ziel, das aus einer gemeinsamen Bewertung heraus stattfinden sollte und zu der ich alle Beteiligtenherzlich ermuntern möchte.Da das MIDI-System 16 unterschiedliche Instrumente ansprechen kann, können die verschiedenen EEG-Bereiche simultan als orchestrales Feedback hörbar gemacht werden.Schema zur Sonifikation von Gehirnrhythmen mit der POSER-Software. Zunächstwird das EEG-Signal über FIR-Bandpassfilter in die unterschiedlichenFrequenzbänder aufgeteilt. Die gefilterte Kurve (grün) zeigt damit dieentsprechend rhythmische Aktivität eines Bandes. Jedes Extrema einesWellenzuges erzeugt einen Anschlag eines Instrumentes des MIDI-Systems desComputers. Die Tonhöhe kann beeinflusst werden durch die Abstände zweierExtrema, die Anschlagstärke wird durch die Amplitude einer Schwingung definiert.Werden unterschiedliche Frequenzbänder von unterschiedlichen Elektrodenverschiedenen Instrumenten und Stimmen zugeordnet, so erhält man eineorchestrale Sonifikation.Literatur:T. Hinterberger and G. Baier, POSER: Parametric Orchestral Sonification of EEG in Real-Time for the Self-Regulation of Brain States, Proceedings of the International Workshop on Interactive Sonification, Bielefeld,Germany, January 2004.Hinterberger, T., Baier, G., Mellinger, J., Birbaumer, N., Auditory Feedback of the human EEG for direct brain-computer communication, Proceedings of the International Conference on Auditory Displays (ICAD) 2004,Sydney, Australia, 2004.