ネクストステージ表現

MIDIで広がるインタラクティブパフォーマンス：動きと音・光・デバイス制御入門

はじめに

ライブパフォーマンスの現場において、デジタル技術の活用は表現の幅を大きく広げています。中でも、パフォーマーの身体の動きや意図にリアルタイムで反応するインタラクティブな表現は、観客に強い印象を与え、新しい体験を生み出す可能性を秘めています。

こうしたインタラクティブなシステムを構築する上で、多様なデバイスやソフトウェア間で情報を受け渡し、同期させるための「共通言語」が必要となります。様々なプロトコルや技術がありますが、この記事では、古くから存在するものの、そのシンプルさと汎用性から今日でも多くのクリエイターに活用されている「MIDI（Musical Instrument Digital Interface）」に焦点を当て、パフォーマーの身体表現とデジタル技術を結びつける可能性についてご紹介いたします。

MIDIは元々、電子楽器間の情報伝達のために開発されましたが、現在では音響機器だけでなく、照明機材、映像システム、さらにはロボティクスやメカトロニクスといった様々なデバイスの制御にも利用されています。このMIDIを理解し活用することは、技術的なバックグラウンドが少ないパフォーマーの方々にとっても、自身の身体表現をデジタルに拡張し、より複雑で魅力的なインタラクティブパフォーマンスを創造するための有効な一歩となるでしょう。

MIDIとは何か？ライブパフォーマンスにおける役割

MIDIは、電子楽器間で演奏情報（どの鍵盤が押されたか、どのくらいの強さか、ペダルは踏まれているかなど）をデジタル信号としてやり取りするための規格として、1980年代に生まれました。しかし、MIDIが伝達するのはあくまで「演奏情報」や「制御情報」であり、実際の「音」そのものではありません。これは、MIDIが音色や音量を指定する情報や、特定の操作（ボタンを押す、フェーダーを動かすなど）を行ったという情報を送受信するために使われることを意味します。

この特性が、音楽分野を超えてMIDIの応用範囲を広げる鍵となりました。なぜなら、「鍵盤が押された」という情報を「ライトの色を変える」「映像を切り替える」「ロボットアームを特定の角度に動かす」といった操作に対応させることが可能だからです。

ライブパフォーマンスにおいてMIDIは、以下のような役割を担います。

• 楽器・音源の制御: パフォーマーの動きやセンサーからの入力に応じて、ソフトウェアシンセサイザーや外部音源の音色、ピッチ、音量、エフェクトなどをリアルタイムに変化させる。
• 照明システムの制御: 動きに合わせて照明の色、明るさ、動き、パターンなどを変化させる。DMXなどの照明制御プロトコルとMIDIを連携させるゲートウェイやソフトウェアが利用されます。
• 映像システムの制御: 映像の再生・停止、切り替え、エフェクトの適用、パラメータの変更などを動きに同期させる。VJソフトウェアやメディアサーバーなどがMIDI入力に対応しています。
• 舞台機構・デバイスの制御: MIDI信号をトリガーとして、舞台上のキネティックアート、ロボット、プロジェクターの動作などを制御する。これはArduinoやRaspberry PiといったマイコンをMIDIレシーバーとして機能させることで実現されることが多いです。

MIDIの最大の利点は、そのシンプルさと対応機器の多さにあります。複雑なプログラミングの知識がなくても、MIDI信号の基本的な構造（チャンネル、ノートナンバー、コントロールチェンジなど）を理解すれば、様々なハードウェアやソフトウェアを連携させることが比較的容易になります。

身体の動きをMIDI信号に変換する方法

パフォーマーの身体の動きをMIDI信号に変換するには、主にセンサー技術とソフトウェア、そして場合によってはマイコンボードを組み合わせるアプローチが一般的です。技術初心者の方でも取り組みやすい方法からご紹介します。

1. センサー付きデバイスの活用:

   • 既存のセンサーデバイス: KinectやLeap Motion、あるいはウェアラブルセンサー（IMUセンサーなど）といった既存のデバイスで取得した身体や手の動きのデータを、専用のソフトウェア（例: Max/MSP/Jitter, Pure Data, TouchDesigner, Processingなど）を経由してMIDI信号に変換します。これらのソフトウェアは、センサーからの生のデータ（位置座標、回転角、骨格情報など）を読み込み、それを特定のMIDIメッセージ（ノートオン/オフ、コントロールチェンジ値など）にマッピングする機能を持っています。
   • MIDI対応センサーデバイス: 市販されている一部のセンサーデバイスや、DIY向けのセンサーキットの中には、直接MIDI信号を出力できるものもあります。例えば、特定のジェスチャーコントローラーや、Arduinoなどで構築されたカスタムセンサーシステムなどです。

2. マイコンボード（Arduino/Raspberry Piなど）とセンサーの組み合わせ:

   • これはやや技術的なステップを含みますが、最も柔軟なシステム構築が可能です。加速度センサー、ジャイロセンサー、屈曲センサー、距離センサー、感圧センサーなど、様々なセンサーをArduinoやRaspberry Piに接続し、センサーが検出した物理的な変化（傾き、速さ、圧力など）を読み取ります。
   • 読み取ったセンサーデータを、プログラム（Arduino IDEのC++ライクな言語、Raspberry PiのPythonなど）内でMIDI信号の形式に変換し、USB経由や専用のMIDIインターフェース経由でコンピュータやMIDI対応デバイスに送信します。
   • 特にArduinoは、USB-MIDIデバイスとして認識させるライブラリ（例: MIDIUSB）が提供されており、比較的容易にセンサー入力をMIDIに変換するコントローラーを自作することができます。

3. ソフトウェアによるモーション追跡:

   • Webカメラや高機能カメラで撮影した映像から、特定の物体の動きや骨格情報を追跡するソフトウェア（例: OpenPose, MediaPipeなど）を利用します。
   • これらのソフトウェアが出力する動きデータを、さらに別のソフトウェア（例: Processing, p5.js, Max/MSP/Jitterなど）で受け取り、MIDI信号に変換して出力します。

これらの方法により、パフォーマーの身体の動き、ジェスチャー、姿勢、さらには衣装に取り付けたセンサーからの情報などを、リアルタイムでMIDI信号としてシステムに送ることができます。

MIDI信号でパフォーマンス要素を制御する

身体の動きから生成されたMIDI信号は、様々なデジタルデバイスやソフトウェアを制御するために利用されます。以下に、主要な制御対象と具体的な連携方法の例を挙げます。

1. 音響制御:

   • 方法: MIDI信号（ノートオン/オフ、コントロールチェンジ、ピッチベンドなど）を、DAW（Digital Audio Workstation）ソフトウェア（例: Ableton Live, Logic Pro, Cubaseなど）や、ソフトウェアシンセサイザー（VSTi, AUプラグイン）、サンプラーに送信します。
   • 例: 手の高さで音のピッチを変える（コントロールチェンジ）、特定のジェスチャーで効果音を鳴らす（ノートオン）、体の回転速度でエフェクトの深さを調整する（コントロールチェンジ）。
   • 初心者向けヒント: Ableton Live Liteなどの簡易版DAWや、無料のソフトウェアシンセサイザーでもMIDI入力に対応しているものが多くあります。Arduinoなどからシンプルなノートオン/オフ信号を送って、ソフトウェア音源を鳴らすことから始められます。

2. 照明制御:

   • 方法: MIDI信号を、照明制御ソフトウェア（例: QLC+, Onyx, GrandMAなど）や、MIDI-to-DMXコンバーターに送信します。プロ仕様の照明機材（ムービングライト、LEDパーライトなど）はDMXという別のプロトコルで制御されるため、MIDI信号をDMX信号に変換するステップが必要です。
   • 例: ステップに合わせて床面のLEDパネルの色を変える、腕を振り上げる動きでスポットライトを点灯させる、体の向きで照明の方向を操作する。
   • 初心者向けヒント: MIDIで制御可能な安価なLEDコントローラーや、PC上で動作する無料の照明制御ソフトウェアとUSB-DMXインターフェースの組み合わせなどがあります。

3. 映像制御:

   • 方法: MIDI信号を、VJソフトウェアやメディアサーバー（例: Resolume Arena, VDMX, MadMapperなど）に送信します。これらのソフトウェアは、MIDI入力に対して、映像クリップの再生、エフェクトの適用、ブレンドモードの変更、パラメータの調整など、様々なアクションを割り当てることができます。
   • 例: ジャンプの高さに応じて背景映像が切り替わる、手の軌跡に合わせてパーティクルが表示される、複数のパフォーマーの動きの相互作用で映像が変化する。
   • 初心者向けヒント: 無料または安価なVJソフトウェアの中にもMIDI入力に対応しているものがあります。Processingやp5.jsなどのクリエイティブコーディング環境でも、MIDIライブラリを使って映像と連携させることが可能です。

4. メカトロニクス・その他のデバイス制御:

   • 方法: MIDI信号を、MIDI入力に対応したマイコンボード（Arduino with MIDIライブラリなど）で受け取り、モーター、サーボ、ソレノイド、ファン、プロジェクターのシャッターなど、物理的なデバイスを駆動します。
   • 例: パフォーマーが特定のエリアに移動すると舞台装置の一部が動く、手の動きに合わせてファンが風を起こす、声の大きさに応じて照明が振動する（音をMIDIに変換してから）。
   • 初心者向けヒント: Arduinoとサーボモーターのようなシンプルな組み合わせで、「MIDIノートオンでサーボが動く」といった基本的な制御から始めることができます。

これらの要素を組み合わせることで、パフォーマーの身体の動き一つ一つが、空間全体の音、光、映像、そして物理的な要素に影響を与え、観客を没入させるインタラクティブな世界を創り出すことができます。

具体的な活用事例

MIDIを用いたインタラクティブパフォーマンスは、様々な分野で試みられています。

• ダンスパフォーマンス:
  • ウェアラブルセンサー（IMUなど）をダンサーの体に取り付け、体の傾きや回転速度をMIDI信号に変換し、リアルタイムに音のピッチやリズムパターンを生成する。
  • 床に仕込んだ感圧センサーや赤外線センサーからの入力をMIDIに変換し、ステップや位置に応じてプロジェクションマッピングの映像や照明の色を変える。
• 演劇・舞台:
  • 役者の特定のジェスチャーをカメラトラッキングで検出し、その動きをMIDI信号に変換して舞台上のキネティックオブジェクトや特殊効果（スモーク、風など）を制御する。
  • 舞台美術に仕込んだセンサーからの入力（触れる、押すなど）をMIDIに変換し、照明やBGMを変化させ、舞台装置自体を「インタラクティブな共演者」とする。
• インスタレーション:
  • 観客の動きをセンサーで捉え、MIDI信号として空間内のスピーカーから発せられる音や、インタラクティブな映像作品に反映させることで、観客自身が作品の一部となるような体験を創出する。

これらの事例は、MIDIが単なる「音」のためのプロトコルではなく、パフォーマンス空間における多様な要素を身体表現と結びつけるための強力なツールであることを示しています。

導入に向けたヒントと課題

インタラクティブパフォーマンスにMIDIを導入するにあたり、技術的な知識がない方でも取り組みやすいステップと、知っておくべき課題があります。

導入に向けたヒント:

• 小さなことから始める: 最初から複雑なシステムを目指すのではなく、「一つのセンサーで一つの音を鳴らす」「特定の動きで照明の色を変える」といったシンプルな連携から始めてみましょう。
• 初心者向けツールを活用: Processingやp5.jsといったビジュアル要素も扱いやすいプログラミング環境や、Max/MSP/Jitter, Pure Data, TouchDesignerのようなメディア連携に特化したビジュアルプログラミングツールは、MIDIの送受信機能を比較的容易に扱えます。また、Arduinoとシンプルなセンサーキットは、物理的なデバイスとの連携の入門に最適です。
• 既存のリソースを参照: オンライン上には、MIDIやセンサー、各ソフトウェアの連携に関するチュートリアルやサンプルコードが豊富に存在します。特にArduinoやProcessing関連のコミュニティは活発です。
• ワークショップや講座に参加: 大学や専門機関、クリエイティブスペースなどで開催されるワークショップや講座に参加することで、体系的に学ぶ機会を得られます。技術者との出会いの場にもなり得ます。
• 技術者との連携を検討: 自身の表現したいアイデアに対して、どのような技術が必要か、どのように実現可能かを技術的な視点からアドバイスをもらうことは非常に有効です。技術者とのオープンな対話を通じて、共同でプロジェクトを進めることも有力な選択肢となります。サイト内のクリエイター紹介なども参考に、連携可能な技術者を探すことも考えられます。

知っておくべき課題:

• レイテンシ（遅延）: センサー入力からMIDI信号の生成、そして制御対象デバイスでの反応までに発生する遅延は、インタラクティブ性の質に大きく影響します。使用するセンサー、変換ソフトウェア、MIDIインターフェース、制御対象デバイスの性能によってレイテンシは異なります。パフォーマンスの性質に応じて許容できる遅延の範囲を考慮する必要があります。
• システム設計と安定性: 複数のセンサーやデバイスを組み合わせた複雑なシステムは、設計が重要です。信号の競合や処理落ちなどが発生しないよう、各要素の役割と連携方法を明確にする必要があります。また、本番環境での安定した動作を保証するための十分なテストとデバッグが不可欠です。
• コスト: 安価なセンサーやマイコンから始められますが、高性能なセンサー、多数のデバイス制御、プロフェッショナルな照明・映像システムなどを用いる場合、コストは増大します。予算に応じて、実現可能な範囲でシステムを検討することが重要です。
• 技術的な習得コスト: ある程度自由度の高いシステムを構築するには、プログラミングやハードウェアに関する基本的な知識が必要となります。学習には時間と労力が必要です。

まとめと展望

MIDIは、その登場から長い時間が経っていますが、シンプルで堅牢な設計思想と幅広い対応デバイスにより、ライブパフォーマンスにおけるインタラクティブな表現を実現するための強力なツールとして、現在もその価値を失っていません。パフォーマーの身体の動きをトリガーとして、音、光、映像、そして物理的な世界を自在に操る可能性は、MIDIによって大きく広がります。

近年では、より高解像度で双方向性の高い「MIDI 2.0」といった新しい規格も登場しており、今後のさらなる表現の拡張が期待されます。

技術的なハードルを感じる方もいらっしゃるかもしれませんが、この記事で触れたように、初心者向けのツールやリソースを活用し、小さなステップから始めることが可能です。自身の身体表現にデジタル技術を取り入れ、新しい地平を切り拓きたいとお考えであれば、MIDIを理解し、活用することから始めてみてはいかがでしょうか。技術者との連携も視野に入れつつ、表現の可能性を最大限に引き出してください。