ネクストステージ表現

スマートフォン/タブレットのセンサーが拓く身体表現：身近なデバイスで始めるインタラクティブパフォーマンス

はじめに：身近なデバイスで新しい表現を

ライブパフォーマンスにおいて、デジタル技術の活用は表現の可能性を大きく広げています。これまで特定の専門的な機材が必要と思われがちでしたが、実は多くの人が日常的に持ち歩いているスマートフォンやタブレットといったスマートデバイスも、強力な表現ツールとなり得ます。これらのデバイスに内蔵された多様なセンサーは、パフォーマーの動きや周囲の環境を捉え、リアルタイムに音、光、映像といった他のメディアと連動させるインタラクティブなパフォーマンスを実現するポテンシャルを秘めています。

この記事では、スマートフォンやタブレットのセンサーが身体表現にどのような可能性をもたらすのか、具体的な活用事例とともに、技術初心者でも比較的容易に始められる導入方法や、クリエイターとの連携のヒントをご紹介します。高価な専用機器がなくても、身近なデバイスからデジタルと融合した新しい表現への一歩を踏み出すことができることをお伝えいたします。

スマートデバイスの主要センサーと身体表現への応用

スマートフォンやタブレットには、様々な種類のセンサーが搭載されています。これらのセンサーから取得できるデータは、パフォーマーの身体の動きや状態、あるいはパフォーマンス空間に関する情報を取得するために活用できます。

• モーションセンサー（加速度センサー、ジャイロセンサー、磁気センサー）：
  • デバイス自体の動き（傾き、回転、加速度、角速度、方角）を計測します。
  • パフォーマーがデバイスを装着したり、小道具として使用したりすることで、身体の特定の部位の動きや、オブジェクトの操作をデータ化できます。
  • 例：デバイスの傾きに応じて映像を変化させる、ジャイロセンサーの回転速度で音色を変える、デバイスの加速度でエフェクトを発生させるなど。
• 環境センサー（照度センサー、近接センサー、気圧センサーなど）：
  • 周囲の明るさや、デバイスと物体との距離などを計測します。
  • 舞台上の照明の変化に反応して音を出す、パフォーマーがオブジェクトに近づくと映像が変化するといった演出に活用できます。
• カメラ：
  • 画像や映像を取得するだけでなく、画像認識やコンピュータービジョン技術と組み合わせることで、より高度な身体情報の取得が可能です。
  • 例：カメラ映像からパフォーマーの骨格情報をリアルタイムに追跡し（姿勢推定）、その動きを別のメディアに反映させる（OpenPoseやMediaPipeなどのライブラリを組み込んだアプリケーションが必要になる場合があります）。特定の色や形を認識してトリガーとするなど。
• マイク：
  • 音声を拾い、音量や周波数などを分析できます。
  • パフォーマーの発する声や周囲の音に反応してビジュアルや照明を変化させる、特定の音をトリガーとするインタラクティブなサウンドパフォーマンスを構築できます。

これらのセンサーから得られるデータは、デジタル信号としてリアルタイムにコンピューターや他の制御システムに送信し、様々なメディア表現と連動させることが可能です。

スマートデバイスを活用したパフォーマンス事例

スマートデバイスのセンサーは、多岐にわたるパフォーマンスジャンルで活用されています。

• ダンスパフォーマンス： ダンサーが手首や足首、腰などにスマートフォンを装着し、その動きの加速度や角速度データを取得。これらのデータに基づいて、リアルタイムに生成される抽象的なビジュアルを変化させたり、音響エフェクトを加えたりします。身体の軌跡やエネルギーを視覚化・聴覚化する新しい表現が生まれます。
• 演劇における小道具： 舞台上の特定の小道具（例：ランプ、杖）にタブレットを仕込み、そのデバイスの傾きや移動に応じて、舞台照明の色や光量、あるいは環境音を変化させます。役者の操作するオブジェクト自体が、物語世界の一部としてインタラクティブに反応する演出が可能です。
• 観客参加型インスタレーション/パフォーマンス： スマートフォンを振ったり、特定のジェスチャーをしたりといった観客の行動を、各デバイスのセンサーが感知。集計されたデータに基づいて、会場全体のプロジェクションマッピングや音響が変化します。観客がパフォーマンスの一部を創り出す体験を提供できます。
• 音楽ライブ： ミュージシャンやパフォーマーがデバイスを手に持ち、デバイスの動きでシンセサイザーのパラメーターを操作したり、エフェクトをリアルタイムにコントロールしたりします。身体的なアクションが直接的に音楽やビジュアルに影響を与える、ダイナミックな演奏表現が可能になります。

これらの事例は一部ですが、スマートデバイスのセンサーは、身体表現の情報をデジタルデータに変換し、他のメディアと組み合わせることで、既存の枠にとらわれない新しい表現の可能性を切り開いています。

技術的な導入ステップ：プログラミングなしでも始められる方法

スマートデバイスのセンサーデータをパフォーマンスに活用するために、必ずしも高度なプログラミングスキルが必要なわけではありません。いくつかの段階的なアプローチがあります。

1. 既存のコントローラーアプリを利用する:

   • 「TouchOSC」や「MobMuPlat」、「센서데이터를 OSC로 내보내는 앱 (Sensor Data to OSC App)」のような、スマートフォンやタブレットのセンサーデータをOSC（Open Sound Control）やMIDI信号としてWi-Fi経由で出力できるアプリが多数存在します。
   • これらのアプリを使用すれば、デバイスを動かすだけで、Max/MSP/Jitter、Pure Data、TouchDesigner、Processing、Ableton Liveなどの、OSCやMIDI信号を受け取れるソフトウェアにデータを送信できます。
   • メリット: プログラミング不要で、すぐにセンサーデータを活用し始められます。比較的安価または無料で利用できるアプリが多いです。
   • 必要なもの: スマートデバイス、センサーデータを受け取るPC、Wi-Fiネットワーク。

2. 簡易開発環境での連携を試す:

   • p5.js（JavaScriptライブラリ）やProcessing（Javaベースの言語/環境）など、比較的学習しやすいプログラミング環境と連携させます。
   • p5.jsであれば、p5.DeviceOrientationやp5.Accelerationのようなライブラリを利用して、ブラウザ上で動作するコードでデバイスのセンサーデータを取得できます。これにより、スマートフォン単体でインタラクティブなビジュアルやサウンドを生成することも可能です。
   • Processingの場合は、OSCライブラリなどを使用して、前述のコントローラーアプリから送信されたデータを受け取り、複雑なビジュアルを生成・制御できます。
   • メリット: よりカスタマイズされたインタラクティブな表現が可能になります。学習リソースが豊富です。
   • 必要なもの: スマートデバイス、開発環境を動作させるPC、（外部アプリを利用する場合は）Wi-Fiネットワーク。

3. ネイティブアプリ開発（上級者向け）:

   • iOS（Swift/Objective-C）やAndroid（Kotlin/Java）で専用のアプリケーションを開発します。
   • これにより、センサーデータのより詳細な制御、複数のセンサーデータの複雑な組み合わせ、カメラ画像処理との連携、他のハードウェアとの直接的な通信など、高度でカスタマイズされたシステムを構築できます。
   • メリット: 最高の自由度とパフォーマンスが得られます。独自のインタラクティブシステムをゼロから設計できます。
   • 必要なもの: スマートデバイス、アプリ開発環境を動作させるPC、開発スキル。

技術初心者の方は、まずは既存のコントローラーアプリから試してみることをお勧めします。OSCやMIDIといったデータ形式について基本的な理解を深めることで、様々なデジタルツールとの連携の道が開けます。

始めるためのヒントと考慮点

• まずは目的を明確に: どのような身体の動きや状態を検知し、それをどのように音や光、映像に反映させたいのか、具体的なアイデアを持つことが重要です。技術ありきではなく、表現ありきで考えましょう。
• 使用するセンサーを選ぶ: アイデアを実現するために、どのセンサーが最適か、取得したいデータは何かを検討します。
• データ形式とツール間の連携: センサーデータを取得するアプリやコードから、それを受け取って処理するソフトウェア（Max/MSP, TouchDesignerなど）へのデータの流れを理解します。OSCやMIDI over WiFiは、比較的多くのツールでサポートされている標準的なプロトコルです。
• 遅延（レイテンシ）と安定性: 無線通信（Wi-Fi）を使用する場合、データの送受信に遅延が生じることがあります。これはパフォーマンスの同期に影響を与える可能性があるため、十分なテストが必要です。また、通信環境によって安定性が左右されることも考慮する必要があります。有線接続やBluetoothといった代替手段が可能な場合もあります。
• 電源: パフォーマンス中にデバイスの電源が切れないよう、十分な充電や外部電源の確保が必要です。
• 固定方法: デバイスを身体やオブジェクトに装着する場合、パフォーマンス中の激しい動きでも外れないよう、しっかりと固定する方法を工夫する必要があります。

パフォーマーと技術者の連携

スマートデバイスを活用したインタラクティブパフォーマンスの実現には、パフォーマーと技術者の密な連携が不可欠です。

• パフォーマー側: どのような動きや状態を表現したいのか、技術によって何を実現したいのかを具体的に技術者に伝えることが重要です。技術的な詳細を知らなくても、「〇〇のような動きをしたら、△△のような光の色に変わってほしい」といったイメージを共有することで、技術者はそれを実現するための方法を検討できます。また、技術の特性（センサーの精度や遅延など）を理解し、それらを表現の一部として受け入れる柔軟性も時に必要です。
• 技術者側: パフォーマーの表現したいことを技術でどのようにサポートできるかを考えます。使用するデバイス、センサー、データ形式、連携するソフトウェアなどを提案し、技術的な実現可能性や課題を丁寧に説明します。プロトタイピングを繰り返し、パフォーマーと一緒に動きと技術の連携を調整していくプロセスが成功の鍵となります。

スマートデバイスのセンサー活用は、技術者とパフォーマーが共に試行錯誤しやすい、連携の入り口としても適しています。

まとめ：身近な技術で表現のフィールドを広げる

スマートフォンやタブレットに内蔵されたセンサーは、特別な機材がなくともインタラクティブなライブパフォーマンスを実現するための強力なツールです。モーションデータ、環境データ、視覚・聴覚データをリアルタイムに取得し、音、光、映像といった様々なメディア表現と連動させることで、身体表現に新しい次元を加えることができます。

既存のコントローラーアプリを利用すれば、プログラミングスキルがなくてもすぐに始めることが可能です。まずは身近なデバイスを使って、身体の動きがデジタルメディアに影響を与える感覚を体験してみてください。そこから、より複雑な表現や、パフォーマーと技術者の連携による高度なシステムの構築へと発展させていくことができるでしょう。

「ネクストステージ表現」では、これからも様々な技術と表現の融合事例をご紹介してまいります。身近なスマートデバイスから、あなたの新しい表現のフィールドを切り開いていきましょう。