身体表現とデジタルツイン・仮想アバターの融合：リアルとバーチャルの境界を越える新しい舞台
はじめに：身体表現の「分身」が拓く新しい領域
ライブパフォーマンスの世界において、身体表現は常に中心的な要素であり続けています。しかし、デジタル技術の進化は、この「身体」そのものの定義や表現方法を大きく変えつつあります。特に近年注目されているのが、自身の身体をデジタル空間上に再現する「デジタルツイン」や、全く異なる姿として存在する「仮想アバター」を用いたパフォーマンスです。これらの技術は、表現者の身体を物理的な制約から解放し、リアルとバーチャルの境界を曖昧にすることで、これまでにない舞台芸術の可能性を拓いています。
この記事では、デジタルツインや仮想アバターが身体表現とどのように融合し、どのような新しい表現を生み出しているのかを掘り下げていきます。技術の概要から具体的な事例、そしてこれから始めたいと考えているパフォーマーやクリエイターが知っておくべきステップや課題についてもご紹介します。
デジタルツインと仮想アバターとは何か
デジタルツインとは、現実世界の物体や空間、あるいは人間（身体）をデジタル空間に高精度に複製し、リアルタイムで連携させる技術概念です。パフォーマンスの文脈では、パフォーマー自身の身体の動きや状態をデータ化し、仮想空間上の自身の分身に反映させることがこれにあたります。
一方、仮想アバターは、必ずしも現実世界の誰かや何かを正確に再現するものではありません。ユーザーの操作によって動く、仮想空間における「もう一人の自分」あるいは全く新しいキャラクターを指します。VTuberのような活動をイメージされる方も多いかもしれませんが、ライブパフォーマンスにおいては、パフォーマーが自身のアバターを操演することで、現実の身体では不可能な動きや、異なる存在としての表現を追求することが可能になります。
これらの技術は、モーションキャプチャなどの身体データ取得技術と、3Dモデルの生成・操作技術、そしてリアルタイムレンダリング技術が組み合わさることで実現されます。
身体表現におけるデジタルツイン・仮想アバターの活用事例
デジタルツインや仮想アバターは、ライブパフォーマンスに多様な表現の可能性をもたらします。
- 自身のデジタルツインとの共演: パフォーマーが自身の身体の動きをリアルタイムでデジタルツインに反映させ、舞台上のスクリーンに投影されたデジタルツインと同時に踊る、あるいは相互作用するパフォーマンスです。自身の身体の影や拡張された存在として扱うことで、視覚的な面白さや自己との対話を表現できます。過去の動きのデータをデジタルツインに再生させ、現在の自分と過去の自分を同時に舞台に出現させるような表現も考えられます。
- 遠隔地からのパフォーマンス: 物理的に同じ空間にいなくとも、モーションキャプチャとアバターを介して共演することが可能です。一人のパフォーマーが複数の場所からアバターを操作し、一つの舞台上で複数体のアバターと共演するといった構成も実現できます。
- 非現実的な身体の表現: 仮想アバターを用いることで、人間には不可能な変形、巨大化、縮小、透明化、あるいは全く異なる物理法則に従う動きなどを表現できます。これにより、肉体の限界を超えた、想像力豊かな身体表現が生まれます。特定の感情や音楽に合わせてアバターの形状や質感が変化するようなインタラクションも効果的です。
- 仮想空間でのパフォーマンスと配信: 全編がバーチャル空間で行われ、その様子を配信する形式のパフォーマンスです。観客はVRゴーグルやPC、スマートフォンなどを通じてパフォーマンスを体験します。現実世界での舞台設営や移動といった制約が少なく、世界中の観客に届けられる可能性があります。
- 観客参加型パフォーマンス: 観客自身がシンプルアバターとなってパフォーマンス空間に参加したり、観客の身体の動きがアバターや空間に影響を与えたりするインタラクションを組み込むことも可能です。
これらの事例は、単に技術を見せるだけでなく、デジタルだからこそ可能な身体表現の拡張や、リアルとバーチャルの関係性、人間の存在といったテーマを探求する上で非常に有効な手段となります。
実現のための主要な技術要素
デジタルツインや仮想アバターを用いたパフォーマンスを実現するには、いくつかの技術要素が組み合わされます。
- モーションキャプチャ: パフォーマーの身体の動きをデジタルデータとして取得する技術です。
- 光学式: 専用のマーカーを身体に装着し、複数台のカメラでその位置を追跡するプロフェッショナルなシステムです。精度が非常に高いですが、設備が大掛かりでコストも高くなります。
- 慣性センサー式: 身体に装着したセンサー（IMUセンサーなど）の傾きや加速度から動きを推定するシステムです。比較的導入しやすく、場所を選ばないというメリットがありますが、長時間の使用ではドリフト（位置ずれ）が発生しやすいという特徴があります。
- 非接触・画像認識式: カメラ映像からAIなどが骨格を認識し、動きを追跡する技術（OpenPose, MediaPipeなど）です。Kinectのような深度センサーを使用する場合もあります。専用の装置が不要で手軽に始められますが、認識精度は環境光やカメラの性能、服装などに左右されます。Webカメラとソフトウェアだけでも実現できるため、初心者にとっての第一歩となり得ます。
- 3Dモデル/アバター: パフォーマンスに使用するデジタルツインまたは仮想アバターの3Dデータです。人型アバターを作成するツールとしては、VRoid Studioのように直感的にキャラクターを作成できるものから、Blenderのような汎用3DCGソフトウェア、UnityやUnreal Engine内でモデリングを行う方法まで様々です。
- リアルタイムレンダリング/ゲームエンジン: 取得したモーションキャプチャデータを3Dモデルに適用し、リアルタイムで映像として出力するためのソフトウェアです。UnityやUnreal Engineといったゲームエンジンがよく使用されますが、TouchDesignerやNotchのようなメディアサーバー・リアルタイムグラフィックツールも活用されます。これらのソフトウェア上で、アバターの表示、背景の生成、ライティング、エフェクトなどを制御します。
- 通信技術: リアルタイム性を保ちながら、モーションデータや映像データを送受信するための技術です。異なるソフトウェア間やネットワーク経由でのデータ連携には、OSC、MIDI、あるいはNDI、SRTといった映像伝送プロトコルが利用されます。特に遠隔パフォーマンスでは、低遅延かつ安定した通信が重要となります。
クリエイター間の連携と共創の重要性
デジタルツインや仮想アバターを用いたパフォーマンスは、多くの場合、パフォーマー単独で全てを完結させるのは困難です。モーションキャプチャエンジニア、3Dモデラー、リアルタイムグラフィックスプログラマー、システムエンジニアといった異なる専門性を持つクリエイターとの連携が不可欠となります。
- パフォーマー: どのような表現をしたいのか、身体のどのような動きをデジタルに反映させたいのか、アバターにどのような動きをさせたいのか、といったコンセプトやアイデアを明確に伝える役割を担います。自身の身体の特性や表現の意図を技術側に共有することが重要です。
- 技術者: パフォーマーのアイデアを実現するために最適な技術を選定し、システムを構築、運用します。パフォーマーが意図する表現が技術的に可能か、あるいは技術的な制約の中でどのような代替案があるかなどを提案し、協働してソリューションを見つけていきます。
- 共創プロセス: アイデア出しの段階から、技術的な試行錯誤を共に重ねる共創のアプローチが理想的です。パフォーマーが技術を理解し、技術者が身体表現への理解を深めることで、より洗練された表現が生まれます。ワークショップ形式で互いの専門分野を学び合ったり、共同でプロトタイプを制作したりといった活動が、効果的な連携につながります。
導入への第一歩と課題
デジタル技術を使った表現に興味があるものの、どこから始めれば良いか分からないパフォーマーの方もいらっしゃるかもしれません。比較的低コストで始められる方法からご紹介します。
- Webカメラと無料/安価なソフトウェア: 身近なWebカメラと、VRoid Studioのようなキャラクター作成ツール、VSeeFaceやLuppetのようなフェイストラッキング/アバタートラッキングソフトウェア、OBS Studioのような配信用ソフトウェアを組み合わせることで、上半身のアバターパフォーマンスを試すことができます。これは、技術に触れる最初のステップとして敷居が低い方法です。全身のトラッキングには、前述のOpenPoseやMediaPipeといったライブラリを用いたり、VRヘッドセットのトラッカーを利用したりといった方法もありますが、それぞれに必要なハードウェアや設定の知識が必要になります。
- 手軽な慣性センサー: MoCapスーツのようなプロフェッショナルなシステムは高価ですが、身体の数カ所に装着する比較的安価な慣性センサーデバイスも登場しています。これらを対応ソフトウェア（Unity, Unreal Engineなど）と連携させることで、全身の動きをアバターに反映させることが可能です。
導入にあたっての課題としては、以下の点が挙げられます。
- 技術習得の壁: 各ソフトウェアやハードウェアの設定、連携にはある程度の学習が必要です。
- コスト: プロフェッショナルなシステムを構築するには高額な費用がかかります。ただし、上記のように低コストで始められる選択肢も増えています。
- 表現上の課題: デジタルツインやアバターが、身体の持つ微細なニュアンス、重み、質感といった要素をどこまで正確に再現できるか、という表現上の課題は常に存在します。技術と表現のバランスをどう取るかが重要です。
- 連携の機会: 共に制作できる技術者を見つけることや、効果的なコミュニケーションを築くことも大きな課題となり得ます。技術交流会やクリエイターコミュニティに参加するなど、積極的なネットワーキングが有効です。
まとめと今後の展望
デジタルツインや仮想アバター技術は、ライブパフォーマンスにおける身体表現に革命をもたらす可能性を秘めています。自身の身体を拡張したり、全く新しい存在として表現したり、リアルとバーチャルの空間を横断したりすることで、これまでの舞台芸術の枠を超えた表現が生まれています。
これらの技術の導入は、一見難しそうに感じられるかもしれませんが、Webカメラとソフトウェアから始めるなど、比較的容易なステップも存在します。重要なのは、新しい表現への探求心と、異なる分野のクリエイターと協働するオープンな姿勢です。
今後、これらの技術がさらに進化し、より手軽に、より表現豊かに身体をデジタル化できるようになれば、デジタルツインや仮想アバターを用いたパフォーマンスは、ライブアートの新たなスタンダードの一つとなるかもしれません。ぜひ、この記事を参考に、デジタルツインや仮想アバターと身体表現の融合が拓く新しい舞台の可能性に触れてみてください。