身体のリアルタイム3Dクローンを舞台に：ボリュメトリックキャプチャ技術とライブパフォーマンスの新しい可能性
はじめに
ライブパフォーマンスの世界では、常に新しい表現方法が探求されています。特に近年、デジタル技術の進化は、身体表現のあり方を大きく変えつつあります。その中でも注目を集めている技術の一つに、「ボリュメトリックキャプチャ」があります。
ボリュメトリックキャプチャは、対象の形状や動きをリアルタイムまたは事前に3Dデータとして記録する技術です。従来のモーションキャプチャが身体の骨格情報や動きの軌跡を捉えるのに対し、ボリュメトリックキャプチャは身体そのものの「ボリューム（体積や形状）」を、質感や色情報を含めて丸ごとデータ化します。
この技術をライブパフォーマンスに応用することで、パフォーマーの身体をデジタル空間にリアルタイムな3Dクローンとして出現させたり、変形させたりすることが可能になります。これにより、現実の身体だけでは実現不可能な、全く新しい次元の身体表現や舞台演出が生まれています。
本稿では、ボリュメトリックキャプチャ技術の概要から、ライブパフォーマンスにおける具体的な応用例、そして技術導入の課題と展望について解説し、この技術が拓く表現の新しい可能性を探ります。
ボリュメトリックキャプチャ技術の基礎
ボリュメトリックキャプチャは、複数のカメラや深度センサーを用いて、空間内の対象を様々な角度から同時に撮影・計測することで実現されます。これらのセンサーから得られた膨大なデータは、専用のソフトウェアによって統合・処理され、リアルタイムまたはニアリアルタイムで動的な3Dモデル（ボリュメトリックビデオ、ボリュメトリックアクターなどと呼ばれます）が生成されます。
従来のモーションキャプチャが、パフォーマーにマーカーを装着させたり、特定の深度センサーで骨格情報を推定したりする手法であるのに対し、ボリュメトリックキャプチャは身体の表面形状や衣服のひだ、髪の動きなども含めた詳細なビジュアル情報を捉えることができます。これにより、よりリアルで視覚的に豊かなデジタルツインやクローンを作り出すことが可能になります。
技術的な構成要素としては、高解像度のRGBカメラ、深度センサー（例：ToFセンサー、構造化光センサー）、強力なデータ処理用のコンピューター、そしてキャプチャしたデータをリアルタイムに処理・表示するためのソフトウェアやレンダリングエンジンが必要となります。システム構築には専門的な知識と高額な機材が必要となる場合が多く、これが普及への一つのハードルとなっています。
ライブパフォーマンスにおけるボリュメトリックキャプチャの応用例
ボリュメトリックキャプチャ技術は、ライブパフォーマンスにおいて多岐にわたる表現の可能性を開きます。いくつかの具体的な応用例をご紹介します。
1. リアルタイム3Dクローンの舞台出現
パフォーマーの身体をリアルタイムにボリュメトリックキャプチャし、その3Dデータを舞台上の大型スクリーンやプロジェクションマッピング、あるいは透過スクリーンなどにリアルタイムで投影することで、現実のパフォーマーと等身大の、あるいは拡大・縮小されたデジタルクローンを共演させることができます。これにより、一人のパフォーマーが複数の自己と対話したり、仮想空間に出現したりするような、視覚的に強烈な演出が可能になります。
2. デジタル空間での身体の変形とエフェクト
キャプチャされた3Dデータは、デジタル空間で様々な加工が可能です。パフォーマーの動きに合わせて身体が液体のように変形したり、光の粒子となって拡散したり、幾何学的なパターンをまとったりするなど、物理法則や解剖学的な制約を超えた表現を実現できます。TouchDesignerやUnity、Unreal Engineといったリアルタイム処理が可能なソフトウェアと連携させることで、これらのエフェクトを即興的に変化させることも可能です。
3. 遠隔地パフォーマーのリアルタイム参加
複数の場所にキャプチャスタジオを設置すれば、異なる場所にいるパフォーマーの3Dクローンを同じ仮想空間や物理的な舞台空間に同時に出現させることができます。これにより、地理的な制約を超えたコラボレーションパフォーマンスが可能となり、新型コロナウイルスのパンデミック下で注目された遠隔パフォーマンスにも新しい次元をもたらします。
4. 過去のパフォーマンスデータの重ね合わせ
事前にキャプチャしておいた過去のパフォーマンスデータを、ライブ中のパフォーマーの動きとリアルタイムに重ね合わせて表示することも可能です。これにより、時間軸を超えた共演や、自己の過去の動きとの対話といった、哲学的なテーマを含む表現にも深みを与えることができます。
5. VR/AR環境との連携
キャプチャしたリアルタイム3DデータをVRヘッドセットを通して見ることで、観客はパフォーマーのデジタルクローンを間近で、あるいは様々な視点から観察するといった没入感の高い体験を得られます。また、AR（拡張現実）として現実の空間にパフォーマーのデジタルクローンを出現させるような試みも、イベントやインスタレーションとして実現が期待されます。
技術導入の課題と展望
ボリュメトリックキャプチャ技術のライブパフォーマンスへの導入には、いくつかの課題が存在します。
まず、システム構築と運用にかかるコストが高い点が挙げられます。高解像度カメラや深度センサーを複数台設置し、それらを統合・処理するための高性能なコンピューターシステムが必要です。また、キャプチャを行うための専用スタジオのような空間も必要となる場合があります。
次に、リアルタイム処理におけるデータ量と遅延の問題です。高精細な3Dデータをリアルタイムにキャプチャし、処理して表示するには、非常に高い計算能力が求められます。遅延（レイテンシー）は、パフォーマーの動きとデジタルクローンの表示との間にずれを生じさせ、パフォーマンスの質を損なう可能性があります。
しかし、技術の進歩はこれらの課題を少しずつ克服しています。近年では、Microsoft Kinect Azureのような比較的安価な深度センサーを複数台利用し、オープンソースのソフトウェアと組み合わせることで、簡易的なボリュメトリックキャプチャシステムを構築する試みも行われています。これにより、高額な専用システムには及ばないまでも、研究開発や小規模な実験パフォーマンスを行うためのハードルが下がりつつあります。
また、この分野のパフォーマンスを実現するには、パフォーマーの身体表現のスキルに加え、ボリュメトリックキャプチャシステムの知識、3Dグラフィックスのリアルタイム処理技術、そしてそれらを統合するプログラミングやシステムインテグレーションのスキルが必要です。そのため、異なる専門性を持つクリエイター（パフォーマー、技術者、アーティスト）が緊密に連携することが極めて重要になります。クリエイター同士が互いの専門分野を理解し、共通のビジョンに向かって協力することが、技術を単なるツールとしてだけでなく、表現を深めるためのパートナーとして活用する鍵となります。
今後の展望としては、キャプチャ技術の小型化・高性能化、データ圧縮・伝送技術の向上により、より手軽に、より高品質なリアルタイムボリュメトリックキャプチャが実現されることが期待されます。これにより、劇場空間だけでなく、様々な場所でのパフォーマンスやインタラクティブアートへの応用が進むでしょう。
まとめ
ボリュメトリックキャプチャ技術は、身体のリアルタイム3Dクローン生成という、これまでにないアプローチでライブパフォーマンスの表現を拡張する可能性を秘めています。現実の身体とデジタル空間の身体が交錯し、物理的な制約から解放された新しい身体表現が生まれる現場が、今後ますます増えていくと考えられます。
技術導入には課題も存在しますが、比較的安価なデバイスの登場や、クリエイター間の連携強化によって、その裾野は広がりつつあります。ダンサーやパフォーマーがこの技術の可能性を知り、技術者やビジュアルアーティストと積極的に関わることで、次世代のライブパフォーマンスはさらに進化していくでしょう。この技術が、あなたの新しい表現のインスピレーションとなることを願っています。