原理や活用シーンを種類別にわかりやすく解説
モーションキャプチャとは？
モーションキャプチャとは、人やモノの動きをデジタルデータにする技術です。CGキャラクターのアニメーション付け、スポーツ選手の動作解析、ロボットやドローンのリアルタイム制御などに活用されます。
● エンターテインメント分野（CGアニメーション）
2009年に公開された
ジェームズ・キャメロン監督の『アバター』（Avatar）では
表情も含めモーションキャプチャデータが使用されました。
● スポーツ・科学分野（動作解析）
一流のバレエダンサーの動きを研究するためにモーションキャプチャが使用された事例です。
人の骨動きを正確に捉え、解析に繋げます。
● 三次元動作計測・制御
アーティストによるライブペインティングの動きをリアルタイムにドローンがトレースして同じ絵を描画します。
高いリアルタイム性と精度を持つものは研究開発にも使用されます。
モーションキャプチャシステムの種類とその活用例
光学式
光学式モーションキャプチャシステムは複数台のカメラを使ってマーカーの位置をトラッキングするシステムです。位置精度が高く、マーカーを付けることで人やモノをキャプチャできるので、現在最も幅広い分野で活用されています。
光学式の活用シーン
光学式は他の方式と比べて位置精度が非常に高いため、ハリウッド映画のCG制作など要求の高い現場で多く活用されています。
光学式の仕組み・原理
①光を使ってカメラがマーカーを捉える
一般的な光学式モーションキャプチャのカメラは赤外光を照射し、赤外光による映像を映します。マーカーは再帰性反射材という特殊な素材でできています。再帰性反射材は届いた光を拡散させることなく、入射角と同じ方向に反射させる特性をもっているため、反射光は光量を保ったままカメラに届きます。
- カメラが赤外光を発光
- マーカーがその光を真っ直ぐ反射
- カメラが反射された光を認識
という流れでカメラはマーカーを捉えていきます。
②マーカーの2次元位置を算出する
発光した赤外光がマーカーに反射しカメラに戻った時、カメラでは左図のような画像処理が行われます。 光量が強いほど白く映りますが、一定以上の白さを持つ画素の部分とそれ以外の部分という風に２値化します。そして白い部分の数学的な重心の位置（X,Y）を算出します。これがマーカーの2次元位置になります。
③マーカーの位置を3次元化する
1台のカメラでマーカーを捉えても奥行情報が得られないため、複数台のカメラで異なるアングルから同一マーカーを捉え、複数台分の2次元位置情報を得ます。
各カメラで得たマーカーの二次元位置情報と、各カメラの位置関係の情報（キャリブレーション結果）を組み合わせることでマーカーの3次元位置を算出します。
これらのデータを組み合わせることにより、マーカーの3次元位置を算出します。
光学式のメリット・デメリット
メリット
【位置精度の高さ】
- 他のキャプチャ方式と比較しても、最も絶対位置の精度が高いです。
- キャプチャ環境やキャリブレーションにもよりますが、多くのシステムで1ｍｍ以下の精度でキャプチャできます。
【キャプチャ対象の幅広さ】
- マーカーをつけられるものであれば人に限らずモノでもキャプチャすることができます。
デメリット
【キャプチャ環境の制限】
- キャプチャエリアを作るためにカメラを設置しなければなりません。
【マーカーの欠落】
- キャプチャエリア内にある障害物や、人の動きによってカメラがマーカーを見失うことがあります。
光学式モーションキャプチャシステムの主なメーカー
慣性式
慣性式モーションキャプチャシステムは、体に装着した慣性センサから得た加速度・角速度・方位の情報を骨格モデルに当てはめることで体の動きを計測するシステムです。
慣性式の活用シーン
慣性式は場所の制限なく、またスタジオの準備をする必要がなく使用することができるため、多くのシーンで活用されています。
フィンガーキャプチャ
慣性式のキャプチャシステムは光学式に比べ、指のキャプチャを得意とします。細かい手の動きや甲の丸みも再現します。体全体を撮る場合は指は慣性式、全身は光学式で撮ることが多いです。
ロボットの遠隔操作
人の動きで遠隔地にあるロボットを操作します。
5G通信技術との融合で災害地に送るロボットの開発などに活用されています。
歩行解析
歩行時の関節角度などの計測を行い、歩行動作の分析に活用されています。光学式に比べ場所の制限が無い点が優れています。
慣性式の仕組み・原理
動きを検知する慣性センサの代表として、加速度計や角速度計（ジャイロセンサ）が一般的ですが、モーションキャプチャにはその2つのセンサに地磁気計も加わった9軸の慣性センサがよく使われます。製品によっては気圧計も含まれた10軸センサを使用する製品もあります。
- 加速度計：直線的な動きの方向と量を測定
- 角速度計（ジャイロ）：回転した動きの方向と量を測定
- 地磁気計：地球をとりまく地磁気を検出することで方角を測定
慣性式モーションキャプチャシステムは主に人の動きの計測に活用されます。
- 被験者の体の部位ごとの動きを計測するため、各部位に慣性センサを装着します。
- 各センサから加速度・角速度・方位情報を得ます。
- それらの情報を骨格モデルの各セグメント（骨）とジョイント（関節）の動きに置き換えることで骨格モデルの位置(position)・姿勢(rotation)がわかります。
位置算出の他、信頼性の高い移動値を取得するための接地補正機能や磁場によるドラフトの補正機能など、ソフトウェアの性能によって精度が大きく左右されます。
慣性式のメリット・デメリット
メリット
【場所の制約がない】
- 体に付けたセンサーからデータを取得するため、カメラや他の機材を設置する必要がなく専用のスタジオが不要です。
【様々なシーンでの計測が可能（閉所でも計測可能）】
- カメラ等の外部センサーは使用しないため、エレベータ内のような狭小空間でのキャプチャ、ポケットに入れた指の動き、2人が密着する動作など光学式システムや画像式システムで難しい条件でもキャプチャできます。
デメリット
【位置精度が低い】
- 絶対位置の計測はせず、算出による位置情報であるため、位置精度が低いです。時間経過による誤差の蓄積も起きやすいです。
【磁場の影響が大きい】
- 慣性センサーは磁場の影響を受けやすいので、磁場が不安定な場所ではデータも不安定になる可能性が高いです。
慣性式モーションキャプチャシステムの主なメーカー
ビデオ式（画像式）
ビデオ式モーションキャプチャシステムは複数台のカメラを使って人の動きをトラッキングするシステムです。マーカーレスでも計測が可能で、精度を求めるときにはマーカーを付けて計測します。
ビデオ式（画像式）の活用シーン
マーカーレスで計測が可能なので、試合中の動きを計測してスポーツコーチングやトレーニング分野で導入されています。
野球のピッチング動作
計測したデータは解析されて、コーチングなどに反映されています。
フェイシャルキャプチャ
顔の表情をトラッキングする時はビデオ式を使うことが一般的です。動画のように光学式や慣性式で得た全身のモーションデータと組み合わせて使用することもできます。
ビデオ式（画像式）の仕組み・原理
- 複数台のカメラを使用して、光学式と同じくキャリブレーションを行います。
（光学式では赤外線カメラを使用しますが、基本的にはビデオ式で使用するのはビデオカメラやハイスピードカメラです。） - 撮影された画像から対象物と背景を分離させてシルエットを抽出します。
- 抽出されたシルエットを基に自動で骨格モデルを作成します。
- 3Dジョイントの位置と角度を抽出して、関節角度などのデータを提供します。
ビデオ式（画像式）のメリット・デメリット
メリット
【マーカーやセンサーは不要】
- スポーツ選手やリハビリ中の被験者など体に負担なく計測が可能です。
【試合中の選手の動きをキャプチャ可能】
- 望遠レンズを使用すれば広い場所でも計測が可能で、例えば野球のスタジアムで試合中の選手の動きをキャプチャすることも可能です。
デメリット
【精度が低い】
- キャリブレーションは行うものの、特にマーカーレスの場合は光学式などに比べて計測精度が劣ってしまいます。マーカーレスの場合は手動でデジタイズしたり、シルエットから自動でモデルを生成したりしますが、あくまでも見えている画像からの算出になりますので精度はあまりよくはありません。
【リアルタイム性が低い】
- ビデオ式はキャプチャしたデータを元に解析を行いますのでリアルタイム性は低いのがデメリットです。
ビデオ式（画像式）モーションキャプチャシステムの主なメーカー
・Faceware - Faceware Technologies
・Frame-DIAS Ⅴ - 株式会社DKH
その他モーションキャプチャ
磁気式
磁気式はキャプチャ空間に磁界を発生させ、その空間内にあるセンサを使って体の動きをキャプチャするシステムです。
このシステムは磁界発生装置とセンサーで主に構成されており、それぞれ
コイルという電子回路等に利用される特殊な部品が組み込まれています。
コイルには以下の特性があります。
①電流から磁界を発生させる
②磁界の変化から電流を発生させる
①は磁界発生装置に組み込まれ、②はセンサーに組み込まれています。
磁界発生装置はセンサーの位置(position)を算出させる磁界と姿勢(rotation)を算出させる磁界の二種類の複雑な磁界を発生させています。
検知するキャプチャ対象には、そのセンサーを複数取り付けることで位置・姿勢を計測することができます。
機械式
人体の各関節に機械的に角度を測定する装置を取り付け、その角度の変化から体の姿勢を読み取ります。
関節に取り付けたポテンショメータから角度を測定することで体の姿勢を読み取る仕組みです。位置は計測しておらず、用意した骨格モデルと初期姿勢からの体の姿勢の変化から腰の移動距離を算出しています。
IKinema Orion（VIVE）
【仕組み・原理】
ベースステーションから照射される赤外線を、体の各所に取り付けたトラッカー（頭、腰、両手、両足）がとらえ、その光がトラッカーまで到達する時間・角度から、対象の
位置(position)・姿勢(rotation)を計測しています。
【活用シーン】
低価格で設定も簡易なので、個人でVtuberを自作して活用されることもあります。
Kinect
【仕組み・原理】
■ Kinect Version1
Kinectから赤外線パターンを照射し、そのパターンが対象にあたって歪みが生じることで得た深度情報から、対象の位置・姿勢を求めます。
■ Kinect Version2
TOF法という方法を活用しており、Kinectから照射される赤外光が、ある物体に反射して受光センサにとらえられるまでの時間を計測し、そこからカメラから対象までの距離（深度）を求めることで、対象の位置・姿勢が得られます。
【活用シーン】
また、Kinectは対象者に取り付ける器具等がないため、ゲームやVtuber等のエンタテインメントだけでなく、リハビリなどの医療分野でも活躍しています。
モーションキャプチャシステムの種類別比較表まとめ
| 光学式 | 慣性式 | ビデオ式（画像式） | |
|---|---|---|---|
| 仕組み | 複数の赤外線カメラで対象に取り付けたマーカーの位置を計測。 | 対象に取り付けた慣性センサーの姿勢を計測。 | 複数のビデオカメラで対象のシルエットを読み取る。 |
| 位置精度 | ◎ | △ ※1 | △ |
| リアルタイム性 | ◎ | 〇 | △ |
| 早い動作 | ◎ | 〇 | ◎ |
| キャプチャ対象 | 人、物 | 人 | 人、物 |
| キャプチャ人数※2 | 複数可能 | 1人 | 複数可能 |
| キャプチャ可能範囲 | ～約30ｍ四方 | 制限なし | ～スタジアム程度 |
| 専用空間 | 必要 | 不要 | 不要 |
| セットアップ | カメラ設置＆スーツ・マーカー装着 | スーツの装着 | カメラの設置 |
| 弱点 | 遮蔽物によるマーカーの欠落 | 磁場の影響によるデータの歪み | 背景色と同化することによる誤認識 |
| 価格 | 60万円～数千万円 | 30万円～数百万円 | 40万円～数百万円 |
※1 ソフト次第で大きく変化します。
※2 1システムあたりで同時にキャプチャできる人数になります。
まとめ
一言にモーションキャプチャといっても異なる方式が存在し、仕組みも特徴も大きく違ってきます。それぞれの長所・短所を見極めて、自身の目的や環境に合わせて選んだり、組み合わせて使用したりなど応用方法も様々です。株式会社スパイスはモーションキャプチャ分野における20年以上の経験を生かし、お客様ひとりひとりのご要望に沿ったご提案をさせていただきます。お気軽にご相談くださいませ。
おまけ〜モーションキャプチャの歴史
モーションキャプチャの出発点はロトスコープと呼ばれる人やモノの動きを撮影した映像を1フレームずつトレースしリアルな動きを作る技法かもしれません。商業的なアニメーションは1914年にはすでに登場していたものの動きはぎこちないこものでしたが、1915年にマックス・フライシャーによって発明されたロトスコープにより自然なアニメーションが実現しました。1937年にはディズニーが世界初の長編アニメーション映画『白雪姫』を製作しましたが、こちらでもロトスコープが使用されました。
映像そのものをトレースするのではなく、特徴点をデータ化する現代に近いモーションキャプチャシステムはいつ頃から使われ始めたのでしょうか。
1959年、リー・ハリソン3世はアナログ回路とブラウン管を使用して、単純なコンピューターが部屋全体の大きさだった時代に、アニメーションの動きをリアルタイムで記録する方法を見つけました。
1990年代初頭にビデオゲーム会社のアクレイム・エンタテインメント（Acclaim Entertainment, Inc）ではアナログモノクロカメラと金属の多面体の反射を利用したモーションキャプチャシステムを作りました。可視光によるアナログカメラを使用していたため、部屋は全て真っ黒にし、金属の多面体がよく光るように非常に明るいライトを被写体にあてていたため部屋が非常に暑くなったそうです。ただその時に作られたモーションキャプチャフォーマットASF/AMCは今でも使用されています。
This video that screams of the 90’s is an amazing look back at the early stages of video game mocap, via director Remington Scott, in purportedly the first mocap stage dedicated to entertainment. From the video description:
日本では1994年、3D対戦型格闘ゲーム「バーチャファイター２」で初めてモーションキャプチャシステムが使われました。当時、医療関係ぐらいでしか使われていなかった技術を応用したと製作者は語っています。
エンターテイメント分野を中心にモーションキャプチャの歴史について書いてきましたが、モーションキャプチャ技術はエンターテイメント以外の分野、医療・ロボット・AR/VR等でも広く使われており、コンピュータがより早く、よりパワフルになることで、進化し続けています。近い将来、マーカーやセンサーを使わず、より少ない機材で、誰でも簡単に精度のよいモーションキャプチャができる日が来るかもしれません。
