モーションキャプチャーとは？
原理や事例、種類によるメリットデメリットをわかりやすく解説
モーションキャプチャーは、人やモノの動作を3次元データにする技術です。以下ではモーションキャプチャーの活用事例や、光学式・慣性式・マーカーレス等の仕組み、各機材のメリットデメリットを解説します。
モーションキャプチャーとは？
モーションキャプチャーとは、人やモノの動きをデジタルデータにする技術です。Vtuberや映画、ゲーム、アニメといったCGアニメーション、更にはスポーツや医療、ロボット制御、自動車業界における研究開発等、幅広い分野で使われています。
また、モーションキャプチャーシステムの中には指の動きをトラッキングすることに特化したフィンガーモーションキャプチャーシステムや、顔の表情のトラッキングに特化した、フェイシャルモーションキャプチャーシステムも存在します。
ゲームや映画・Vtuber等のCGアニメーション
映画アバターにて使用
スポーツや医療、ロボティクス等の研究開発分野
ドローンの制御に使用
モーションキャプチャーシステムの種類別比較表
モーションキャプチャーシステムには現在、光学式、慣性式、マーカーレスの主に3種類のキャプチャー方式があります。それぞれ仕組みが異なり、それによってメリットやデメリットが異なります。
| 光学式 | 慣性式 | マーカーレス（動画式） | |
|---|---|---|---|
| 仕組み | 複数の赤外線カメラで対象に取り付けたマーカーの3次元位置と姿勢をデータ化。 | 対象に取り付けた慣性センサーの変位と姿勢を計測。 | ビデオカメラで対象のシルエットを読み取り骨の位置を推定。 |
| メリット | 最も高精度で再現性が高い。人だけでなく物の動きも細かくキャプチャーすることができる。 | カメラを設置する必要が無く、場所の制約が少ない。オクルージョンが発生しない。 | マーカーやスーツを身に着ける必要が無いため気軽にモーションキャプチャーできる。 |
| デメリット | 高額。マーカーを付ける必要がある。 | 精度や再現性が低い。相対位置しか録れないため誤差が蓄積（ドリフト）する。 | 精度や再現性が低い。スケルトンが壊れやすい。 |
| 主な使用用途 | ハイクオリティなCGアニメーション制作、Vtuber、精度検証・制御、生産技術等、人体計測、バーチャルプロダクション | CGアニメーション制作、アニメーション制作用のプリビズの作成、人体計測、個人向けVtuber | CGアニメーション制作、アニメーション制作用のプリビズの作成、人体計測、個人向けVtuber |
| 位置精度 | ◎ | △ ※ | △ |
| リアルタイム性 | ◎ | 〇 | △ |
| キャプチャー対象 | 人、物 | 人 | 人 |
| 価格帯 | 百万円～数千万円 | 数万円～数百万円 | 無料～数千万円 |
| 主なメーカー | OptiTrack 、VICON 等 | NANSENSE、MVN、mocopi 等 | Cyanpuppets、THEYA 3D 等 |
| 光学式 | 慣性式 | マーカーレス | |
|---|---|---|---|
| メリット | 再現性が高い | カメラ不要 | センサー不要 |
| デメリット | 高額 | 再現性が低い | 再現性が低い |
| 位置精度 | ◎ | △ ※ | △ |
| リアルタイム性 | ◎ | 〇 | △ |
| キャプチャー対象 | 人、物 | 人 | 人 |
| 価格帯 | 百万円～数千万円 | 数万円～数百万円 | 無料～数千万円 |
光学式モーションキャプチャーシステム
光学式モーションキャプチャーシステムは複数台のカメラを使ってマーカーの位置をトラッキングする、現在一番主流のキャプチャーシステムです。全てのモーションキャプチャーシステムの中で位置精度や再現性が最も高く、マーカーを付けることで人以外のあらゆるものや動物もキャプチャーできるので、幅広い分野で活用されています。
光学式の活用事例
光学式モーションキャプチャーシステムは他の方式と比べて位置精度や再現性が非常に高いため、要求の高い現場で幅広く活用されています。
Vtuber
動画内容や活用シーンによって異なりますが、今世の中に存在する有名Vtuberは、光学式モーションキャプチャーシステムが使われていることが多いです。
特にダンスやVtuberLIVEなど、動きのクオリティを求められるシーンで使用されます。
研究・開発～倒立振子の安定化制御実験～
マーカーを付けることができれば、あらゆる物の位置・姿勢を1mm以下で計測することができ、遅延も限りなく少ないため、研究・開発分野にも幅広く使用されています。
この動画では、クアッドロータとモーションキャプチャーを使用した位置・姿勢計測システムを利用して、3次元の運動をフルに活用した倒立振子の安定化制御実験を行っています。
人の動作解析～労働者の作業を解析～
車の運転者や工場内の労働者、医療現場における人、スポーツ選手の動き等をトラッキングし、動作の効率化や事故予防、怪我予防、負担軽減、製品開発などに活かされています。
フォースプレートと併用し、バイオメカニクス解析を行うことも多いです。
光学式の仕組み・原理
①光を使ってカメラがマーカーを捉える
一般的な光学式モーションキャプチャーのカメラは赤外光を照射します。マーカーは再帰性反射材という特殊な素材でできており、光の入射角と反射角が同一にさせる特性を持っています。そのためカメラが発光した赤外光がマーカーに届くと、真っ直ぐそのまま反射されてカメラに届き、マーカーの位置を認識します。
②マーカーの二次元位置情報を獲得し、複数台のカメラで三次元化する
マーカーに反射されてカメラに戻ってきた赤外光は、カメラの画面上では白く表示されます。この白く表示された部分の数学的重心が各マーカーの二次元位置になります。
ただし1台のカメラでマーカーを捉えても二次位置情報しか得られないため、複数台のカメラで異なるアングルから同一マーカーを捉える必要があります。
図では、3台のカメラでそれぞれ3つのマーカーの二次元位置情報を獲得しています。
各カメラで得たマーカーの二次元位置情報と、各カメラの位置関係の情報（キャリブレーション結果）を組み合わせることでマーカーの三次元位置を算出します。
さらに1つの剛体にマーカーが3つ以上付けられていれば、その剛体の重心の三次元位置及び姿勢も計測することができます。
各カメラで得たマーカーの二次元位置情報と、各カメラの位置関係の情報（キャリブレーション結果）を組み合わせることでマーカーの三次元位置を算出します。
さらに1つの剛体にマーカーが3つ以上付けられていれば、その剛体の重心の三次元位置及び姿勢も計測することができます。
③人の動きを撮る時は、全身にマーカーを付けて骨の位置を算出する
人の動きを撮る時は、頭や体全身にマーカーを貼り付けていきます。基本的には筋肉の動きに影響を受けない、骨がむき出しになっている部分や関節の位置にマーカーを付けていきます。
そして貼り付けたマーカーから、人間の各骨の位置と姿勢、いわゆるスケルトンデータを算出します。
④CGキャラクタに反映させる
CGキャラクターに動きを反映させる場合は、④で得たスケルトンデータをCGキャラクターのスケルトンに流し込むことで動きを反映させます。
Vtuberのライブ配信はそのままそのモーションを使用し、ゲームやアニメ等のCG制作ではそこから手作業で細かい修正を行っていきます。
CGキャラクターに動きを反映させる場合は、④で得たスケルトンデータをCGキャラクターのスケルトンに流し込むことで動きを反映させます。
Vtuberのライブ配信はそのままそのモーションを使用し、ゲームやアニメ等のCG制作ではそこから手作業で細かい修正を行っていきます。
光学式のメリット・デメリット
メリット
【再現性と位置精度の高さ】
- 最も再現性と位置精度が高いモーションキャプチャーシステムです。
- 絶対位置を計測しているため、CGモデルのズレが起きず、破綻も少ないです。
- 1mm以下の精度を出すことができるので、開発製品の精度検証などにも用いられます。
【キャプチャー対象の幅広さ】
- マーカーをつけられるものであれば人に限らずモノでもキャプチャーすることができます。
デメリット
【キャプチャー環境の制限】
- キャプチャーエリアを作るためにカメラを設置しなければなりません。
【マーカーの欠落】
- キャプチャーエリア内にある障害物や、人の動きによってカメラがマーカーを見失うことがあります。
光学式モーションキャプチャーシステムの主なメーカー
OptiTrack（オプティトラック）
1mm以下の高精度でありながら、運用難易度が低くコストパフォーマンスにも優れた、最もメジャーな光学式モーションキャプチャーシステムの1つです。
その他の光学式
・QUALISYS
・VICON
・NOKOV
慣性式モーションキャプチャーシステム
慣性式モーションキャプチャーシステムは、体に装着した慣性センサから得た加速度・角速度・方位等の情報をスケルトンデータに当てはめることで体の動きを計測するシステムです。カメラを設置する必要が無いため、気軽にモーションキャプチャーすることができます。
慣性式の活用事例
エンターテインメント～Vtuberやプリビズ作成～
場所の制約が少ないため、専用スタジオを保有できない環境でもVtuberの撮影をすることが可能です。
また、ゲームやアニメ分野では一般的に光学式モーションキャプチャーシステムが使用されますが、その場合撮影コストがかかってしまいます。それらを削減するために、慣性式を用いて一度プリビズを作成するといった使われ方もします。
SONYが開発したmocopiも慣性式で、個人でも購入できる金額になっています。
研究・開発～ロボティクスや人体計測～
人体を計測し研究開発する際にも使用されます。カメラを設置することが難しい環境や狭小空間でも使用できることがメリットになります。
左の画像では人の動きで遠隔地にあるロボットを操作しています。5G通信技術との融合で災害地に送るロボットの開発などに活用されています。
慣性式の仕組み・原理
一般的に加速度計や角速度計（ジャイロセンサ）が組み込まれた、IMUセンサーというものが使用されます。また、モーションキャプチャーシステムによっては地磁気計や気圧計も含まれた9軸や10軸の慣性センサも存在します。
- 加速度計：物体の加速度と方向を測定
- 角速度計（ジャイロ）：物体の回転方向と量を測定
- 地磁気計：地球をとりまく地磁気を検出することで方角を測定
- 被験者の体の部位ごとの動きを計測するため、各部位に慣性センサを装着します。
- 各センサから加速度・角速度・方位情報を得ます。
- それらの情報を骨格モデルの各セグメント（骨）とジョイント（関節）の動きに置き換えることで骨格モデルの位置(position)・姿勢(rotation)がわかります。
慣性式のメリット・デメリット
メリット
【場所の制約がない】
- 体に付けたセンサーからデータを取得するため、カメラや他の機材を設置する必要がなく運用難易度が低いです。
- 狭小空間でのキャプチャー、ポケットに入れた指の動き、2人が密着する動作など光学式システムや画像式システムで難しい条件でもキャプチャーできます。
【金額帯が安い】
- 製品によりますが、平均的に光学式モーションキャプチャーシステムより安価で導入することが可能です。
- 精度を必要としないモーションの撮影は慣性式で行い、必要とする場合は光学式を使用するという使い分けが可能です。
デメリット
【位置精度が低い】
- 絶対位置ではなく相対位置による計測であるため、位置精度が低いです。
- 製品によっては、階段を昇る、椅子に座って足を上げるなどといった動作は、都度原点を設定しないと正しいモーションが取れなくなります。
- 地磁気系が内蔵されていない慣性センサーでは、時間経過による蓄積誤差（ドリフト）が発生します。
【磁場の影響を受ける場合がある】
- 地磁気計が内蔵された慣性センサーは、蓄積誤差が起きない一方で、強磁場が発生している環境ではデータが破綻してしまいます。
慣性式モーションキャプチャーシステムの主なメーカー
NANSENSE（ナンセンス）
NANSENSEはプロフェッショナル向けでありながら200万円程度から導入できる慣性式モーションキャプチャーシステムです。
慣性式において一般的に苦手とされている、椅子に座って足を上げる、ジャンプをするといった動作も事前にキャリブレーションで登録することで、オンラインで正しくキャプチャーが可能です
その他の慣性式
・mocopi
・MVN - Xsens
・perception neuron - NOITOM
・Rokoko
マーカーレス（動画式）モーションキャプチャーシステム
マーカーレスモーションキャプチャーシステムは1台、もしくは複数台のカメラを使って人の動きをトラッキングするシステムです。スーツやセンサーを人体に取り付けることなく計測が可能なため、演者への負担が少なく撮影難易度が低い点が特徴です。
人体解析の他に個人がWEBカメラを用いてVtuberをする際に使用するシステムも、大枠で言えばマーカーレス、もしくは動画式モーションキャプチャーシステムと言えます。
マーカーレス（動画式）の活用事例
マーカーレスモーションキャプチャーシステムは現在最も多くの種類が存在しており、個人Vtuber向け、CGアニメーション制作向け、人体解析向けなどソフトウェアによって目的が異なる場合が多いです。
WEBカメラによるトラッキング～Vtuber～
個人でVtuberを行う場合は、WEBカメラによるマーカーレスモーションキャプチャーを使用する場合が多いです。Blender等でモデルを制作し、Unityに流して使用するものもあれば、CG制作からリターゲットまでソフトウェア1つで完結するものもあります。
精度は落ちるものの、カメラ一台で気軽に運用できて価格も安価な点がメリットです。
製品例）Webcam Motion Capture、Cyanpuppets、Dollars mocap等
人体計測～野球のピッチング動作～
計測する周囲にカメラを複数台置いてモーションキャプチャーを行います。体にマーカーを付けたりスーツを着る必要が無いため、被験者は本来のパフォーマンスを発揮しやすいです。
光学式と同様にフォースプレートと併用して逆運動学や逆動力学解析を行うことも多いです。
製品例）Simi Motion Capture、THEYA 3D等
マーカーレス（動画式）の仕組み・原理
- 複数台のカメラを使用して、光学式と同じくキャリブレーションを行います。WEBカメラ等1台のカメラからモーションキャプチャーできる製品もありますが、複数台用いてトラッキングするシステムの方がトラッキングできる動きの幅が広く、高精度です。
- 撮影された画像から対象物と背景を分離させてシルエットを抽出します。
- 抽出されたシルエットを基に自動で骨格モデルを作成します。
- 3Dジョイントの位置と角度を抽出して、関節角度などのデータを提供します。
マーカーレス（動画式）のメリット・デメリット
メリット
【マーカーやセンサーは不要】
- アクターや被験者の体に負担なく計測が可能です。
- 個人でVtuberをする場合でも、WEBカメラ1つでモーションキャプチャーすることができます。
【試合中の選手の動きをキャプチャー可能】
- 望遠レンズを使用すれば広い場所でも計測が可能で、例えば野球のスタジアムで試合中の選手の動きをキャプチャーすることも可能です。
デメリット
【精度が低い】
- 光学式と比較すると精度が落ちます。あくまでも見えている映像からの算出になるため再現性が低いです。
【リアルタイム性が低い】
- キャプチャーしたデータを元に解析を行うため、他のシステムと比較すると遅延が大きいです。
マーカーレス（動画式）モーションキャプチャーシステムの主なメーカー
・Simi Motion Capture
・THEYA 3D
・Webcam Motion Capture
・Cyanpuppets
・iClone Motion Live
・YanusSTUDIO
その他のモーションキャプチャーシステム
IKinema Orion（VIVE）
【仕組み・原理】
ベースステーションから照射される赤外線を、体の各所に取り付けたトラッカー（頭、腰、両手、両足）がとらえ、その光がトラッカーまで到達する時間・角度から、対象の位置(position)・姿勢(rotation)を計測しています。
【活用シーン】
低価格で設定も簡易なので、個人でVtuberを自作して活用されることもあります。
Kinect
【仕組み・原理】
■ Kinect Version1
デプスセンサーを活用したモーションキャプチャーシステムです。Kinectから赤外線パターンを照射し、そのパターンが対象にあたって歪みが生じることで得た深度情報から、対象の位置・姿勢を求めます。
■ Kinect Version2
TOF法という方法を活用しており、Kinectから照射される赤外光が、ある物体に反射して受光センサにとらえられるまでの時間を計測し、そこからカメラから対象までの距離（深度）を求めることで、対象の位置・姿勢が得られます。
【活用シーン】
また、Kinectは対象者に取り付ける器具等がないため、ゲームやVtuber等のエンタテインメントだけでなく、医療や臨床分野でも使用されています。
動画からアニメーションを生成
モーションキャプチャーの定義から若干外れるかもしれませんが、近年は既に撮影した動画を読み込んで、AIでモーションを生成するツールも出てきています。
■Wonder Studio
スティーヴン・スピルバーグが監督を務める『レディ・プレイヤー・１』の主演俳優が開発したCGアニメーションを生成するAIツールです。
カメラで撮影された映像をインポートすると、そこに映っている実写の人の動きや照明を読み取り、指定のCGキャラクターにアニメーションやライティングを反映させることができます。つまり、映像内の実写の人をそのままCGキャラクターに置き換えることが可能なツールです。
フィンガーモーションキャプチャーシステム
フィンガーモーションキャプチャーシステムとは指のトラッキングに特化したモーションキャプチャーシステムです。いくつか種類が存在し、再現度が高いため細かい指の動きを撮る時はこのキャプチャーグローブを使うことが一般的です。
上記で紹介した慣性式の他に磁気式や曲げセンサー式等が存在します。光学式やマーカーレスといったカメラから指の動きを視てでトラッキングするシステムもありますが、指は複雑かつ繊細な動きをし、かつ腕を組んだりするとカメラから視えなくなってしまうため、センサー内蔵型のグローブが最適です。
Manus Glove（磁気センサー）
原理
手の甲に付いた装置が強磁場を発生し、指先の磁気センサーが読み取ってモーションをキャプチャーします。
メリット
指先の長さを同時に計測するため再現性が高いです。
主な活用シーン
エンターテインメント、研究開発
StretchSense（伸び縮みセンサー）
原理
関節が曲がった際に指の箇所に内蔵された伸び縮みセンサーが伸縮度を算出し、モーションをキャプチャーします。
メリット
フィット感があり指先が出ているので演者が使いやすいデザインです。
主な活用シーン
エンターテインメント
G6 Mocap Gloves（慣性センサー）
原理
指先に内蔵された複数のIMUセンサーが各指の骨の位置・姿勢の変化量を算出しモーションをキャプチャーします。
メリット
最も再現性が高く、手の甲や丸みも表現します。
主な活用シーン
研究開発
フェイシャル モーションキャプチャーシステム
フェイシャルモーションキャプチャーシステムとは、顔の表情をトラッキングすることに特化したモーションキャプチャーシステムです。
動画のように光学式や慣性式で得た全身のモーションデータと組み合わせて使用することもできます。
YanusSTUDIO
原理
全身のマーカーレスと基本的に仕組みは同じで、1台のカメラから表情の特徴点を算出してトラッキングし、3Dモデルに反映させます。
メリット
単なるキャプチャーだけでなく、モデルのリギングやブレンドシェイプ、キャプチャデータの編集、出力、リアルタイムストリーミングまで全て行えるソフトウェアです。
主な活用シーン
ゲームやアニメ等のCGアニメーション制作
まとめ
一言にモーションキャプチャーと言っても仕組みや特徴が大きく異なります。それぞれの長所・短所を見極めて、自身の目的や環境に合わせて最適なシステムを選択する必要があります。
株式会社スパイスはモーションキャプチャー分野における20年以上の経験を生かし、お客様ひとりひとりに合ったご提案をさせていただきます。お気軽にご相談くださいませ。
おまけ〜モーションキャプチャーの歴史
This video that screams of the 90’s is an amazing look back at the early stages of video game mocap, via director Remington Scott, in purportedly the first mocap stage dedicated to entertainment. From the video description:
エンターテイメント分野を中心にモーションキャプチャーの歴史について書いてきましたが、モーションキャプチャー技術はエンターテイメント以外の分野、医療・ロボット・AR/VR等でも広く使われており、コンピュータがより早く、よりパワフルになることで、進化し続けています。近い将来、マーカーやセンサーを使わず、より少ない機材で、誰でも簡単に精度のよいモーションキャプチャーができる日が来るかもしれません。
