モーションキャプチャーとは？
原理や事例、種類によるメリットデメリットをわかりやすく解説
モーションキャプチャーは、人やモノの動作を3次元データにする技術です。以下ではモーションキャプチャーの活用事例や、光学式・慣性式・マーカーレス等の仕組み、各機材のメリットデメリットを解説します。
モーションキャプチャーとは？
モーションキャプチャーとは、人やモノの動きをデジタルデータにする技術です。Vtuberや映画、ゲーム、アニメといったCGアニメーション、更にはスポーツや医療、ロボット制御、自動車業界における研究開発等、幅広い分野で使われています。
また、モーションキャプチャーシステムの中には指の動きをトラッキングすることに特化したフィンガーモーションキャプチャーシステムや、顔の表情のトラッキングに特化した、フェイシャルモーションキャプチャーシステムも存在します。
ゲームや映画・Vtuber等のCGアニメーション
映画アバターにて使用
スポーツや医療、ロボティクス等の研究開発分野
ドローンの制御に使用
モーションキャプチャーシステムの種類別比較表
モーションキャプチャーシステムには現在、光学式、慣性式、マーカーレスの主に3種類のキャプチャー方式があります。それぞれ仕組みが異なり、それによってメリットやデメリットが異なります。
| 光学式 | 慣性式 | マーカーレス | |
|---|---|---|---|
| 仕組み | 複数の赤外線カメラで対象に取り付けたマーカーの3次元位置と姿勢をデータ化。 | 対象に取り付けた慣性センサーの変位と姿勢を計測。 | ビデオカメラやLiDARセンサーで対象のシルエット・点群を読み取り骨の位置を推定。 |
| メリット | 最も高精度で再現性が高い。人だけでなく物の動きも細かくキャプチャーすることができる。 | カメラを設置する必要が無く、場所の制約が少ない。オクルージョンが発生しない。 | マーカーやスーツを身に着ける必要が無いため気軽にモーションキャプチャーできる。 |
| デメリット | 高額。マーカーを付ける必要がある。ある程度キャプチャー空間が必要。 | 精度や再現性が低い。相対位置しか録れないため誤差が蓄積（ドリフト）する。 | 光学式と比較すると位置精度が劣る。 |
| 主な使用用途 | ハイクオリティなCGアニメーション制作、Vtuber、精度検証・制御、生産技術等、人体計測、バーチャルプロダクション | CGアニメーション制作、アニメーション制作用のプリビズの作成、人体計測、個人向けVtuber | CGアニメーション制作、アニメーション制作用のプリビズの作成、人体計測、個人向けVtuber |
| 位置精度 | ◎ | △ ※ | 〇 |
| リアルタイム性 | ◎ | 〇 | 〇 |
| キャプチャー対象 | 人、物 | 人 | 人 |
| 価格帯 | 百万円～数千万円 | 数万円～数百万円 | 無料～数千万円 |
| 主なメーカー | OptiTrack 、VICON 等 | NANSENSE、MVN、mocopi 等 | Captury、MOVIN 等 |
光学式モーションキャプチャーシステム
光学式モーションキャプチャーシステムは複数台のカメラを使ってマーカーの位置をトラッキングする、現在一番主流のキャプチャーシステムです。全てのモーションキャプチャーシステムの中で最も位置精度や再現性が高く、マーカーを付けることで人やモノ、動物までキャプチャーすることができます。
光学式の活用事例
光学式モーションキャプチャーシステムは他の方式と比べて位置精度や再現性が非常に高いため、要求の高い現場で幅広く活用されています。
Vtuber
動画内容や活用シーンによって異なりますが、今世の中に存在する有名Vtuberは、光学式モーションキャプチャーシステムが使われていることが多いです。
特にダンスやVtuberLIVEなど、動きのクオリティを求められるシーンで使用されます。
研究・開発～倒立振子の安定化制御実験～
マーカーを付けることができれば、あらゆる物の位置・姿勢を1mm以下で計測することができ、遅延も限りなく少ないため、研究・開発分野にも幅広く使用されています。
この動画では、クアッドロータとモーションキャプチャーを使用した位置・姿勢計測システムを利用して、3次元の運動をフルに活用した倒立振子の安定化制御実験を行っています。
人の動作解析～労働者の作業を解析～
車の運転者や工場内の労働者、医療現場における人、スポーツ選手の動き等をトラッキングし、動作の効率化や事故予防、怪我予防、負担軽減、製品開発などに活かされています。
フォースプレートと併用し、バイオメカニクス解析を行うことも多いです。
光学式の仕組み・原理
①光を使ってカメラがマーカーを捉える
一般的な光学式モーションキャプチャーのカメラは赤外光を照射します。マーカーは再帰性反射材という特殊な素材でできており、光の入射角と反射角が同一にさせる特性を持っています。そのためカメラが発光した赤外光がマーカーに届くと、真っ直ぐそのまま反射されてカメラに届き、マーカーの位置を認識します。
②マーカーの二次元位置情報を獲得し、複数台のカメラで三次元化する
マーカーに反射されてカメラに戻ってきた赤外光は、カメラの画面上では白く表示されます。この白く表示された部分の数学的重心が各マーカーの二次元位置になります。
ただし1台のカメラでマーカーを捉えても二次位置情報しか得られないため、複数台のカメラで異なるアングルから同一マーカーを捉える必要があります。
図では、3台のカメラでそれぞれ3つのマーカーの二次元位置情報を獲得しています。
各カメラで得たマーカーの二次元位置情報と、各カメラの位置関係の情報（キャリブレーション結果）を組み合わせることでマーカーの三次元位置を算出します。
さらに1つの剛体にマーカーが3つ以上付けられていれば、その剛体の重心の三次元位置及び姿勢も計測することができます。
各カメラで得たマーカーの二次元位置情報と、各カメラの位置関係の情報（キャリブレーション結果）を組み合わせることでマーカーの三次元位置を算出します。
さらに1つの剛体にマーカーが3つ以上付けられていれば、その剛体の重心の三次元位置及び姿勢も計測することができます。
③人の動きを撮る時は、全身にマーカーを付けて骨の位置を算出する
人の動きを撮る時は、頭や体全身にマーカーを貼り付けていきます。基本的には筋肉の動きに影響を受けない、骨がむき出しになっている部分や関節の位置にマーカーを付けていきます。
そして貼り付けたマーカーから、人間の各骨の位置と姿勢、いわゆるスケルトンデータを算出します。
④CGキャラクタに反映させる
CGキャラクターに動きを反映させる場合は、③で得たスケルトンデータをCGキャラクターのスケルトンに流し込むことで動きを反映させます。
Vtuberのライブ配信はそのままそのモーションを使用し、ゲームやアニメ等のCG制作ではそこから手作業で細かい修正を行っていきます。
CGキャラクターに動きを反映させる場合は、④で得たスケルトンデータをCGキャラクターのスケルトンに流し込むことで動きを反映させます。
Vtuberのライブ配信はそのままそのモーションを使用し、ゲームやアニメ等のCG制作ではそこから手作業で細かい修正を行っていきます。
光学式のメリット・デメリット
メリット
【再現性と位置精度の高さ】
- 最も再現性と位置精度が高いモーションキャプチャーシステムです。
- 絶対位置を計測しているため、CGモデルのズレが起きず、破綻も少ないです。
- 1mm以下の精度を出すことができるので、開発製品の精度検証などにも用いられます。
【キャプチャー対象の幅広さ】
- マーカーをつけられるものであれば人に限らずモノでもキャプチャーすることができます。
デメリット
【キャプチャー環境の制限】
- キャプチャーエリアを作るためにカメラを設置しなければなりません。
【マーカーの欠落】
- キャプチャーエリア内にある障害物や、人の動きによってカメラがマーカーを見失うことがあります。
光学式モーションキャプチャーシステムの主なメーカー
OptiTrack（オプティトラック）
1mm以下の高精度でありながら、運用難易度が低くコストパフォーマンスにも優れた、最もメジャーな光学式モーションキャプチャーシステムの1つです。
その他の光学式
・QUALISYS
・VICON
・NOKOV
慣性式モーションキャプチャーシステム
慣性式モーションキャプチャーシステムは、体に装着した慣性センサから得た加速度・角速度・方位等の情報をスケルトンデータに当てはめることで体の動きを計測するシステムです。カメラを設置する必要が無いため、気軽にモーションキャプチャーすることができます。
慣性式の活用事例
エンターテインメント～Vtuberやプリビズ作成～
場所の制約が少ないため、専用スタジオを保有できない環境でもVtuberの撮影をすることが可能です。
また、ゲームやアニメ分野では一般的に光学式モーションキャプチャーシステムが使用されますが、その場合撮影コストがかかってしまいます。それらを削減するために、慣性式を用いて一度プリビズを作成するといった使われ方もします。
SONYが開発したmocopiも慣性式で、個人でも購入できる金額になっています。
研究・開発～ロボティクスや人体計測～
人体を計測し研究開発する際にも使用されます。カメラを設置することが難しい環境や狭小空間でも使用できることがメリットになります。
左の画像では人の動きで遠隔地にあるロボットを操作しています。5G通信技術との融合で災害地に送るロボットの開発などに活用されています。
慣性式の仕組み・原理
一般的に加速度計や角速度計（ジャイロセンサ）が組み込まれた、IMUセンサーというものが使用されます。また、モーションキャプチャーシステムによっては地磁気計や気圧計も含まれた9軸や10軸の慣性センサも存在します。
- 加速度計：物体の加速度と方向を測定
- 角速度計（ジャイロ）：物体の回転方向と量を測定
- 地磁気計：地球をとりまく地磁気を検出することで方角を測定
- 被験者の体の部位ごとの動きを計測するため、各部位に慣性センサを装着します。
- 各センサから加速度・角速度・方位情報を得ます。
- それらの情報を骨格モデルの各セグメント（骨）とジョイント（関節）の動きに置き換えることで骨格モデルの位置(position)・姿勢(rotation)がわかります。
慣性式のメリット・デメリット
メリット
【場所の制約がない】
- 体に付けたセンサーからデータを取得するため、カメラや他の機材を設置する必要がなく運用難易度が低いです。
- 狭小空間でのキャプチャー、ポケットに入れた指の動き、2人が密着する動作など光学式システムや画像式システムで難しい条件でもキャプチャーできます。
【金額帯が安い】
- 製品によりますが、平均的に光学式モーションキャプチャーシステムより安価で導入することが可能です。
- 精度を必要としないモーションの撮影は慣性式で行い、必要とする場合は光学式を使用するという使い分けが可能です。
デメリット
【位置精度が低い】
- 絶対位置ではなく相対位置による計測であるため、位置精度が低いです。
- 製品によっては、階段を昇る、椅子に座って足を上げるなどといった動作は、都度原点を設定しないと正しいモーションが取れなくなります。
- 地磁気系が内蔵されていない慣性センサーでは、時間経過による蓄積誤差（ドリフト）が発生します。
【磁場の影響を受ける場合がある】
- 地磁気計が内蔵された慣性センサーは、蓄積誤差が起きない一方で、強磁場が発生している環境ではデータが破綻してしまいます。
なお、似たようなシステムで、スタジオが不要という慣性式のメリットを持ちながら、位置精度の低さ、蓄積誤差の発生といった慣性式のデメリットを無くしたインサイドアウト方式のMoAといった製品もあります。
慣性式モーションキャプチャーシステムの主なメーカー
NANSENSE（ナンセンス）
NANSENSEはプロフェッショナル向けでありながら200万円程度から導入できる慣性式モーションキャプチャーシステムです。
慣性式において一般的に苦手とされている、椅子に座って足を上げる、ジャンプをするといった動作も事前にキャリブレーションで登録することで、オンラインで正しくキャプチャーが可能です
その他の慣性式
・mocopi
・MVN - Xsens
・perception neuron - NOITOM
・Rokoko
マーカーレスモーションキャプチャーシステム
マーカーレスモーションキャプチャーシステムは1台、もしくは複数台のビデオカメラやLiDARセンサーを使って人の動きをトラッキングするシステムです。スーツやセンサーを人体に取り付けることなく計測が可能なため、演者への負担が少なく、効率的にモーションキャプチャーできる点がメリットです。
個人がWEBカメラを用いてVtuberをする際に使用するシステムも、大枠で言えばマーカーレスモーションキャプチャーシステムと言えます。
マーカーレスの活用事例
マーカーレスモーションキャプチャーシステムは現在最も多くの種類が存在しており、個人VtuberからプロフェッショナルなCGアニメーション制作、人体解析などソフトウェアによって目的が異なる場合が多いです。
エンターテインメント～VtuberやCGアニメーション制作～
ハイクオリティなものであれば、光学式に近しいクオリティでモーションキャプチャーが可能です。
マーカーを付ける必要が無いため、本来のパフォーマンスが発揮しやすく、またスーツやマーカーを取り付ける時間がかからないため効率的に撮影が可能です。
製品例）Captury、MOVIN等
人体計測～野球のピッチング動作～
計測する周囲にカメラを複数台置いてモーションキャプチャーを行います。体にマーカーを付けたりスーツを着る必要が無いため、車いすに乗っている方などスーツが着にくい人でも問題無くキャプチャーができます。
光学式と同様にフォースプレートと併用して逆運動学や逆動力学解析を行うことも多いです。
製品例）Simi Motion Capture、THEYA 3D等
マーカーレスの仕組み・原理
- 複数台のカメラを使用して、光学式と同じくキャリブレーションを行います。WEBカメラ等1台のカメラからモーションキャプチャーできる製品もありますが、複数台用いてトラッキングするシステムの方がトラッキングできる動きの幅が広く、高精度です。
- 撮影された画像から対象物と背景を分離させてシルエットや点群データを抽出します。
- 抽出されたシルエットや点群データを基に自動で骨格モデルを作成します。
- 3Dジョイントの位置と角度を抽出して、関節角度などのデータを提供します。
マーカーレスのメリット・デメリット
メリット
【マーカーやセンサーは不要】
- アクターや被験者の体に負担なく計測が可能です。
- マーカーやスーツを取り付ける時間がかからないため、効率的にサクサクモーションキャプチャーが可能です。
【試合中の選手の動きをキャプチャー可能】
- 望遠レンズを使用すれば広い場所でも計測が可能で、例えば野球のスタジアムで試合中の選手の動きをキャプチャーすることも可能です。
デメリット
【精度が低い】
- 光学式と比較すると精度が落ちます。
- 大部分が隠れてしまうとスケルトンが壊れてしまいます。
マーカーレスモーションキャプチャーシステムの主なメーカー
Captury（キャプチャリー）
Capturyはマーカーレスでありながら指の動きまで精細に撮れる、現存するマーカーレスの中で最もハイクオリティなモーションキャプチャーシステムです。
リアルタイム性にも優れており、カメラは要求スペックを満たしていれば市販のものでもトラッキング可能で、最大10人まで同時にキャプチャーすることが可能です。
MOVIN（ムービン）
MOVINはデバイス1台、セットアップ3分、キャリブレーション3秒でできる、とにかく手軽さに特化したマーカーレスモーションキャプチャーシステムです。
LiDARセンサーを使用しており、精度は光学式モーキャプと比較して93%となります。
・Simi Motion Capture
・THEYA 3D
・Webcam Motion Capture
・Cyanpuppets
・iClone Motion Live
その他のモーションキャプチャーシステム
MoA（VIVE Ultimate Tracker）
【仕組み・原理】
MoAはVIVE Ultimate Trackerを用いたインサイドアウト式のモーションキャプチャーシステムです。
一般的にカメラを使うタイプのモーションキャプチャーシステムは、人やモノの周囲にカメラを設置し、そこから対象物をトラッキングする『アウトサイドイン方式』となります。しかしMoAは2つの広角カメラが付いたVIVE Ultimate Trackerを体に身に着け、周囲の情報を記憶し、そのズレ捉えてモーションキャプチャーをする『インサイドアウト方式』となります。
周囲にカメラを置く必要が無いためどこでも気軽にモーションキャプチャーをすることができ、さらにカメラを使っているので位置精度に優れ、慣性式にありがちな滑りや蓄積誤差が置きません。
【活用シーン】
- 専用スタジオを設置できないが、プロクオリティのモーションキャプチャーをする場合に利用されます。
- 光学式スタジオでモーキャプをする上でのプレビズ作成用途で使用されています。
Kinect
【仕組み・原理】
■ Kinect Version1
デプスセンサーを活用したモーションキャプチャーシステムです。Kinectから赤外線パターンを照射し、そのパターンが対象にあたって歪みが生じることで得た深度情報から、対象の位置・姿勢を求めます。
■ Kinect Version2
TOF法という方法を活用しており、Kinectから照射される赤外光が、ある物体に反射して受光センサにとらえられるまでの時間を計測し、そこからカメラから対象までの距離（深度）を求めることで、対象の位置・姿勢が得られます。
【活用シーン】
また、Kinectは対象者に取り付ける器具等がないため、ゲームやVtuber等のエンタテインメントだけでなく、医療や臨床分野でも使用されています。
動画からアニメーションを生成
モーションキャプチャーの定義から若干外れるかもしれませんが、近年は既に撮影した動画を読み込んで、AIでモーションを生成するツールも出てきています。
■Wonder Studio
スティーヴン・スピルバーグが監督を務める『レディ・プレイヤー・１』の主演俳優が開発したCGアニメーションを生成するAIツールです。
カメラで撮影された映像をインポートすると、そこに映っている実写の人の動きや照明を読み取り、指定のCGキャラクターにアニメーションやライティングを反映させることができます。つまり、映像内の実写の人をそのままCGキャラクターに置き換えることが可能なツールです。
フィンガーモーションキャプチャーシステム
フィンガーモーションキャプチャーシステムとは指のトラッキングに特化したモーションキャプチャーシステムです。いくつか種類が存在し、再現度が高いため細かい指の動きを撮る時はこのキャプチャーグローブを使うことが一般的です。
上記で紹介した慣性式の他に磁気式や曲げセンサー式等が存在します。光学式やマーカーレスといったカメラから指の動きを視てでトラッキングするシステムもありますが、指は複雑かつ繊細な動きをし、かつ腕を組んだりするとカメラから視えなくなってしまうため、センサー内蔵型のグローブが最適です。
Manus Glove（磁気センサー）
原理
手の甲に付いた装置が強磁場を発生し、指先の磁気センサーが読み取ってモーションをキャプチャーします。
メリット
指先の長さを同時に計測するため再現性が高いです。
主な活用シーン
エンターテインメント、研究開発
StretchSense（伸び縮みセンサー）
原理
関節が曲がった際に指の箇所に内蔵された伸び縮みセンサーが伸縮度を算出し、モーションをキャプチャーします。
メリット
フィット感があり指先が出ているので演者が使いやすいデザインです。
主な活用シーン
エンターテインメント
G6 Mocap Gloves（慣性センサー）
原理
指先に内蔵された複数のIMUセンサーが各指の骨の位置・姿勢の変化量を算出しモーションをキャプチャーします。
メリット
最も再現性が高く、手の甲や丸みも表現します。
主な活用シーン
研究開発
フェイシャル モーションキャプチャーシステム
フェイシャルモーションキャプチャーシステムとは、顔の表情をトラッキングすることに特化したモーションキャプチャーシステムです。
動画のように光学式や慣性式で得た全身のモーションデータと組み合わせて使用することもできます。
YanusSTUDIO
原理
全身のマーカーレスと基本的に仕組みは同じで、1台のカメラから表情の特徴点を算出してトラッキングし、3Dモデルに反映させます。
メリット
単なるキャプチャーだけでなく、モデルのリギングやブレンドシェイプ、キャプチャデータの編集、出力、リアルタイムストリーミングまで全て行えるソフトウェアです。
主な活用シーン
ゲームやアニメ等のCGアニメーション制作
まとめ
一言にモーションキャプチャーと言っても仕組みや特徴が大きく異なります。それぞれの長所・短所を見極めて、自身の目的や環境に合わせて最適なシステムを選択する必要があります。
株式会社スパイスはモーションキャプチャー分野における20年以上の経験を生かし、お客様ひとりひとりに合ったご提案をさせていただきます。お気軽にご相談くださいませ。
おまけ〜モーションキャプチャーの歴史
モーションキャプチャーの出発点はロトスコープと呼ばれる人やモノの動きを撮影した映像を1フレームずつトレースしリアルな動きを作る技法かもしれません。商業的なアニメーションは1914年にはすでに登場していたものの動きはぎこちないものでした。1915年にマックス・フライシャーによって発明されたロトスコープにより自然なアニメーションが実現しました。1937年にはディズニーが世界初の長編アニメーション映画『白雪姫』を製作しましたが、こちらでもロトスコープが使用されました。
This video that screams of the 90’s is an amazing look back at the early stages of video game mocap, via director Remington Scott, in purportedly the first mocap stage dedicated to entertainment. From the video description:
エンターテイメント分野を中心にモーションキャプチャーの歴史について書いてきましたが、モーションキャプチャー技術はエンターテイメント以外の分野、医療・ロボット・AR/VR等でも広く使われており、コンピュータがより早く、よりパワフルになることで、進化し続けています。近い将来、マーカーやセンサーを使わず、より少ない機材で、誰でも簡単に精度のよいモーションキャプチャーができる日が来るかもしれません。
