モーションキャプチャとは?

原理や活用シーンを種類別にわかりやすく解説

モーションキャプチャとは人やモノの動きをデジタル化する技術です。
映画やゲーム、医療、ロボット制御など幅広い分野で使われています。
以下ではモーションキャプチャの仕組み、活用例、メリットデメリット等を種類別に解説します。

目次

モーションキャプチャとは?

モーションキャプチャとは、CGキャラクターのアニメーションをつけたり、スポーツ選手の動きを解析したりできるように、人やモノの動きをデジタルデータにする技術です。
モーキャプと省略されることもあります。この技術により、動きのデータ収集や分析・評価もしやすくなりました。

● エンターテインメント分野(CGアニメーション)

2009年に公開された
ジェームズ・キャメロン監督の『アバター』(Avatar)では
表情も含めモーションキャプチャデータが使用されました。

● スポーツ・科学分野(動作解析)

一流のバレエダンサーの動きを研究するために
モーションキャプチャが使用された事例です。

● 軍事・防衛分野(VR)

V-Armed Fully Immersive Simulator
ニューヨーク市警では実際の事件現場を想定したシューティング訓練をVRを使って行っています。

モーションキャプチャシステムの種類とその活用例

モーションキャプチャシステムには様々なキャプチャ方法があり、それぞれで違った特徴を持ちます。キャプチャ対象物や環境など、使用シーンに合わせて最適なシステムを選んだり、組み合わせたりします。
下記では、現在主流となる光学式・慣性式・ビデオ式を中心にその原理や事例を紹介します。

光学式

光学式モーションキャプチャシステムは複数台のカメラを使ってマーカーの位置をトラッキングするシステムです。位置精度が高く、マーカーを付けることで人やモノをキャプチャできるので、現在最も幅広い分野で活用されています。

光学式の活用シーン

光学式は他の方式と比べて位置精度が非常に高いため、ハリウッド映画のCG制作など要求の高い現場で多く活用されています。

光学式モーションキャプチャ活用事例

棒を直立に保つドローン制御

ドローンにマーカーを付け、位置をリアルタイムで算出し制御に組み込むことで、棒が倒れないように自動制御をさせています。

野球の投球動作におけるけがの原因を解析

フォースプレートと同期させることで、関節等の各位置と、力の関係からけがの原因を解析します。

ハイクオリティなVtuberを実現

今流行りのVtuber。キレイに動いているキャラクタは光学式を用いていることが多いです。

光学式の仕組み・原理

①光を使ってカメラがマーカーを捉える

一般的な光学式モーションキャプチャのカメラは赤外光を照射し、赤外光による映像を映します。マーカーは再帰性反射材という特殊な素材でできています。再帰性反射材は届いた光を拡散させることなく、入射角と同じ方向に反射させる特性をもっているため、反射光は光量を保ったままカメラに届きます。

  • カメラが赤外光を発光
  • マーカーがその光を真っ直ぐ反射
  • カメラが反射された光を認識

という流れでカメラはマーカーを捉えていきます。

②マーカーの2次元位置を算出する

発光した赤外光がマーカーに反射しカメラに戻った時、カメラでは左図のような画像処理が行われます。 光量が強いほど白く映りますが、一定以上の白さを持つ画素の部分とそれ以外の部分という風に2値化します。そして白い部分の数学的な重心の位置(X,Y)を算出します。これがマーカーの2次元位置になります。

③マーカーの位置を3次元化する

1台のカメラでマーカーを捉えても奥行情報が得られないため、複数台のカメラで異なるアングルから同一マーカーを捉え、複数台分の2次元位置情報を得ます。

各カメラで得たマーカーの二次元位置情報と、各カメラの位置関係の情報(キャリブレーション結果)を組み合わせることでマーカーの3次元位置を算出します。

これらのデータを組み合わせることにより、マーカーの3次元位置を算出します。

光学式のメリット・デメリット

メリット

【位置精度の高さ】

  • 他のキャプチャ方式と比較しても、最も絶対位置の精度が高いです。
  • キャプチャ環境やキャリブレーションにもよりますが、多くのシステムで1mm以下の精度でキャプチャできます。

【キャプチャ対象の幅広さ】

  • マーカーをつけられるものであれば人に限らずモノでもキャプチャすることができます。

デメリット

【キャプチャ環境の制限】

  • キャプチャエリアを作るためにカメラを設置しなければなりません。

【マーカーの欠落】

  • キャプチャエリア内にある障害物や、人の動きによってカメラがマーカーを見失うことがあります。

光学式モーションキャプチャシステムの主なメーカー

慣性式

慣性式モーションキャプチャシステムは、体に装着した慣性センサから得た加速度・角速度・方位の情報を骨格モデルに当てはめることで体の動きを計測するシステムです。

慣性式の活用シーン

慣性式は場所の制限なく、またスタジオの準備をする必要がなく使用することができるため、多くのシーンで活用されています。

慣性式モーションキャプチャ活用事例

ロボットの遠隔操作

人の動きで遠隔地にあるロボットを操作します。
5G通信技術との融合で災害地に送るロボットの開発などに活用されています。

歩行解析

歩行時の関節角度などの計測を行い、歩行動作の分析に活用されています。

Vtuberの自作~パーセプションニューロンを用いた個人のVtuber制作~

パーセプションニューロンを装着してキャラクターを動かす様子をご覧いただけます。

VR教育コンテンツの制作

製造業におけるシミュレーション教育コンテンツの制作に活用されます。

慣性式の仕組み・原理

動きを検知する慣性センサの代表として、加速度計や角速度計(ジャイロセンサ)が一般的ですが、モーションキャプチャにはその2つのセンサに地磁気計も加わった9軸の慣性センサがよく使われます。製品によっては気圧計も含まれた10軸センサを使用する製品もあります。

  • 加速度計:直線的な動きの方向と量を測定
  • 角速度計(ジャイロ):回転した動きの方向と量を測定
  • 地磁気計:地球をとりまく地磁気を検出することで方角を測定

慣性式モーションキャプチャシステムは主に人の動きの計測に活用されます。

  1. 被験者の体の部位ごとの動きを計測するため、各部位に慣性センサを装着します。

  2. 各センサから加速度・角速度・方位情報を得ます。

  3. それらの情報を骨格モデルの各セグメント(骨)とジョイント(関節)の動きに置き換えることで骨格モデルの位置(position)・姿勢(rotation)がわかります。

位置算出の他、信頼性の高い移動値を取得するための接地補正機能や磁場によるドラフトの補正機能など、ソフトウェアの性能によって精度が大きく左右されます。

慣性式のメリット・デメリット

メリット

【場所の制約がない】

  • 体に付けたセンサーからデータを取得するため、カメラや他の機材を設置する必要がなく専用のスタジオが不要です。

【様々なシーンでの計測が可能(閉所でも計測可能)】

  • カメラ等の外部センサーは使用しないため、エレベータ内のような狭小空間でのキャプチャ、ポケットに入れた指の動き、2人が密着する動作など光学式システムや画像式システムで難しい条件でもキャプチャできます。

【準備時間が短い】

デメリット

【位置精度が低い】

  • 絶対位置の計測はせず、算出による位置情報であるため、位置精度が低いです。時間経過による誤差の蓄積も起きやすいです。

【磁場の影響が大きい】

  • 慣性センサーは磁場の影響を受けやすいので、磁場が不安定な場所ではデータも不安定になる可能性が高いです。

慣性式モーションキャプチャシステムの主なメーカー

ビデオ式(画像式)

ビデオ式モーションキャプチャシステムは複数台のカメラを使って人の動きをトラッキングするシステムです。マーカーレスでも計測が可能で、精度を求めるときにはマーカーを付けて計測します。

ビデオ式(画像式)の活用シーン

マーカーレスで計測が可能なので、試合中の動きを計測してスポーツコーチングやトレーニング分野で導入されています。

ビデオ式(画像式)の活用事例

野球のピッチング動作

計測したデータは解析されて、コーチングなどに反映されています。

歩行解析などバイオメカニクス分野

マーカーレスなので、被験者への負担がないので、リハビリ分野などにも応用されています。

やり投げの投擲瞬間

屋外でももちろん計測が可能です。ハイスピードカメラを使用すれば速い動きもキャプチャが可能です。

ビデオ式(画像式)の仕組み・原理

  1. 複数台のカメラを使用して、光学式と同じくキャリブレーションを行います。
    (光学式では赤外線カメラを使用しますが、基本的にはビデオ式で使用するのはビデオカメラやハイスピードカメラです。)

  2. 撮影された画像から対象物と背景を分離させてシルエットを抽出します。

  3. 抽出されたシルエットを基に自動で骨格モデルを作成します。

  4. 3Dジョイントの位置と角度を抽出して、関節角度などのデータを提供します。

光学式などで使用されるマーカーは付けても付けなくても計測が可能です。また、任意のポイントの情報がほしい場合にはマーカーを使用して計測することが可能です。(マーカーは反射マーカーやカラーマーカーやカラーLEDマーカーを使用します)

ビデオ式(画像式)のメリット・デメリット

メリット

【マーカーやセンサーは不要】

  • スポーツ選手やリハビリ中の被験者など体に負担なく計測が可能です。

【試合中の選手の動きをキャプチャ可能】

  • 望遠レンズを使用すれば広い場所でも計測が可能で、例えば野球のスタジアムで試合中の選手の動きをキャプチャすることも可能です。

デメリット

【精度が低い】

  • キャリブレーションは行うものの、特にマーカーレスの場合は光学式などに比べて計測精度が劣ってしまいます。マーカーレスの場合は手動でデジタイズしたり、シルエットから自動でモデルを生成したりしますが、あくまでも見えている画像からの算出になりますので精度はあまりよくはありません。

【背景色との同化】

  • 対象物と背景を分離させる際に同系色だったりすると抽出ミスを起こすことがあります。

【リアルタイム性が低い】

  • ビデオ式はキャプチャしたデータを元に解析を行いますのでリアルタイム性は低いのがデメリットです。

ビデオ式(画像式)モーションキャプチャシステムの主なメーカー

・SIMI REALITY MOTION SYSTEMS GMBH社 - SIMI

・株式会社DKH - Frame-DIAS Ⅴ

磁気式

磁気式はキャプチャ空間に磁界を発生させ、その空間内にあるセンサを使って体の動きをキャプチャするシステムです。

OnInnovation on Flickr

磁気式の仕組み・原理

このシステムは磁界発生装置とセンサーで主に構成されており、それぞれ
コイルという電子回路等に利用される特殊な部品が組み込まれています。

コイルには以下の特性があります。

①電流から磁界を発生させる
②磁界の変化から電流を発生させる

①は磁界発生装置に組み込まれ、②はセンサーに組み込まれています。

磁界発生装置はセンサーの位置(position)を算出させる磁界と姿勢(rotation)を算出させる磁界の二種類の複雑な磁界を発生させています。

検知するキャプチャ対象には、そのセンサーを複数取り付けることで位置・姿勢を計測することができます。

磁気式のメリット・デメリット

メリット

【カメラを使用しないため、遮蔽物などによる死角がない】

デメリット

【磁場の影響を受けやすい】

  • 金属や磁材材料のない環境を用意する必要があります。

【動きの制約】

  • 体に取り付けたセンサの配線により、キャプチャ対象の動きを制限する可能性があります。

磁気式モーションキャプチャシステムのメーカー

機械式

人体の各関節に機械的に角度を測定する装置を取り付け、その角度の変化から体の姿勢を読み取ります。

機械式の仕組み・原理

関節に取り付けたポテンショメータから角度を測定することで体の姿勢を読み取る仕組みです。位置は計測しておらず、用意した骨格モデルと初期姿勢からの体の姿勢の変化から腰の移動距離を算出しています。

機械式のメリット・デメリット

メリット

【周囲の環境に影響されない】

【ワイヤレスで広範囲・長時間の計測が可能】

【カメラを使用しないため、遮蔽物などによる死角がない】

デメリット

【動きの制約】

  • 装置を増やすと配線が多くなるため、動きが制限されます。

その他モーションキャプチャ

IKinema Orion(VIVE)

【仕組み・原理】

ベースステーションから照射される赤外線を、体の各所に取り付けたトラッカー(頭、腰、両手、両足)がとらえ、その光がトラッカーまで到達する時間・角度から、対象の
位置(position)・姿勢(rotation)を計測しています。

【活用シーン】

低価格で設定も簡易なので、個人でVtuberを自作して活用されることもあります。

Kinect

【仕組み・原理】

■ Kinect Version1

Kinectから赤外線パターンを照射し、そのパターンが対象にあたって歪みが生じることで得た深度情報から、対象の位置・姿勢を求めます。

How Microsoft Kinect works with Infrared

■ Kinect Version2

TOF法という方法を活用しており、Kinectから照射される赤外光が、ある物体に反射して受光センサにとらえられるまでの時間を計測し、そこからカメラから対象までの距離(深度)を求めることで、対象の位置・姿勢が得られます。

【活用シーン】

また、Kinectは対象者に取り付ける器具等がないため、ゲームやVtuber等のエンタテインメントだけでなく、リハビリなどの医療分野でも活躍しています。

Reflexion Health uses Kinect for Windows to bring physical therapy into patients’ homes

モーションキャプチャシステムの種類別比較表まとめ

 光学式慣性式ビデオ式(画像式)
仕組み複数の赤外線カメラで対象に取り付けたマーカーの位置を計測。対象に取り付けた慣性センサーの姿勢を計測。複数のビデオカメラで対象のシルエットを読み取る。
位置精度△ ※1
リアルタイム性
早い動作
キャプチャ対象人、物人、物
キャプチャ人数※2複数可能1人複数可能
キャプチャ可能範囲~約30m四方制限なし~スタジアム程度
専用空間必要不要不要
セットアップカメラ設置&スーツ・マーカー装着スーツの装着カメラの設置
弱点遮蔽物によるマーカーの欠落磁場の影響によるデータの歪み背景色と同化することによる誤認識
価格60万円~数千万円30万円~数百万円40万円~数百万円

※1 ソフト次第で大きく変化します。
※2 1システムあたりで同時にキャプチャできる人数になります。

まとめ

一言にモーションキャプチャといっても異なる方式が存在し、仕組みも特徴も大きく違ってきます。それぞれの長所・短所を見極めて、自身の目的や環境に合わせて選んだり、組み合わせて使用したりなど応用方法も様々です。株式会社スパイスはモーションキャプチャ分野における20年以上の経験を生かし、お客様ひとりひとりのご要望に沿ったご提案をさせていただきます。お気軽にご相談くださいませ。

おまけ〜モーションキャプチャの歴史

モーションキャプチャの出発点はロトスコープと呼ばれる人やモノの動きを撮影した映像を1フレームずつトレースしリアルな動きを作る技法かもしれません。商業的なアニメーションは1914年にはすでに登場していたものの動きはぎこちないこものでしたが、1915年にマックス・フライシャーによって発明されたロトスコープにより自然なアニメーションが実現しました。1937年にはディズニーが世界初の長編アニメーション映画『白雪姫』を製作しましたが、こちらでもロトスコープが使用されました。

映像そのものをトレースするのではなく、特徴点をデータ化する現代に近いモーションキャプチャシステムはいつ頃から使われ始めたのでしょうか。

DOCUMENTARY – Digital Characters with Motion Capture

1959年、リー・ハリソン3世はアナログ回路とブラウン管を使用して、単純なコンピューターが部屋全体の大きさだった時代に、アニメーションの動きをリアルタイムで記録する方法を見つけました。

1990年代初頭にビデオゲーム会社のアクレイム・エンタテインメント(Acclaim Entertainment, Inc)ではアナログモノクロカメラと金属の多面体の反射を利用したモーションキャプチャシステムを作りました。可視光によるアナログカメラを使用していたため、部屋は全て真っ黒にし、金属の多面体がよく光るように非常に明るいライトを被写体にあてていたため部屋が非常に暑くなったそうです。ただその時に作られたモーションキャプチャフォーマットASF/AMCは今でも使用されています。

This video that screams of the 90’s is an amazing look back at the early stages of video game mocap, via director Remington Scott, in purportedly the first mocap stage dedicated to entertainment. From the video description:

日本では1994年、3D対戦型格闘ゲーム「バーチャファイター2」で初めてモーションキャプチャシステムが使われました。当時、医療関係ぐらいでしか使われていなかった技術を応用したと製作者は語っています。

エンターテイメント分野を中心にモーションキャプチャの歴史について書いてきましたが、モーションキャプチャ技術はエンターテイメント以外の分野、医療・ロボット・AR/VR等でも広く使われており、コンピュータがより早く、よりパワフルになることで、進化し続けています。近い将来、マーカーやセンサーを使わず、より少ない機材で、誰でも簡単に精度のよいモーションキャプチャができる日が来るかもしれません。