#5 基本的なワークフロー

このセクションでは、カメラのキャリブレーションから最終的なデータのエクスポートまで、Capturyにおけるモーションキャプチャの全工程をステップバイステップで解説します。

カメラキャリブレーション

カメラキャリブレーションは、トラッキング精度を保証するための最も重要な初期ステップです。このプロセスは、フォーカス調整、レンズキャリブレーション、ボリュームキャリブレーションの3つの主要な段階に分かれています。

フォーカス調整
ワークフローバーから Focus ツールを選択します。カメラビューには、物体のエッジが緑色のオーバーレイで強調表示されます。各カメラのレンズリングを手で回し、この緑色のエッジが最もシャープで明るく表示されるようにピントを合わせます。
レンズキャリブレーション（内部パラメータ）
このステップでは、レンズの歪みや焦点距離などの内部パラメータを較正します。
Lens タブで Capture Calibration Board をクリックし、キャリブレーションボードをカメラの前で、ビュー全体をカバーするように様々な角度で動かします。
1. FLIRカメラの場合
  1. スパイスから納品したキャリブレーションボードを使用する場合は
    Calibrate / Advanced Settings / Calibration Board Presetから
    60cm × 40cm(6 × 4 color squares)を選択してください。

すべてのカメラでビューが緑色に変わり、Depth Angleが十分になったら、 Stop Capture Calibration Board をクリックし、 Calibrate Lens をクリックします。
結果として表示される再投影誤差（Error）が2ピクセル未満の低い値であることを確認します。

ボリュームキャリブレーション（外部パラメータ）
このステップでは、各カメラの空間内での位置と向きを計算します。
Volume タブで Capture Calibration Board をクリックし、キャプチャエリアの中央でボードを複数のカメラに同時に見えるように動かします。
ボードを動かしていくと、各カメラビューにはサンプルとなるドットが表示されていきます。すべてのカメラでドットが緑色になったら Calibrate をクリックします。
※すべてのサンプルが７０以上溜まると自動で計算がスタートします。

結果が問題なければ Continue ボタンをクリックします。
床（フロア）の設定
キャリブレーションの最終ステップです。キャリブレーションボードをボリューム中央の床に平らに置き、 Set Floor ボタンをクリックします。
これにより、地面が定義され、座標系の原点と向きが設定されます。
1. スパイスから納品したキャリブレーションボードを使用する場合は、
  青いSquareが+Z、赤いSquareが+X、緑のSquareの中心が原点になります。

リアルタイムで確認できないカメラでのキャリブレーション（GoProなど）

GoProやiPhoneなどの映像を使用する場合、レンズキャリブレーションやボリュームキャリブレーション、フロアの設定などをCaptury上でリアルタイムに確認しながら行うことはできません。事前にキャリブレーションボードを振っている映像を録画し、録画された映像を使って各工程の流れを実行します。

一連の流れはメーカー動画を参照ください。
https://www.youtube.com/watch?v=454gnIQ5mjs&t=331s

動画の読み込みに関しては“レコーディングおよびShotManagementPanelについて”をご確認ください。

アクターの初期化とスケーリング

正確なトラッキングを行うためには、デフォルトのスケルトンを各パフォーマー固有の体型や外見に合わせて調整（スケーリング）する必要があります。

新しいアクターのトラッキングを開始するには、主に2つの方法があります。

検索エリアを使用する方法
画面上の検索サークルを有効にし、パフォーマーがそのエリアに歩いて入ることで自動的に検出・追跡を開始します。
ドラッグ＆ドロップする方法
ツールバーのスケルトンアイコンをカメラビュー内のパフォーマーの上にドラッグ＆ドロップすることで、手動で追跡を開始します。

スケーリングと最適化プロセス

アクターが最初に検出された後、パフォーマーは短い（約10秒間）範囲のモーションシーケンスを実行します。この動作は、システムが腕や脚の長さ、関節の位置といった身体の正確な寸法を把握するのに役立ちます。
具体的には、肩で腕を回す、肘や膝を曲げる、左右にステップを踏むなど、主要な四肢の動きをシステムにはっきりと見せるような動作が効果的です。

スケルトン管理

一度スケーリングされたスケルトンはファイルとして保存でき、次回以降のセッションで同じパフォーマーを撮影する際に再読み込みすることが可能です。これにより、初期化プロセスを省略できます。また、オプションで指（Finger）や顔（Face）のトラッキングを有効にすることもできます。

Motion Filterについて

Capturyにはリアルタイムモーションフィルターとポスト処理用のモーションフィルターが存在しています。

リアルタイムモーションフィルター（Realtime Motion Filter)
- 1-Euroフィルター（1ユーロフィルター）
  動きの「遅延」と「ジッター」のトレードオフを調整するために、Min　CutoffとBetaというパラメーターがあります。
  - Min Cutoff
    低速時、静止時の揺れを制御します。数値を下げるほど、ジッターは消えますがその分、動きに対する遅延が大きくなります。
  - Beta
    高速時の遅延を制御します。高速時にフィルターを弱める感度。値が大きいほど高速時の遅延が少なくなります。
ポスト処理用モーションフィルター(Post processing Motion Filter)
- Butterworthフィルター（双方向処理、時間の歪みが発生しない）
  - Min Cutoff
    低速時、静止時の揺れを制御します。数値を下げるほど、ジッターが消えます。
- Adaptiveフィルター（設定によっては時間の歪みが発生する）
  - Min Cutoff
    低速時、静止時の揺れを制御します。ジッターは消えますがその分、動きに対する遅延が大きくなります。
  - Beta
    高速時にフィルターを弱める感度。
  - Max Cutoff
    フィルターを弱める「限界値（上限）」

レコーディングおよびShotManagementPanelについて

画面下部のショット管理パネルは、モーションキャプチャのテイクを整理、録画、注釈付けするために使用されます。

① Create New Directory：選択ディレクトリに新しいディレクトリを作成
② Create New Empty Shot：空のショットを作成
③ Create New Shot Imported Videos：別途録画したビデオを使用したショットを作成

録画ワークフロー

プロジェクトフォルダの設定
まず、すべてのプロジェクトファイルを保存するためのメインディレクトリを選択します。
ショットリストの作成
録画セッションを整理するために、事前に空のショットを作成し、名前を付けておくことができます
（例：「Test」、「Hello」）
録画の実行
Record ボタンを押して録画を開始します。Capturyは自動的に「Take 001」という名前でテイクを作成し、同じショットで再録画すると「Take 002」のように自動で番号が割り振られます。
メタデータの管理
録画後、パネルを使用してテイクを確認し、評価（星）、コメント、などのカスタムカラムを追加して、データを効率的に管理できます。

Create New Shot Imported Videos 使用方法

別途録画したビデオを読み込む場合の一般的な手順を以下に記します。

Create New Shot Imported Videosボタンを押し、ショット名を入力する。
Initialize New Shot ウインドウが開きます。

Add Filesからビデオを選択する
- 読み込めるビデオフォーマットとしてはlibAVがサポートしているすべてのコーデック及びコンテナ、高度に最適化された独自のMJPEGデコーダーをサポートしてます。
（事前に用意があれば）Browseからキャリブレーションファイルを選択する
OKボタンを押してShotを作成する

※選択肢として以下の３種類があります。

Copy Video to New Shot
shotフォルダに動画をコピーする。容量を圧迫するがデータを一か所にまとめられます。
Import Videos as MJPEG
MJPEGとして読み込む。元動画のコーデックにより再生が重たい場合はMJPEGに変換して読み込むと軽くなります。しかMJPEGは非常に重たいデータになるります。
Link to Original Videos
オリジナルフォルダの動画をリンクさせる。容量を圧迫しませんが、データ管理が煩雑になります。

データエクスポートについて

Capturyは、録画したモーションを様々なフォーマットで自動的にエクスポートする機能を備えています。

対応フォーマット
主要なエクスポートフォーマットとして FBX、BVH、CSV がサポートされています。
- CSVについて
  - Basic CSV (.csv): biomechanical analysis（生体分析）に主に使用されます。
  - 3D Projected (_3Dprojected.csv): カメラを原点とした３次元位置が出されます。AIトレーニングに有用です。
  - Landmarks (_landmarks.csv): 3Dグローバル座標のジョイント位置データです。
  - Occupancy (_occupancy.csv): ボリュームがどのように分割されているかを示すデータで、定義された領域にスケルトンがどれだけの時間滞在したかを表します。
  - Projected (_projected.csv): 3D projectedと似ていますが、奥行き情報を含まないデータです。
  - Alt (_alt.csv): 解剖学的解析に基づいたジョイントの分解およびフィルタリング（Chart 2.0パネルで示されているものと同様）です。
- Chart (_chart.csv): 旧Chartパネルで選択したカーブ（左膝の屈曲や右腕の捻りなど）が出力されます。
プリセット
Unreal Engine、Unity、Blenderなどの一般的なソフトウェア向けに、座標系や単位を自動設定するプリセットが用意されています。
座標系と単位
上方向の軸（Y-up vs. Z-up）や単位（メートル、ミリメートルなど）をプロジェクトの要件に合わせて設定できます。
ルートボーンの追加
リターゲティングやアニメーション編集を容易にするために、静的な、あるいはモーションを持つルートボーンを追加するオプションがあります。