Virtual Production（バーチャルプロダクション）

チェッカーボードのグリッドやARタグを使用して、レンズの歪みや画角を計算し、各パラメータ値をレンズ校正データ (※Q4参照) としてまとめる作業のこと。

取得したレンズ校正データは、3Dエンジンの仮想カメラオブジェクトにレンズファイルとして格納します。ずれのない実写CG合成を実現するには、ズーム/フォーカスの全可動域で正確なパラメータ値が必要になります。CalibFX Lensは、高品質かつ最大1.5時間でレンズ校正データを取得することができるレンズキャリブレーションソフトウェアです。Unreal Engine、Aximmetry、Pixotope、Zero Density、Vizrt、Brainstormなどの各種3Dエンジン向けにレンズファイルを生成できます。

次の2つのオフセット値を計算する作業のこと。

スタジオオフセット：実写空間の原点とカメラトラッキングシステムのワールド原点の位置合わせ。
センサーオフセット：トラッカーの中心位置とカメラの光軸中心の位置合わせ。

CalibFX Lineupは、実写空間に置いたARタグのキューブを映すことで、スタジオオフセット値とセンサーオフセット値を計算し、3Dエンジンの仮想カメラオブジェクトのトランスフォームにこれらの値を反映させます。ずれのない実写CG合成を実現するためには、スタジオオフセット値とセンサーオフセット値の2つの値が重要になります。

撮影カメラにトラッキングセンサーを取り付けて、Position (X・Y・Z)、Rotation (Pan・Tilt・Roll)、Lens (Zoom・Focus) をリアルタイムにトラッキング (追跡) するシステムのこと。

トラッキングデータは、FreeD(D1)の通信プロトコルが一般に普及しています。FreeDを使用する場合は、レンズファイルを3Dエンジンに格納し、カメラトラッキングシステムから出力されるZoom・Focusのエンコーダ値に基づいて、画角 (Field of View)・歪み (K1/K2)・入射瞳距離オフセット (Nodal Offset)・焦点距離 (Focus Distanse)が計算され、これらのパラメータ値が仮想カメラに反映します。

以下、レンズキャリブレーションで計算される、レンズ校正データ内のパラメータ値の一覧です。

• Sensor Size : センサーサイズ。厳密には、解像度・アスペクト比設定時の有効センサーサイズのこと。
• Center Shift : 中心シフト。光軸ずれの中心位置までのシフト。Cx:水平方向の中心シフト、Cy:垂直方向の中心シフト。ズームと歪みは、この点を中心に調整されます。
• Focal Length : ズーム焦点距離。
• Focus Distance : フォーカス焦点距離。
• HFOV : 水平画角。
• K1・K2 : Brown-Conradyモデルの歪み係数。通常、K1が正の場合は糸巻き型（中心が凹む）、負の場合は樽型（中心が膨らむ）の歪みを表します。
• Nodal Offset ( = Entrance Pupil Distance) : 入射瞳距離。光軸に沿ったセンサー面に対する入射瞳の位置オフセットのこと。正の値は前方を意味します。3Dエンジンでは、この点から投影を行う必要があります。一般的なズーム焦点距離では、通常、センサーの前方30cmから後方10cmの間に収まります。
• Aperture : 絞り値・F値

CalibFX Lensは、これらのレンズパラメータ値を、各種3Dエンジンが定義する形式に合わせてレンズファイル化・格納することが可能です。

対応3Dエンジン一覧：Unreal Engine、Aximmetry、Pixotope、Zero Density、Vizrt、Brainstorm

FreeD (D1) プロトコルは、カメラトラッキングデータの通信規格の1つです。
RS422シリアル通信もしくはUDPプロトコルでトラッキングシステムから、29バイトで送信されます。

1：固定ヘッダー
2：カメラID
3~5：パン
6~8：チルト
9~11：ロール
12~14：X
15~17：Y
18~20：Z
21~23：ズーム
24~26：フォーカス
27~28：エクステンダON/OFF
29：チェックサム

SMPTEが定義する、オープンソースのカメラトラッキングデータの通信規格。

トラッキングシステムは、Position (X・Y・Z) やRotation (Pan・Tilt・Roll) に加えて、レンズ校正データ (Field of View、Nodal Offset、Focus Distance、Aperture等) ・タイムコード等を直接3Dエンジンに送信できます。OpenTrackIOを使用すると、レンズファイルは受信側で読み込まれるのではなく、トラッキングシステム内部に格納されます。CalibFX Lineupは、PTZカメラ Sony FR7のOpenTrackIOを使用したカメラオフセットが可能で、正確な自己位置をFR7に保持することが可能です。

Canonが開発したレンズメタデータの通信規格。

Sensor Size、Focal Length (= Field of View)、K1・K2、Nodal Offset、Focus Distance、Aperture、Timecode等のパラメータ値をカメラのイーサネットから3Dエンジンに直接送信が可能です。EOS C400、C80、C50、RF24-105mm、RF70-200mm等の機種が対応しています。ただし、上記のカメラ機種は、PositionとRotationのデータを保持しないため、別途、カメラトラッキングシステムを取り付ける必要があります。CalibFX Lineupは、CV ProtocolとカメラトラッキングシステムのFreeDを同時に受信し、カメラオフセットの実行が可能です。これにより、トラッカーの中心位置とカメラの光軸中心の位置合わせが正確に行われ、ずれのない実写CG合成が実現します。