CalibFX Lineup ユーザーマニュアル
#8 トラブルシューティング

---

1. トラブルシューティングワークフローの例

1.1. Reprojection error（再投影誤差）を確認する

キャリブレーションが完全に完了する前に、CalibFX lineupはすべての画像における平均ピクセル再投影誤差をコンソールに出力します。

この例の場合、最終的な平均誤差は約7.6ピクセルです。

1.2. Calibration Resultを確認する

CalibFX lineupは、トラッキングデータと各画像ごとに計算されたオフセットを使用して、キューブの再投影を試みます。「Display Calibration Result」セクションでは、画像をスクロールして再投影を確認できます。

データセットの中の写真の1枚には、このように再投影誤差の大きい画像が写っています。

しかし、他の多くの画像は再投影誤差の小さい画像が写っています。

この場合の問題点は、再投影誤差の大きい画像がデータセットに混ざっていることです。 再投影誤差の大きい画像をデータセットから削除すると、全体的な再投影誤差は3ピクセルまで減少しました。

1.3. Visual Pose Estimationを確認する

前頁の例で3pixよりも良い結果を得たいとしましょう。問題がトラッキングによるものか、レンズキャリブレーションによるものかを特定する必要があります。「Display Visual Pose Estimation」セクションでは、ビジョンベースのデータのみを使用してキューブの再投影を確認できます。つまり、検出されたタグとレンズ特性から推定された姿勢を使用してキューブを再投影しようとしますが、トラッキングデータは使用しません。

これは、トラッキングシステムのノイズが大きすぎるか、ドリフトが発生していることを意味します。 解決策としては、トラッキング設定を確認するか、より高性能なトラッキングソリューションにアップグレードすることが考えられます。今回のテストでは、精度がそれほど高くないLighthouseシステムによるトラッキングが行われたため、広角側で3ピクセルの再投影誤差が生じる可能性があります。これを改善するには、機械式トラッキングシステムまたはハイエンドのモーションキャプチャシステムに切り替えることが考えられます。

---

2. 合成データを用いた図解

2.1. 理想的な条件

さまざまな原因を特定するために、例として合成データを図示します。
レンズデータとトラッキングデータが完璧に近い場合の合成データ例です。

再投影誤差は0.4ピクセルで、CalibFX lineupは両方のオフセット変換を正確に検出します。

2.2. レンズキャリブレーションが間違っている例

次の例では、焦点距離は理論上の40mmではなく30mmと間違っている例です。

CalibFX lineupは、仮想キューブの視点を実際のキューブに再投影することに失敗します。
下図の「Visual Pose Estimation」を見ると、トラッキングデータを導入する前から再投影が失敗していることがわかります。

つまり、ここでの問題はレンズのキャリブレーションが間違っているということです。

2.3. ノイズの多いトラッキングの例

この例では、レンズの特性を正確に使用していますが、トラッキングデータにノイズを加えています。ジッターとドリフトの両方を導入しています。どちらもラインアップキャリブレーションに問題を引き起こします。

まずは下図のとおり、レンズの特性が完全に分かっているため、「Visual Pose Estimation」は非常にうまく機能します。

2.3.1 低ノイズ

ノイズレベルが、Lighthouseシステムで測定された値と同程度の場合の再投影は下図の通り。

再投影誤差は約4ピクセルです。

この程度のずれは、ほとんどの場合で許容範囲です。

2.3.2 高ノイズ

次は、ノイズの標準偏差を5倍して、トラッキング設定の不具合を表現しています。

再投影誤差は約33ピクセルです。

トラッキングのジッターが問題の原因であれば、ARはそもそも見栄えが悪くなるので、ラインアップの問題はそれほど深刻ではないでしょう。

トラッキングのずれが問題の原因となっている場合（例えば、機械式エンコーダの内部キャリブレーションの誤りや、光学式トラッキング空間のキャリブレーションの誤りなど）、AR単体ではトラッキングの問題が明らかにならないことがあります。

なぜなら、見た目には滑らかに見えるからです。問題は、トラッキングが空間的に一貫していないため、位置合わせや基準点の問題を完全に解決することが不可能であるということです。

特に、カメラをドリーワーク等で空間内を平行移動したときにずれが大きくなる場合は、トラッキングシステム自体の空間キャリブレーションの精度が不十分な可能性が高いです。この場合は、トラッキングシステム側で空間キャリブレーションをやり直す必要があります。

仮に、空間的に一貫していない状態で、CalibFX Lineupを使用した場合は、それぞれの地点のずれを平均化します。大きな誤差が出ていた地点を平準化させますが、その分空間全体にわたりずれが大きくなります。

---

3. 画像ごとの再投影誤差

詳細モードでは、各画像の再投影誤差が画像名の横に表示されます。

これは、誤った画像が結果に誤差を生じさせている疑いがある場合に役立ちます。

---