#6 高度な機能と連携

このセクションでは、ゲームエンジンへのリアルタイムストリーミング、ポストプロセッシングツール、外部ハードウェアやソフトウェアとの連携など、Capturyの高度な機能について解説します。

リアルタイムストリーミング

Capturyは、ライブモーションデータを他のアプリケーションに送信するための多数のプロトコルをサポートしています。これにより、バーチャルプロダクションやライブパフォーマンスなど、即時性が求められるシーンで活用できます。

Unreal Engine 4/5 へのストリーミング

Captury LinkプラグインをUnreal Engineにインストールします。
キャラクターのFBXをUEからエクスポートし、CapturyのRetargetパネルに読み込みます。
1. スケルトン階層構造としては、広く使われている以下をサポートしています。
  1. Mixamo
  2. Metahuman
  3. Xsense
Source Skeleton（Capturyのアクター）とTarget（UEのキャラクター）を選択し、
Match Automaticallyで骨格を自動でマッチングさせます。
UEのLive Linkウィンドウを開き、ソースとしてCapturyを選択し、
Capturyが動作しているマシンのIPアドレスを入力して接続します。
キャラクターのアニメーションブループリント内で Live Link Pose ノードを使用し、リアルタイムアニメーションを適用します。

MotionBuilder へのストリーミング

Capturyのインストールフォルダにある対応プラグイン（DLLファイル）を、
MotionBuilderのインストールディレクトリ内にある bin/x64/plugins フォルダにコピーします。
MotionBuilderのAsset BrowserからDevicesを展開し、Capturyデバイスをシーンにドラッグ＆ドロップします。
Capturyが動作しているマシンのIPアドレスを入力し、Onlineチェックボックスをオンにして接続します。
Model Bindingを使用してストリーミングされたスケルトンを生成し、それをキャラクターにリターゲットします。
※Auto Characterizeには一部不具合がございますので手動でCharacterizeしてください。（2/5現在)

その他の対応プロトコル

上記に加えて、VRPN、OSC、ROSといった標準的なプロトコルもサポートしており、幅広いアプリケーションとの連携が可能です。

リトラッキングとバッチ処理

リトラッキング

録画済みのテイクを再生モードで再度処理し、トラッキング品質を向上させることができます。トラッキングが外れている場合、リトラッキングによってより良い結果を得られる場合があります。

外部デバイスと他社ソフトウェア連携

Capturyは、エコシステムを拡張するための様々な外部デバイスやソフトウェアとの連携をサポートしています。

他ソフトウェアとの連携について

Capturyは、キャプチャしたモーションを以下の形式でエクスポートできます。

FBXとBVHは、Maya、3ds Max、MotionBuilderなど、主要なすべてのアニメーションソフトウェアでサポートされている標準的なモーションフォーマットです。

Capturyは、さまざまな標準フォーマットでのリアルタイムストリーミングもサポートしています。独自のストリーミングプロトコルであるVRPNに加え、OSVR、OSC、ROS、およびBVHストリームが利用可能です。さらに、Unreal EngineとUnity Engine、Motionbuilder用のプラグインも提供されています。

Capturyのプラグインを使用すれば、カスタムのサードパーティ製アプリケーションがCapturyとリアルタイムで通信することも可能です。

Custom Skeleton for Tracking

トラッキングの際、デフォルトではCapturyが定義したスケルトンを使用してトラッキングします。しかし、オリジナルのスケルトン（MayaなどDCCツールで作成した独自の骨構造）を登録し、それを使ったトラッキングも可能です。

ターゲットとなるスケルトン（オリジナルのスケルトン）をRetargetパネルに読み込みます。
1. RetargetパネルのLoad Targetボタンからデータを選択します。
ターゲットを再設定する必要があるので、トラッキングされたスケルトンを含むシーケンスを再生し、リターゲットを右クリックし、Set Sourceからのスケルトンを設定します。これによりリターゲットマッピングが作成されます。
リターゲットを右クリックして「Create Tracking Skeleton」を選択します。これでスケルトンディレクトリにCaptury互換スケルトンが作成されます。

※スケルトンディレクトリはのSettings/ツールバーのSkeleton Directoryからフォルダを指定できます。
※エクスポートされたスケルトンはすべての骨が含まれているわけではありません。SpiceやNeckは含まれますが、Rollは補助用のボーンはアニメーション対象ではありません。
トラックパネルのリストに新しいスケルトンとして表示されます。

各種APIについて

また、ワークフローやサードパーティ製ソフトウェアとの統合を容易にするため、3種類のAPIが利用可能です。

PythonオートメーションAPI

CapturyをUIなしで実行するものです。主に、カメラの録画やキャリブレーションを担当するサードパーティ製ソフトウェアとの連携を目的としており、Capturyをトラッキングを行うバックグラウンドプロセスとして起動します。
Vicon NexusやQualisys QTMとの連携はこのAPIに基づいています。

C/C++ベースのプラグインAPI

Capturyによって読み込まれるプラグインを構築できます。これらのプラグインは、Capturyのユーザーインターフェース内に新しいパネルを定義したり、トラッキングデータ、ビデオ、カメラキャリブレーションなどにリアルタイムでアクセスしたりできます。Capturyの操作を制御したり、設定を構成したりすることも可能です。サンプルを含むSDKパッケージは、弊社のウェブサイトのリソースページで提供されています。

RemoteCapturyライブラリ

最適化されたネットワークプロトコルを介したCapturyと通信するライブラリです。これは人気の高いゲームエンジンやMotionBuilder、Mayaのような3Dアプリケーションなど、それ自体がプラグインAPIや同様の手段を提供するサードパーティ製アプリケーションへの統合が容易です。
このライブラリには、簡略化されたPythonラッパーも提供されています。

このRemoteCapturyライブラリはストリーミングされたポーズや角度へのアクセスを提供し、Capturyのある程度の遠隔操作も可能です。トラッキングや録画の開始・停止、ショットの名前付けなども行えます。このAPIはGitHubで公開されています。