バーチャル世界の物を触る/Ghost Glove

使用OptiTrackシステム

  • FLEX:V100カメラ 12台
  • V100R2カメラ 22台
  • S250eカメラ 6台
  • Prime13Wカメラ 8台

使用ソフトウェア

  • Motive:Tracker(旧:TrackingTools)ソフトウェア
南澤孝太氏

バーチャルリアリティ、ロボティクス、コミュニケーションを大きな柱に掲げて研究を進めている研究室で、ハプティック(触覚&力覚)インタフェース、テレイグジスタンス、その他インタラクティブ技術の研究をしている。

http://tachilab.org/

http://embodiedmedia.org/member/kouta-minamizawa/

應義塾大学大学院
メディアデザイン研究科
南澤孝太准教授

まず研究室に伺って驚いたのは、実にさまざまな機械が所狭しと並んでいたことである。ロボットなどはわかりやすいが、何をするためのものなのかわからない機械もたくさんあり、その中にOptiTrackカメラを設置したスペースがあった。この研究室のメンバーである南澤孝太氏が開発したGhostGloveにOptiTrackシステムをご使用いただいている。


GhostGloveとは

FLEX:V100カメラのレイアウト
GhostGloveを体験している様子
GhostGlove

 

GhostGloveは、手全体(てのひらと各指)に力覚を提示するグローブ型のインタフェースである。GravityGrabberと同様のモータとベルトを用いて手の各部へと力を伝える仕組み。バーチャルな世界において“そこに存在しいないものを触る”体験ができる。実際に体験させていただいた。まず反射マーカーがついたグローブを装着し、指のセンサーをバンドで留める。手の位置と回転の計測を、上方とサイドに設置された6台のOptiTrackカメラで行っている。体験者の正面にはプロジェクタで映し出されたスクリーンがあり、CGの手と物体が表示される。それをガイドにしながら、実際は空気を押しているだけなのだが、押した分だけ手に圧がかかるため、実際にボックスを押しているような感覚に陥る。ボックスをボールに変更すれば、お手玉のようなこともバーチャルに体験できる。


OptiTrack導入の経緯

GhostGloveでは手の位置と姿勢を計測するために、何らかのキャプチャシステムが必要であり、2008年夏のSIGGRAPH出展に向けて光学式のシステムを探していたところ、同様の研究をしている人から「安いシステムがある」ということでOptiTrackを知ることになる。使用環境、広さ、使用用途がとても具体的であったため、弊社スタジオでその環境を再現し、デモをご覧いただいたところ、すぐに導入を決めていただいた。


ワークフロー

GhostGloveで実際に体験者が見ることとなるビューワは南澤氏が開発したプログラムであるが、その中で表示されるCGの手全体の動きをOptiTrackを使用して取得している。手の甲につけたハンドツール(マーカー3点)を一つの剛体として定義し、手の位置・回転を計測しているのだ。カメラは6台。机の上とプロジェクタの前一帯は有効エリアとしたいため、試行錯誤を重ねた結果、上に4つ、両サイドに1つずつ、というレイアウトに落ち着いたそう。キャプチャしたデータはNatNet SDKを使用してリアルタイムストリーミングし、自身開発のビューワに転送している。バーチャルリアリティ用途の場合、データの遅延が問題となるが、特に遅延を感じることなく体験することができた。


海外の展示会にも持ち運べる大きさが魅力

価格面もさることながら、OptiTrackでなければ実現できなかったと喜んでいただいているのが、カメラの大きさである。南澤氏の研究は実際に目で見て体験することが一番効果的である。よって展示会やイベントへの出展機会も多くなる。OptiTrackのカメラは携帯電話程度の大きさで非常に小さく、カメラ6台のシステム一式がスーツケース2~3個に収まる。国内のみならず海外でのデモを行う際には非常に魅力であるという。しかもセットアップは1時間で終了。展示会では予測不可能な反射物などが障害となることも多いが、マスク機能を使用すれば動作も可能だ。「もういろんなところで1000人以上に見せて体験してもらったのでだいぶ慣れました」とのこと。


今後の要望

GhostGloveの発展形として、スクリーンの中だけではなく、目の前に実際の3D映像を映し出して体験できるシステムも開発したいという南澤氏。バーチャルリアリティの研究では何かのシステムに組み込むような機会が多いため、それが狭小スペースであることもある。そんな時にもう少しワイドなレンズが取り付けられれば可能性が広がる、とのリクエストをいただいた。

※FLEX:V100カメラのレンズは45度の1種類ですが、FLEX:V100R2カメラでは広角レンズへの交換も可能です。

1mm以下の精度で人や物の3次元位置姿勢をトラッキングする光学式モーションキャプチャシステムです。