*本稿はCGWORD.JPに掲載された以下の記事と同一の内容です。
Virtual Experiences in Reality
遠隔かつバーチャルなコミュニケーションは、 現代社会を生きる私たちの希求であり、進行中のチャレンジだ。異なる場所にいる人同士を結び交流させることは、すでに実現されてきているし、ビデオチャットや遠隔会議システムの商業的な普及を通して、頻繁に広く利用されてもいる。ただ、こうしたアプリケーションはエンターテイメントやビジネス目的のためには十分である一方、それが提供する範囲は、広がりの上でも深さの上でも限定的にすぎない。とりわけ、バーチャルリアリティ（VR）とオーグメンテッド・リアリティ（AR）のアプリケーションおよびハードウェアの急増にともない、遠隔コミュニケーションの大きな流れは、単なる音声やビデオチャットの域を超え始めている。体験の共有、コラボレーションが可能になった時代において、バーチャルリアリティおよびオーグメンテッド・リアリティの技術とツールがもたらす遠隔コラボレーションは、コラボレーション体験の範囲を押し広げている。
JackIn Head
“JackIn Head ” とは、笠原俊一氏（株式会社ソニーコンピュータサイエンス研究所、以下Sony CSL)と暦本純一氏（東京大学大学院情報学環 教授、Sony CSL副所長)が打ち立てた “human to human telepresence”リサーチ・プロジェクトである。このプロジェクトの目的は、一人称視点（first-person point-of-view(pov)）でのコンテンツ制作とリアルタイム没入体験の新たな道を切り開くことである。この“JackIn Head”システムには二つのヴァージョンがある。オフラインとオンラインだ。
オフライン・ヴァージョン
オフライン・ヴァージョンは、装着者の周囲環境と体験を記録できる6台の広角カメラを搭載したヘルメットから成る。従来型の一視点の限られた視野角のみを記録するカメラを搭載したヘルメットとは異なり、この“JackIn Head”オフライン・ヴァージョンは、装着者の周囲360 度を捉え、Full HDの高フレームレートで映像を記録する。さらに全方位画像のスタビライズを行うため、遠隔にいる観賞者にとって、より心地よい体験をもたらす。これに対して、従来型の頭や体に装着するカメラシステムでは、レンズが正面から捉える角度しか記録できない上に、カメラの装着者が体験するすべての衝撃や動きに影響を受けてしまう。カメラの装着者が、動き、方向、速度の変化を補正可能であるのに対して、一人称映像の観賞者は、カメラが映し出すジッターも含め、すべてを見ることになり、場合によっては、こうしたことがコンテンツへの興味を失わせるし、酔いをもたらす原因になる。 しかし、 “JackIn Head”オフライン・ヴァージョンにおいては、スタビライズと複数台のカメラ使用の結果、揺れの少ない、よりロバストな視覚体験が実現されている。Siggraph Asia展示会場でのデモンストレーションには、陸上ハードル、フィギュアスケート、バイク、キックボクシング、体操競技選手などの一人称映像が展示されていた。
スタビライズされた映像とそうでないもの違いは簡単にわかる。例えばキックボクシングの映像では、カメラの装着者が攻撃される時、スタビライズされていない映像には多くの唐突で急激な動きが含まれてしまい、観賞者はこうしたコンテンツでガタつきやぶつ切れの感じを抱く。一方でスタビライズされたヴァージョンでは、二人のボクサーのまるで振り付けされたダンスを見ているかのようだ。他のデモンストレーション映像でも同様に、スタビライズ・ヴァージョンは滑らかで観賞しやすい一人称映像を生み出していた。
オンライン・ヴァージョン
“JackIn Head”のオンライン・ヴァージョンは、リアルタイム性を有したテレプレゼンスアプリケーションになる。Bodyユーザーと呼ばれる人が、映像を捉えるカメラユニットを装着し、もう一人の遠隔にいるGhostユーザーへ一人称映像を伝送する。Ghostユーザーは、Head Mounted Display(以下、HMD)の使用により、没入映像体験が可能になる。この非常にユニークな “JackIn Head”のオンライン・ヴァージョンの装置は、見かけの上でもオフライン・ヴァージョンとはっきりと異なる。一見したところ、人の耳より少し大きなヘッドホンのようであり、映画『スターウォーズ』のレイア姫の耳を覆うヘアバンドによく似ている。このデザインには理由があり、それぞれの耳の端に、HDの魚眼レンズカメラが搭載されているのだ。このウェアラブルな “JackIn Head”ユニットは装着者の運動にしなやかさをもたらす。なぜなら、装着者の頭周辺や周囲の様々な場所にカメラを向けるにもかかわらず、ウェイトやオブストラクションを最小限に抑えるからだ。
Bodyユーザーを基点とする360度全方位を二つの魚眼レンズが映像として捉える。そして、この映像をBodyユーザーに接続されたコンピューターに有線で伝送して、GPU処理によりリアルタイムにスタビライズさせ、ステッチングする。その結果、Ghostユーザーは遠隔にいながら、Bodyユーザーの周囲環境を把握可能になる。さらにGhostユーザーは、Bodyユーザーに対して頭の向きを指示することなく、HMDに備わったヘッドトラッキングによって、見たい方向に視野を向けることができる。これは遠隔コラボレーション作業にとって非常に有益である。 “JackIn Head”のオフライン・ヴァージョンと同じく、全方位映像のスタビライズにより、Ghostユーザーは、心地よい視覚体験を得ることができる。さらにBodyとGhostの間の同時的な映像コミュニケーションが可能になるように映像がリアルタイムでスタビライズされている。
現行の映像コラボレーションシステムでは、遠隔のユーザーや観賞者の見たい対象は、カメラの装着者に大きく委ねられてしまう。例えば、遠隔ユーザーがカメラ視野の左外側を見たい時、カメラの装着者に左を向くよう指示を与えねばならない。また、仮にカメラが頭の先やヘルメットの上に装備されていれば、視野はカメラの視野角に限定されてしまい、遠隔ユーザーは下方を見ることはできない。しかし、 “JackIn Head”のオンライン・ヴァージョンに組み込まれている二つの魚眼レンズは、Ghostユーザーに頭を基点とする球状の視野をもたらし、上述のような問題を解決する。さらに、 カメラユニットの装着者であるBobyユーザーに対しても動きの自由を与える。Bodyユーザーは好きな対象を好きな方法で見られるのだ。またGhostユーザーにとっても、Bodyユーザーの頭部位置が遠隔体験を邪魔する状況は生じない。
カメラユニットを装着するBodyユーザーに動きの自由を確保しつつ、Ghostユーザーに連続的且つスムーズでほぼ制限のない視野をもたらす、この点こそがリアルタイムの “JackIn Head”システムの遠隔コラボレーションにおける最も重要な貢献であるだろう。このようなJackIn Headシステムでは、HMDを装着したGhostユーザーが見下ろし、Bodyユーザーが動かす両手を見ることさえできる。仮に、BodyユーザーとGhostユーザーの互いの物理的距離が、例えば数メートルと非常に近い場合、Ghostユーザーは Bodyユーザーの視野から、自分たちを見ることができる。この体験は不気味であると同時に魅惑的でもある。近い将来、物理的に離れた場所にいるチーム同士が、バーチャルにコラボレーションする可能性は、もうそこに見えている。
次回は引き続きSiggraph Asiaの展示会場から“scopep+”について、レポートする。
参考文献・URL
笠原 俊一、暦本 純一「JackIn: 一人称視点と体外離脱視点を融合した人間ー人間オーグメンテーションの枠組み」(PDF)『情報処理学会 インタラクション 2014 』 2014年2月27日
First Person Omnidirectional Video: System Design and Implications for Immersive Experience, Shunichi Kasahara, Shohei Nagai, Jun Rekimoto, TVX ’15 Proceedings of the ACM International Conference on Interactive Experiences for TV and Online Video
翻訳・編集：橋本まゆ