近年の技術革新は、私たちの世界の捉え方を変えるだけでなく、世界の体験の方法までも変化させる。とりわけバーチャルリアリティの発展は、視覚に語りかける映像のクリエイティビティとストーリーテリングの範囲を押し広げている。技術の発展と普及に伴い、ハードウェア・ソフトウェア両面において、誰もが没入感のある体験を生み出すことができるようになった。
本連載 “Virtual Experiences in Reality” は、多様な学問から形成される関連トピックを紹介、探求、調査することで、 バーチャルリアリティを扱っていく。さらに研究、技術、クリエイティビティを重視し、様々な視点から新しいバーチャルリアリティの知見を提示したい。本連載はこの新しい創意に富んだ領域についてのダイナミックな視点を提示するために、異なる専門領域の交差するエリアに焦点を合わせたい。
今やいつくもの物語が私たちを取り巻き、その物語は私たち人間の体験と関連付けられている。現在の技術は、私たちの世界を私たちが見ているままに捉え、共有することを可能にする。バーチャルリアリティは、個人の共有体験を強調するのだ。本連載は、これからの反復されうるストーリーテリングやコミュニケーションのあり方について、それを推進する手引きとなる人や、場所、物を紹介することを目指している。
連載の初回は、SIGGRAPH Asia 2015に出展されていた、国立台湾大学のYu-Hsuan Huang博士が手がけた “Scopep+” を詳しく取り上げる。さらに同じくSIGGRAPH Asia 2015の “JackIn Head” （JackIn Head に関しては別記事特集「VR・ARの技術とツールがもたらす遠隔コラボレーション“Virtual Experiences in Reality”〜JackIn Head〜｜SIGGRAPH Asia 2015レポート」に詳しい）にも言及し、VR・ARの実践的なアプリケーションの有用性と将来性について考察したい。
Scope＋
国立台湾大学（Graduate Institute of Networking and Multimedia, National Taiwan University） のYu-Hsuan Huang博士と彼のチームは、 “Scope+” の研究開発の当初から、遠隔コラボレーション環境でのオーグメンテッド・リアリティ（AR）アプリケーションの必要性を認識していた。 “Scope+” とは、 “stereoscopic video see-through augmented reality microscope” のことである。Huang博士はコンピューターサイエンスの博士課程の学生であると同時に、医学を専門に学んだ眼科学者だ。Huang博士は、 “Scope+” が顕微鏡の世界で最初のARアプリケーションであると言う。この “Scope+” は高度な動きと繊細な機能を有している人間の眼を扱う、若い眼科医の教育現場や研究の需要から発展した経緯がある。
“Scope+” 開発の背景にある一番の動機は、既存の外科トレーニング用医療システムが、腹部切開、心臓及び整形外科の処置に焦点を当てていることだった。これらのシステムは、外科手術の学習に有用であるが、顕微鏡手術の領域へは容易に転用できない。 “Scope+” は顕微鏡手術に大きく依存する美容整形、脳外科、そしてもちろん、眼科などの各領域におけるトレーニングや教育の需要へと向けられている。
システムデザイン
“Scope+” のシステムデザインは、顕微鏡手術で使用される道具とVR・AR技術とを結合させることで成り立っている。主な構成要素は、HMD(head-mounted display)デバイスであるOculus Riftと改造されたPrusa i3 3D printer (SciBot)だ。３Dプリンターの射出部分が、特別にデザインされた両眼顕微鏡モジュールに置き換えられている。ユーザーがHMDを通してある対象を観察すると、このモジュールにより立体視を得ることができる。また、 “Scope+” では、操作レバーがフットコントローラーに改造されている。このフットコントーラーは、顕微鏡手術の中でも、特に眼科手術のアプリケーションによく見られるものだ。
“Scope+” のユーザーは、対象を観察し手先を集中している間にも、視点の移動、ターゲットの拡大、焦点面の位置変更、照明の強度調整が可能だ。Prusa i3と互換性のある顕微鏡モジュールを組み立てるために、二つの高解像度（1600 × 1200 pixels）カメラと、二つのミラーが組み合わされている。カメラの可動域と基線長（対物レンズ間の距離）は、個別に調整可能であり、それらを駆動させるアルゴリズムと合わさって、心地よい立体視を維持する。
“Scope+” のシステムは、ユーザーが実際に顕微鏡を覗き込んで操作ペダルを扱う際に、遠隔作業や遠隔教育に必要なコラボレーションの基本要素を強化する。映像やグラフィックなどを用いた遠隔コラボレーションの際、一番大きな問題の一つが遅延（latency)である。ユーザー同士の双方向の遅延時間が大きいと、実際に行う作業のリアルタイムシミュレーションが試行されることは不可能だ。 “Scope+” は遅延の問題に対して、GPUによるハードウェアアクセラレーションとマルチスレッドレンダリングをシステムに組み込むことで対応した。また、このシステムは二台のフルHD解像度のカメラを使っていてもハイフレームレート（30fps）を維持できる。そのため仮に遅延があったとしても最小限に抑えられる上に、この低遅延とハイフレームレートにより、一緒に作業している遠隔ユーザーに対して、遅延がまったく存在しない感覚を与える点は非常に重要である。
バーチャル リアリティ
従来、眼科医は手術のためのトレーニングの際、人間の眼の代替品を使用してきた。動物の眼（例えば豚）、シリコンで造られた眼や、眼窩を含む頭部の人体模型が、新人の外科手術のトレーニングで使われている。Huang博士によれば、動物の眼や人工眼を使うことの問題は、それらが人間の眼ほど精巧ではない点にあるという。また、動物の眼や人工眼は、入手することや作り出すための準備に労力を要してしまう。さらに使用適正の保存期間がとても短い上に、一度しか使用できない。またもう一つの問題は、動物の眼を使用している際に、血液や他の体液が漏れ出てくることである。 “Scope+” の場合、生じる最も大きな液体は、集中して重要な仕事に取り組むユーザーの汗の滴だけだ。
コストを削減し、面倒な手続きを回避させるだけでなく、 “Scope+” はユーザーがシミュレーションやトレーニングできる範囲を押し広げている点も強調したい。このシステムが資源として際限なく利用可能であるだけでなく、外科医が実際に直面するかもしれない特殊な状況を提示することも可能なのだ。例えば、ある眼科手術では、眼のレンズの上に丸い穴を開けるが、この処置が正常になされなかった場合、レンズ全体が破裂し深刻な事態を引き起こす。ユーザーのすぐ近く、あるいは地理的に非常に離れたところにいるトレーナーの手助けによって、 “Scope+” は眼科医の手術の際のリスクを軽減し、危険な結果を回避するのを助けるのだ。
この “Scope+” システムの使用時、リアルタイムビデオにオーバーレイされるARマーカーはユーザーにとってのガイドラインになる。そのため、ユーザーは彼らの眼を対象に集中できる。オーバーレイされたARレイヤーは、ジェスチャーによるナチュラルUIを通して、必要な情報を提示する。このシステムにより、ユーザーが顕微鏡から眼を離すことなく、オーバーレイされたテキストやツールの中で情報を見つけることが可能になる。さらに、このシステムは実際の顕微鏡手術の模型でもあるので、外科手術で使用されるのと同じ道具や器具が訓練の際にも使用できる。 “Scope+” が顕微鏡手術に適しているのは、顕微鏡手術が触覚や触知のフィードバックよりも視覚に大きく依存するからだ。 “Scope+” のユーザーには、力覚フィードバックする特別な装備や衣服は必要ない。白衣さえあれば充分だ。
アプリケーション
“Jackln Head” システムと “Scope+” には、数々の実社会アプリケーションが存在している。 “JackIn Head” のオフラインヴァージョンは、すでに試行され広告やコマーシャル目的のために、多くの資金が動いている。研究者たちは、それがある特定のスポーツやエクストリームスポーツで使用されることを強く望んでいる。2020 年の夏に東京オリンピックの開催が予定されている日本の研究者たちは、またとない優位なポジションにある。近い将来、スポーツや展示イベントで、人々が360度スタビタイズ映像を体験できる日がやってくるにちがいない。
また、現在、 “Jackln Head” のオンライン・ヴァージョンは、30fps以上のスタビライズされた一人称視点をもたらす。今後の研究はシステムをポータブル化し、より高解像度にすることを目指している。潜在的なアプリケーションは無数にあるだろう。このシステムは、例えば、災害地域において、遠隔にいる専門家が現場にいる人をアシストするのに非常に有効である。また、遠隔での職業トレーニングでは、従来型のディスプレイに頼った二次元のコミュニケーションから離れて、指導者と学習者がまるで隣同士で働くことを可能にするだろう。
“Scope+” は、近い将来、国立台湾大学の眼科学の専門医学実習生のプログラムに組み込まれることに期待したい。若手に限らず眼科医にとって、技術の進化を促すと同時に、実際の手術でのミスを回避する重要な鍵となるはずだ。医療の領域外でも、いくつかの細部を改良することで、バイオロジカルサイエンスへも適応できる可能性もある。例えば、現代の教育カリキュラムに応えるかたちで、ブレッドボードを買っては捨てることを繰り返すことなく、何度も電子回路を試作することができるだろう。
“JackIn Head” と “Scope+” は、VR・ARの実践的なアプリケーションでの真のポテンシャルを強く示している。解像度やフレームレートに関してはまだ限界があるものの、こうしたチャレンジは、技術の進歩と製品として普及により達成されるはずだ。
ここまで詳細に見てきたこの二つのシステムは、「百聞は一見にしかず」であるだけでなく、「一見が同時に実践」であることを見事に証明しているのだ。
翻訳・編集：橋本まゆ