VRの仕組み~360°の立体映像が見える2つの理由

テレビやPCの画面越しに見える世界と違い、VRでは360°、立体感のあるCGの世界を体験することができます。

別の世界に入っているかのような感覚を生み出すVRの仕組みは、大きく2つに分解すると理解がしやすく、その2つとは

(1)両目の焦点に対して別々のアプローチをしている

(2)人の体の動きを捉え、それにあった適切な映像を見せている

という点です。

以上の構造が、VRの臨場感ある体験を可能にしているわけですが、今回はVRで視界が立体的に見える構造や、OculusやPlayStationVR、Gear VR、Google Cardboardなどの仕組みの違いなどについてわかりやすく解説していきます。

Contents

1 両目に対して別々のアプローチをしている
2 人の体の動きを捉え、それにあった適切な映像を見せている
3 スマホでも？YouTubeなどをVRで体験できるワケ
4 まとめ

両目に対して別々のアプローチをしている

まず、先ほど挙げた1点目の、両目に対するアプローチ差異についてですあ、人が周囲の景色を立体的だと認識するには以下の4点が重要になります。

①特定の対象物を見たときの、両目が捉えた情報の違い（右目と左目で見ている対象物の面は異なっているのか）
②左右の目と特定の対象物の3点を結ぶ角度（【左目 – 対象物 – 右目】）
③人の運動と視覚の変化の相対性（自分が動いたことで視覚にも影響しているのか）
④対象物に対する、左右の水晶体のピントのズレ

VRの仕組

この内、VRにおいては①～③に対して効果的なアプローチがされています。

ゴーグルやヘッドマウントディスプレイにおいて両目に流す映像を変え、プレイヤーの動きに合わせた映像を維持することで、より立体的に感じることができる仕組みになっているのです。

つまり、VRで立体的に感じられる仕組みとして「人の動きに合わせた映像が常に見えている」ということが重要になります。それを可能にするのが、以下で説明する「トラッキング機能」になります。

※学術的な立体視の原理に関しましては、こちらのページが非常に参考になりますので是非読んでみてください。
(慶應義塾大学小木哲郎教授の研究室のページになります)。

人の体の動きを捉え、それにあった適切な映像を見せている

トラッキング機能とは？

次は体の動きと連動した映像技術ですが、そのために重要な概念がトラッキング機能です。

トラッキング機能とは、赤外線等を使って特定の対象のポイントや移動を認知する機能を指します。

VR体験においては、ゴーグルやヘッドセット・カメラに内臓されたセンサーが赤外線を発して目や頭の動きを捉えており、その位置に応じて360度の映像の中で正しい角度の映像を流しているのです。

映像の表示先としては以下の2種類存在します。
・ヘッドマウントディスプレイ（PSVR・Oclus Rift・HTC ViVeなど）
・スマートフォン（スマホ画面映像をVRビューワー経由で視聴/Gear VR・Google Cardboardなど）

※トラッキング機能に関するoculusの最新発表はこちら

プレイヤーの動きに対する映像の変化の誤差が少なかったり、映像のフレームや解像度といった映像の精度が高いほど、酔いづらくCG世界に没入感を感じます。

今回はVRで現在使われているトラッキング機能の内4つご紹介します。

360度の映像視聴を可能にする４つのトラッキング機能

ヘッドトラッキング

モーショントラッキング

ヘッドトラッキングとは、頭や首の動きを捉える機能を指します。

顔を上下左右に向けるとそれをセンサーが認知し顔の動きに合った映像が映し出され、CGの世界でも上下左右景色を楽しめるという仕組みになっているのです。

センサーは基本的にはHMDやゴーグルに内蔵されているケースと、TVの上や部屋のどこかに別途カメラを設置し、そのトラッキングカメラが頭の動きを認知する、というケースがあります。

一方でヘッドマウントディスプレイにセンサーを内蔵し、周辺に対象物の位置の変化を認識する「Inside―out」と呼ばれるタイプも存在します。こちらのレーダー測定タイプは行動幅に制限がないため、今後主流になっていくとされています。

ポジショントラッキング

ポジショントラッキングとは、HMDの「位置」の変化を認識するものです。これは前に進んだり横にずれたりしたときVRの世界でも移動している、といった機能であり、ヘッドマウントディスプレイの位置の変化から映像を変える空間認識の技術が使われています。

最新版のOculus Riftでこの機能は追加済みで、（DK2以降）で、PSVRやHTC Viveでも導入されており、プレイ時に別途設置するカメラ（PSVRであればPlayStation Camera,HTC ViveであればLightHouseが該当します）がHMDの運動を赤外線で検出することでポジショントラッキングは実装されています。

モーショントラッキング

モーショントラッキングとはその名の通りオブジェクトの動きを追跡する技術であり、VRにおいてはプレイヤーの動きを認知してCGの世界でプレイヤーの動きを反映させる機能を指します。

ゲームの例を使って説明すると、HTC Viveのアクセサリー「Vive Tracker」のようなもので、体のある部位につけたり銃などのデバイスにセンサーを装着することでその位置や移動・運動を認識します。

その結果として、VR世界の中で「かめはめ波」を撃ったりすることが可能になります。

アイトラッキング

アイトラッキングとは、「視線の動き」をセンサーが認識するもので、徐々に実用化されつつあります。

アイトラッキングにおいては、近赤外線のレーダーによりプレイヤーの眼球の動きを検知し映像を視線に合わせるだけでなく、視界周辺だけ解像度の高い映像を映す「フォービエイデッド・レンダリング」といった技術を応用させることが可能になります。

※アイトラッキング技術や最新応用事例に関する徹底解説記事)
→アイトラッキングとは？技術の仕組みやVRへの導入を企業・事例から解説

また、アイトラッキングは「ユーザーが見ているもの」を認識するため、今後はVR/ARの中でも「ユーザーの目線に合わせて広告を出す」といったことに応用されていくと言われているものの

視線は「個人情報の１つ」である
個人情報の収集につながる
意図的な映像や広告は人の意思決定/操作につながり兼ねない
といった懸念点も挙げられており、「VR第二世代」へ移行していくうえで避けられない議論となっています。

※現在、トラッキングデータの保存・転用は禁止されています

ハンドトラッキング

人の動きの中でも、腕や手、指の動きに特化して認識し、VRに反映させる技術が「ハンドトラッキング」になります。

Oculus Rift、PSVRを始めとしたさまざまなヘッドセットにおいてハンドコントローラーのセンサーを経由したハンドトラッキングが可能になっているものの、下半身の動きに対するトラッキングは未だ多くありません。

しかし、MicrosoftのKinect、HTCのViveTrackerをはじめ、徐々に全身のトラッキングも可能になりつつあります(Vive Trackerは手足合わせて4つ必要にになります)。

スマホでも？YouTubeなどをVRで体験できるワケ

#shopping #shoes Virtual Reality Glasses Google Cardboard Glasses 3D Glasses … https://t.co/Na5EkzC7nu pic.twitter.com/DceMWrHp31

— Web X Store (@Web_X_Store) 2018年6月9日