AR iphoneの真骨頂！更に進化したARKit2の革新が凄まじい。

ARは古くからある技術ですが、2016年からの数年で一気に進化が加速しました。これにはAppleのARKitという開発プラットフォームの存在が非常に大きいのですが、なぜここに来てARがこんなに注目されているのか、そもそもARで何ができるようになるのかを解説します。

ARKitとは？これまでの変遷をおさらい

ARの歴史は意外に古く、50年前から存在する技術です。元々は戦闘機用ヘッドアップディスプレイのために開発された軍事技術でした。

初期はハーフミラーに映像を透過的に映し出すことでAR映像を実現していましたが、カメラ技術やCG技術の進化によりデジタルで実在の風景にCGをオーバーレイできるようになったのがここ最近の出来事です。

そして次に普及したのが「ARマーカー」という技術。（ARマーカーの技術解説はこちら）

QRコードのような白黒のマーカーを認識させ、各種3Dコンテンツをディスプレイ上で再現する技術で、マーカー上に映像や音声のARコンテンツが浮かび上がると言うものです。

#webxr #webar #augmentedreality #arjs #threejs #webgl #gltf #animation #mixamo #riggedavatar #browserbasedaugmentedreality #armarker #custommarker #sweetjesus #hypercubexr #riverstudios

Dulce Dotcomさん(@dulce303)がシェアした投稿 – 2018年 5月月15日午後11時00分PDT

次に出てきたのがGPS連携のロケーションベースARであり、これはポケモンGoで一気に認知が広がりました。

但し、この時の技術レベルではGPS情報で「大体の位置にARコンテンツを表示させられるが、ピンポイントでの表示は難しい」という精度の低さが問題で、任意の場所に正しいサイズで表示させるにARマーカーが必要でした。

しかしこの状況を今回AppleがリリースしたARKit2.0が大きく変えました。

ARマーカーなしに空間を認識するというマーカレスARはこれまで特別な機器が必要だったのですが、ARKitはiPhoneに搭載されるカメラやセンサーを活用することで、スマートフォンでARを実現できるようになったのです。

これにより、AR利用の敷居は一気に低くなり、対応アプリが続々と登場しました。

それではAppleがリリースしたARKKitの変遷を見てみましょう。

ARKit1.0（2017年6月発表）

・水平面のトラッキングなど基本的な機能のみを提供

（率直に言って、これは使い物にならないレベルだったようです）

ARKit1.5（iOS11.3でサポート：2018年3月発表）

・壁のポスターやパッケージの写真などを認識できる2D画像検出とトラッキング機能

・水平面に加えて垂直面にあるARオブジェクトの認識が可能に

・丸テーブルなど不規則な形状の平面認識が可能に

・iPhoneXのフェイストラッキングと組み合わせることで、リアルタイムに画像のデコレーションが可能に

床面認識はARkit1.0時代から相当早いと思ってたけど、1.5は爆速認識できるようになったし精度もかなり高い これはマジすげぇわ pic.twitter.com/qFE4kaP9jL

— なまず (@namazuchin) 2018年3月31日

ARKit2.0への跳躍

WWDC2018で発表されたARKit2は、新たに次の機能をサポートしました。

・3Dオブジェクト検出機能

・複数ユーザーが同じAR空間を各自の視点から同時に体験できる共有体験(Shared Experience)

・AR空間全体の状態を保存再開できる継続AR(Persistent AR)

画像認識技術の進化

前述したとおり、従来のローケーション情報を活用したAR技術は「特定の位置に正しいサイズで表示する」という点が難しかったのですが、ARKit2.0はARマーカーを使わずに三次元の立体をカメラとスキャナで検出させることでこれを実現しました。

例えばARメイクのアプリなどは、顔を動かすと唇の位置に合わせて口紅の色がついてこなければなりませんが、ARKit2であれば可能になっています。

これには「フェイス・トラッキング」という技術が使われています。

 

It’s alive! *insert Frankenstein gif here* But this still needs more coffee to be finished 🤓 ☕ 💻 #thesis #IT #computerscience #facemotion #facemotiontracking #3d #3dmodel

Bettina Bundikさん(@boo_bundik)がシェアした投稿 – 2017年 3月月15日午前9時51分PDT

iPhone Xの前面に搭載されたTrue Depthカメラによって3万以上のドットを顔面に投射して立体的にマッピングし、ARのメイクを動かしているわけですが、この技術があってこそFace ID（顔認証）の精度が確保されるのです。

IKEAのアプリなど家具のCGを配置する前に部屋のスキャンを行う際、光の点が画面の至る所に表示されます。

Ikeaの家具の組み立て方をARを用いて教えてくれるコンセプトアプリ「Assemble AR」が登場 – Seamless https://t.co/2xmh5xCqMd pic.twitter.com/qhxol3zGDp

— beep_R_A.K. (@beep_roadrunner) 2018年3月23日

従来はこの空間認識精度が低く、「家具のCGは表示されるけれど大きさがおかしい」ということになったのですが、ARKit2により大幅に精度が向上しました。

これらの情報処理を行うためには高性能なカメラやセンサーと、高い処理能力のコンピューターが必要なわけですが、これらを手のひらに乗るサイズに詰め込んだものがiPhoneXなのです。

複数人によるARコンテンツの共有/同時アクセス

また、ARKit2は「同じAR空間に複数の人間がアクセスすること」を可能にしました。

従来は同じARマーカーを見ていても、それぞれに同じCGが表示されているだけで、連携することはありませんでしたが、同じAR空間を共有できるということは、複数の人間で共同作業ができるということです。

わかり易い例でいうと、複数の人間が同じAR空間で障壁物を活用したシューティングゲームができるようになります。

（↓中学校、高校生達が教室を戦場にして遊ぶシーンが目に浮かびますね）

また業務利用のシーンで考えると、倉庫のピッキング業務において管理者がAR空間上で指示を出し、複数の作業者が指示に従って正しい手順でピッキングを行うことができるようになります。

労働力不足の現代において熟練技術者の技を伝えることは非常に重要になってきていますが、AR技術を使えば、非熟練技術者に対して的確な作業指示を与えることができます。

AR情報の表示/再生コンテンツを多国語対応させれば、外国人労働者を短期間に戦力化することが可能になるのです。

まとめ

今後のARの未来ですが、最も資本が集中する軍事利用の観点からすると偵察用のドローンを飛ばして、ARヘルメットをかぶった兵士が敵の数や位置や武装を確認しながら闘うことなどが当たり前になることも想定されます。

また、医療シーンで考えると、操作する執刀医は同じ場所にいる必要すらなくなるかも知れず、遠隔医療は大きく変わるでしょう。（このあたりは「VR×医療」としてこちらの記事で紹介してます）

SF映画で起きていた事が徐々に現実世界で実現してきていますが、ARKit2.0はまさにAppleが仕掛ける未来への布石の1つなのです。

【Unity】ARKitでARアプリ開発！ 開発環境構築からサンプルアプリの実装まで

↑ARKitを用いた開発系の関連記事はこちら↑