【Magic Leap × IoT】XR開発の幅がグッと広がる!リアル空間拡張術


みなさま、はじめまして!中村瞳と申します。

普段はディスプレイ業界で働き、プライベートではXRコンテンツの開発を行うクリエイターとして活動しています。

今回はMagicLeap Challenge#02で開発した、ARグラスのMagic leap 1と IoTを活用した、「human mapping」という作品の開発秘話や制作方法などをご紹介いたします。

技術的な内容に沢山触れていくので、ぜひご一読いただけると幸いです。

作品のテーマは、デジタルツインの一般普及に貢献すること

昨今クラウド・AI・機械学習などのテクノロジー技術が進み、応用することでこれまでに無かった様々なソリューションが生まれています。

そんな中、特に注目されている技術が「デジタルツイン」です。

デジタルツインとはバーチャル空間にリアル空間の環境を再現し、IoTやXR技術を利用してシュミレーションや制御を行う技術です。

例えば、工場の製造設備、製造過程などの現実空間情報をデジタル空間に再現し、より最適なプロセスを調べたりイレギュラー発生時の事前予測を実現したりと、様々なユースケースが考えられます。

私は今回の開発で、デジタルツインが将来一般家庭に普及し、どのように活用されていくかを分かりやすく想像させたいという思いがありました。

そこで、身の回りの「もの」とMagic leapを連動させ、新しい体験価値の創出を目指すことにしました。

人の行動起点でリアルとバーチャルの連携を目的とした『human mapping』

「human mapping」は人の行動と、Magic leap上のバーチャル空間をマップさせ、リアル空間のあらゆる「もの」と連動させることを目的としたMR体験です。

Magic Leap上でUIを表示し、照明の状態とUIが連動するように設計しており、UIのボタンを押すとライトのオン・オフをする事が出来ます。

また、部屋を移動するとライトは自動で消え、部屋にいない場合はUIは赤くなります。

実際に開発した作品はこちらになります。

human mappingの制作過程

使用したソフトウェア/システム/機材について

今回の制作に使用したソフトウェア/システムは以下です。

  • Maya:モデリングのために活用
  • Unity:Magic leapアプリケーション開発
  • QLC+:照明制御のために活用
  • macOS:開発用OS

使用機材はこちらです。

  • Magic leap 1
  • cyber pac
  • DMX USB pro
  • DMXケーブル
  • 調光可能な電球
  • 調光用電球ソケット(電源ケーブル式)

3つの制作ステップ

制作は、大きく3つのステップに分けて検証~実装を進めていきました。

  1. Mayaで実際のライトとテーブルの3DCG制作
  2. Unityでのシュミレーション、Magic leapアプリケーション開発
  3. QLC+で、機材にDMX信号を送り、照明と連動させる

詳細な制作プロセス

UnityにOSCのプロトコルを取り入れ、まずはUnity上で通信の確認を行います。

UnityでのMagic leapのセットアップはこちらをご参照ください。

OSCは、今回はOSCJackを使用しました。

(OSCはAsset storeで多くのシステムが販売されています。使いやすさは個人によるかと思いますので、お好みのものをご利用ください。OSCJackは無料で使用する事が出来ます。)

OSC通信のテストを行います。まずは、UnityでOSCJackの起動確認を行います。

Magic leapとの通信テストは、今回はResolumeでテストを行いました。

動画のクリップを制御出来ました。

通信のテストができたら、QLC+とMagic leapを連動させていきます。

Unity上でOSC信号をQLC+に送り、QLC+では受信したOSC信号をDMX信号に変換し、出力しています。

照明とMagic leapを連動するにあたり様々な方法を検証しましたが、今回は各種アプリケーションとの相互性の良いOSCを採用しています。

また、Magic leapのハンドジェスチャー機能を活用した照明制御を中心とした設計を考えていましたが、

テストした結果、ハンドジェスチャーではRayがぶれてしまい、思うように操作が出来なかったのでコントローラを使用しています。

上記映像では、第一関節と第二関節の位置を認識し、そこからRayの方向を決めています。カメラ内で関節同士が重なると、どちらかの関節の認識が外れてしまい、Rayがぶれてしまいます。

OSCの活用方法について

今回の開発で使用したOSC(Open Sound Controlle)は、ソフトウェア間やセンサーとの連動など、主にセンサーで人の動きで連動するインタラクティブコンテンツの開発で多く活用されています。

human mappingではMagic leapとPC側のQLC+で無線通信を行うためにOSCを活用しました。

今回の実験で使用したResolumeやQLC+に加え、プロジェクションマッピングソフトMadMapper、映像出力ソフトVDMX5などにも対応しているので、是非興味のあるもので試してみてください。

これらのソフトはDMX出力にも対応しており、テープLEDを用意して映像の色データを照明に当てはめることも可能となっています。

(下図はMadMapperのイメージです。格子の四角部分の一つひとつを照明信号にする事ができるので、映像を照明データに変化させる事が可能です。)

また、VRChatもOSC対応を発表いたしました。

このことにより、Magic leapから信号を送ることでリアル空間の物や動作をVRChat内に反映する事ができるかもしれません。

まとめ:Magic leapエンジニアの表現は、デバイスの外側にもある!

今回リアルとバーチャルの連携というコンセプトを実現するために、第一弾として照明で試しました。

この技術は、

  • リアル空間にあるデジタルサイネージ上での映像の切り替え
  • イルミネーションと連動する電飾・照明演出
  • 展示物の目の前に立つと、展示物に照明が自然と照らされる

などへの転用が考えられます。

また、導線が決まった体験の場合、体験者に移動して欲しいエリア照明が光る、などの演出体験と合わせた連動が可能です。

今回の記事を通して、開発者の皆様が、リアル空間の「もの」と組み合わせて、さらに広がる体験を作るきっかけになっていただければ幸いです。

 


この記事はいかがでしたか?
もし「参考になった」「面白かった」という場合は、応援シェアお願いします!

クリエイティブ×エンジニアリングで、新しい空間体験を創造する」をテーマに、デジタルツイン、IoT、NUI、アンビエントコンピューティング等の技術を組み合わせたXR作品を制作。

空間と人とコンピュータネットワークの関わり方を日々考え、作品制作に活かしています。