【さえもんGO！】XR最先端技術が集まった撮影スタジオ「docomo XR Studio」に行ってみた！

こんにちは！ NTTドコモのさえもんです。

今回から、わたくしNTTドコモのさえもんが様々なXR情報を発信していく「さえもんGO！」シリーズをスタートします！

記念すべき初回では、2021年1月にプレスリリースで発表された「docomo XR Studio」にて、XRの最先端機材を体験している様子をご紹介します。

体験談だけでなく、Volumetric Videoや3Dスキャナーシステムの技術面にもしっかりと触れていきますので、ぜひご一読ください！

docomo XR Studioとは？

docomo XR Studio（以下、XR Studio）とは、XRコンテンツ作成に関する研究開発とコンテンツ作成者との協創を目的とし、NTTドコモがお台場のテレコムセンタービル内に開設したXR専用の撮影スタジオです。

現在XR Studioには、3つの機材が導入されています。

①TetaVi Studio：Volumetric Video撮影機材

②SHUN‘X：3Dスキャナーシステム

③VICON：モーションキャプチャー撮影機材

各機材の詳細は後ほどご紹介します！

docomo XR Studioの様子をご案内！

それではさっそく、スタジオに行ってみましょう！

こちらがXR Studioの入口。さえもん、行きまーす！！！

…と勢いよく入ると、すぐ左手に撮影スタジオの入口を発見！

撮影スタジオの扉を開くと…

広いスタジオがドドーンと登場！

ここではVolumetric Video撮影機材の「TetaVi Studio」とモーションキャプチャーシステム「VICON」を使用できます。

脇にはPCがずらっと！

撮影スタジオの外には「SHUN’X」の撮影機材も！

また、スタジオで撮影したデータを処理するサーバールームもあります。

TetaVi Studioで実際に撮影してみた！

TetaVi Studioとは？

このスタジオの目玉は何といってもTetaVi Studio！（以下、TetaVi）

被写体を多角的に撮影しデジタル空間上に立体としてリアルに再構成する、最新の Volumetric Video 撮影機材です。

Volumetric Videoでは、あらゆる角度から撮影した人やモノの3Dモデルを3次元空間にそのまま再現するだけでなく、その3Dモデルの動きも高精度に再現し、視聴者は360度自由に視点を動かして3Dモデルの動きを視聴することができます。

【TetaViのファッションにおける活用】

ここからは、実際のスタジオの様子を説明していきます！

まず、スタジオには2種類のカメラスタンドがあります。

カメラスタンド①には、IRカメラが2つ、RGBカメラが上下に2つ、IRプロジェクタが上部に1つ付いており、こちらが円周上に等間隔で4つ設置されています。

そして、カメラスタンド②にはRGBカメラが上下に2つ付いています。

このカメラスタンド②がカメラスタンド①の間に4つ設置され、トータル8つのカメラスタンドが円周上に設置されています。

TetaViで撮影してみた！

それでは実際に、動画を撮影してもらいますよ〜！  わくわく（゜▽゜*）♪

※ちなみに、黒い服や反射しやすい素材の服は赤外線を吸収してしまうため、うまく描画されない可能性があり、服装には注意する必要があります。今回はワインレッドカラーの服を着ています。

ぺこりとお辞儀する様子を撮影したものがこちら！

1秒（30フレーム）の動画が約30分ほどで書き出されました。

非常に綺麗な3Dモデルが簡単に撮影できました！

こんなに簡単に高精度な3Dモデル＋アニメーションを撮影できるなんて、様々な可能性を感じますね。

3D スキャナー「SHUN’X」で20秒足らずで自分の3Dアバターが完成！

SHUN’Xとは？

次に紹介するのが「SHUN’X」です。

SHUN’XはVRC社が開発した高速3Dスキャナーシステムで、合計40個の深度センサーとイメージセンサーを用いて撮影する機材です。

この機材の一番の特徴は、その撮影時間と3Dアバター作成の時間の短さ！

撮影時間はわずか約0.2秒、3Dアバター生成には20秒程度、トータルで1分かからずにアバターを作ることができます。

また、画像認識により自動的に関節情報（リグ）も付加された3Dデータが出力されるため、もともと用意されていたアニメーションを自分の3Dモデルが動く面白い体験もできます。

撮影したアバターやアニメーションは「ポケットアバター」という専用のアプリでダウンロードすることができます。

それでは実際に撮影してみましょう！

機材は高さ約2.2m。存在感ありますね。

機材の中は正面にモニターがあり、囲うようにセンサーと照明が！

円周上に8本の柱があり、1本あたり5個、合計40個のセンサーが使われています。

SHUN’Xで撮影してみた！

それでは撮影を始めましょう！

モニターの指示通りにポケットアバターのアプリを開き、専用のQRコードを表示させます。

QRコードをスキャン！ ピッ！

あとは画面のポーズをするだけで

画面と同じ体勢になり、ハイポーズ！

撮影後、たった数秒でアプリの画面が切り替わり、今回撮影した3Dモデルが表示されました。

  

 

18種類のアニメーションで、自分の3Dモデルが動く姿を見ることもできます。かなり面白い。

アニメーションはGIFスタンプとしてもダウンロードできるので、SNSでも使えますよ！

ちなみに、ARで現実の風景に重ね合わせることもできます。（別日に撮影）

VICONのご紹介

さて、最後にVICONのご紹介をします。

今回の取材では撮影しませんでしたが、VICONというモーションキャプチャーの機材もXR Studioには導入されています。

VICONとは、VICON社が開発したフルデジタルモーションキャプチャシステムです。

特にスポーツや臨床科学、エンターテイメントに良く使われており、最近だとバーチャルYouTuberのライブ配信で使われることも多いです。

機材はこちらのカメラ。40台ほど設置されています。

カメラの仕組みはこのようになっています。

（VICON公式サイトより引用）

被写体は以下のようにマーカーを全身に装着して撮影します。

実際の撮影の様子はこちら！ 次回は撮影してみたいな〜！

まとめ｜XR Studio発のコンテンツに期待大！

さえもんからの「docomo XR Studio」レポートは以上です！

様々な最先端の技術を体験できる「docomo XR Studio」では、今後も「Mantis Vision Volumetric Studio 3iosk（Volumetric Video撮影機材）」など様々な機材を導入予定です。

XRスタジオの紹介できる機材が増えましたら、改めてこのシリーズでレポートしますので、お楽しみに！

さえもんＧＯ！第２弾）【さえもんGO！】ARクラウド技術の実証実験に参加してみた！

↓↓NTTドコモのXR業界への取り組みの詳細はこちら