【さえもんGO！】巨大なアイドルが新宿に出現！？リアルと3D映像を融合させるAR技術を体験してきた！

すぺ〜しゃる研究員のみなさん、こんにちは！NTTドコモのさえもんです！

今回の「さえもんGO！」では、2022年3月21日に開催された、新宿の街なかで繰り広げられる巨大なアイドルのパフォーマンスをARで鑑賞するという実証実験についてご紹介します。

※実証実験に関するプレスリリースはこちら

実証実験の内容に加え、活用されたXR技術もご紹介するので、ぜひご一読ください！

「街なか巨大化AR」実証実験の概要

今回の実証実験では、タブレットを新宿の街に向けてかざすことで、巨大化した 「浪江女子発組合」の3名（内藤るなさん、高井千帆さん、播磨かなさん ）と新宿の街が融合したパフォーマンスを鑑賞できます。

本実証実験では、多数のカメラを含む専用装置を用いて全方位から撮影することで人物の動きを高精細に3D映像化し、大容量の 3D 映像データを圧縮したうえで高効率にストリーミング配信を行う「Volumetric Video（ボリュメトリックビデオ）ストリーミング」技術と、実際の空間中にデジタルコンテンツを配置・配信するためのツールを組み合わせています。

この2つのXR技術により、建物による遮蔽を表現した3D映像を街の中に配置することで、従来の AR より自然な形で、実際の空間と融合した AR 体験を可能にしました。

※Volumetric Videoのスタジオについての紹介記事はこちら

「街なか巨大化AR」を体験してみた！

それでは、「街なか巨大化AR」を体験していきましょう！

会場の新宿サザンテラスに到着すると、受付までの案内を見つけました。
ポスターと同じように、私も看板の後ろから出現！

案内通りに進んで、受付でiPadをお借りします。

沢山の方に体験いただくために、大量のタブレットも発見しました！

今回の実証実験では、事前に応募・当選された50組のモニターの方々に体験いただくようです。

それでは、早速体験を始めていきます。

まずはタブレットを空間にかざし、位置合わせを行います。

位置合わせが完了したら、ドコモ代々木ビル付近にアイドルが出てきます。本当にでかい！！

3D映像では自己紹介や、楽曲に合わせたダンスを披露してくれます。

ドコモ代々木ビルに抱きついたり、隠れたりするなど、ビルを使った演出もたくさん取り入れられており、ARならではの体験をすることができました。

今回はタブレットでの体験でしたが、ARグラスでも体験できると、より視聴しやすいかもしれませんね。

「街なか巨大化AR」の発案者にインタビュー！

アイドルの巨大化の発案者であるノトフ様へのインタビューを実施し、巨大化の狙いや、今後の展望をお聞きしました！

Ｑ1：なぜ今回このような実証実験を実施しようと思ったのですか？

はじまりは、実写の3D映像が簡単に撮影できるという話をお聞きしたことからでした。

実際にXRスタジオで撮影工程などを見せて頂いた時に、是非この技術を使ってみたいと思った一方で、この技術を使ってどういう見せ方をすべきか悩みました。

というのも、実写の3D映像/AR体験が等身大で出てきても、アイドルに直接会うこと以上の価値にはならないと思ったからです。

そこで、オンラインゲームで巨大化したアーティストがライブをしていることを参考に、実写では絶対に見ることができないものを見せようと思い、街なかに巨大化したアイドルを出現させたら面白そうだと考え、巨大化というアイデアに至りました。

Ｑ２：実証実験をやってみて、どう思いましたか？

モニターの大半はファンの方であったため、どのような反応をしてくださるか少し不安はありましたが、皆さんわくわくしながら体験されていて良かったです。

また、巨大化したメンバーと一緒に写真撮影をしようとするなど、自分たちが想定していない楽しみ方をされていたのも印象的でした。

Ｑ３：今回の実証実験を踏まえて、今後どのようなことに取り組んでいきたいですか？

まだまだ様々な可能性があると思っていますが、まずは新宿に留まらず、全国各地の観光名所でやっていけたらなと思っています。

また、被写体もアイドルだけでなく、アニメのキャラクターなどにもチャレンジしてみたいです。

浪江女子発組合のメンバーにインタビュー！

なんと、今回巨大化した「浪江女子発組合」の播磨かなさんにもお話を伺えました！

アイドルとのツーショットを撮らせていただき、感激です。

Ｑ1：実際に巨大化してみて、どう感じましたか？

スタジオでの撮影時には、新宿で体験する時に実際にどう見えるものなのかが不安でした。

ただ、実際にARで体験してみたら想像以上に自然と街に溶け込んでいて、自分が巨大化していることに違和感がありつつも、凄く楽しむことができました。

Ｑ2：この実証実験を通して、難しかったことはありますか？

Volumetric Videoの撮影が初めてだったこともあり、Volumetric Videoならではの注意点があったことが印象的でした。

例えば、意識せずに手を振ると3D映像化したときに指同士が繋がってしまい、カエルみたいな手になってしまうため、指を揃えてお上品に手を振る必要があります。

他には、透け感がある前髪も上手く表現できない時があるので重めの前髪にしたことや、なるべく手の動きを身体から離して撮影したことなどです。

また、撮影時にドコモ代々木ビルを想像しながらパフォーマンスしたことも記憶に残っています。ビルが本当にそこにあるかのような動きをその場で考えて撮影したのは、難しくも面白かったです。

Ｑ3：浪江女子発組合として今後どのようなXRのチャレンジをしてみたいですか？

ARでもっと大きくなりたいなと思いました！

今回はドコモ代々木ビルと同じくらいの大きさになりましたが、ビルの高さが足の長さと同じくらいのレベルで巨大化したら、もっと面白いのではと思っています！

まとめ

今回は、「街なか巨大化AR」を体験し、ご紹介しました。

2つのXR技術を組み合わせることで、新たなエンターテインメントの可能性を感じられましたね。

さえもんもいつか、巨大化してみたいです！

以上、「さえもんGO！」でした！