音楽・ライブをARでアップデートする|事例から見る、映像やライブ体験のイノベーション


聴く人の心に強いメッセージを残す音楽。

その音楽がARによってアップデートされようとしています。

今回の記事では、

  • ARとは?音楽とARが相性の良い理由
  • 音楽シーンにおけるARの活用方法
  • 国内外での音楽やライブへのARの実際の活用事例
  • ARがもたらす音楽の未来

といった点を取り上げます。

音楽好きはもちろん、ARエンジニアも必見の内容になっていますので、最後までお見逃しなく!

音楽シーンでのAR活用| AR技術の概要と活用方法とは

「移動中や作業中などに聞く」といった日常シーンから「ライブやフェスに行く」といった非日常まであらゆるシーンで触れる音楽は、紛れもなく我々の生活の一部。

そんな音楽ですが、ARというテクノロジーが掛け合わされることによって、表現や楽しみ方がアップデートされつつあります。

具体的には以下の4通り。

1:ミュージックビデオでARを活用した新しい表現手法が出現
2:音楽ライブでARを使ったユーザー向けのコンテンツが提供される
3:ARを使ったライブパフォーマンスが生まれる
4:日常で使う音楽アプリケーションのUI/UXがARで生まれ変わる

では、ARという技術の概要も踏まえて、それぞれ解説していきます。

ARとは?1分で分かる技術の概要

そもそもARとはAugmented Reality(=拡張現実)の訳で、現実世界にCGなどの人工的な映像や画像を重ね合わせて表示させる技術のこと。

スマホやタブレット、ゴーグルなどを現実空間にかざすとその中に様々な映像が表示され、あたかも現実世界にCGキャラクターが登場したかのように感じられます。

ARという技術をわかりやすく世間に広めたものといえば「Pokemon GO」でしょう。

スマホを様々な場所にかざすと、画面越しにその風景の中にポケモンのキャラクターが『出現』します。

現実とゲームが融合したような感覚に興奮した人も多いのではないでしょうか?

ARと近い技術に「VR」があります。

VRは「仮想現実」を意味するVirtual Realityの略で、専用のゴーグルなどを装着することにより仮想空間に5感を没入させる技術を指します。

VRは基本的には視界を覆う必要がありますが、ARは手持ちのスマホやタブレットで簡単に利用でできる手軽さが魅力。

また、現実空間を生かした形で様々なエフェクトを付与することができるため、手軽に楽しめる音楽メディアとの相性も非常に良く、多くのアーティストやエンジニアがARに注目するようになっています。

では、ここからは音楽シーンにおける実際のARの活用方法について考えていきましょう。

音楽シーンにおけるAR活用方法1:ミュージックビデオでARを活用する

実はARを音楽に活用するという取り組みは目新しいものではありません。

マイケル・ジャクソンやビョークなどの名だたるミュージシャンが、すでにARを自身の作品に活用しています。

そうした流れを受け、最近は日本でもARをミュージックビデオなどに利用するミュージシャンが増えてきました。

 上のミュージックビデオは、Haru.Robinson(ハル・ロビンソン)が発表した、世界初のARリリック・ミュージックビデオです。

リリック・ミュージックビデオとは、歌詞を映像表現の主軸に据えたミュージックビデオのこと。

スマホのARアプリを独自に開発、Haru.Robinsonの「HOWL」という曲の歌詞が、表参道の空間上にAR表示されています。

これまでのリリック・ミュージックビデオではテロップやCGで歌詞を表示したり、歌詞自体を表示した静止動画に動きや音を加えたりしていました。

ところがHaru.Robinsonの「HOUL」ではARを活用することによって、ミュージシャンが書いた直筆の歌詞が現実空間に浮かび上がるという新しい表現方法を実現しています。

このようにARをミュージックビデオに活用することによって、アーティストはまた一つ新しい表現方法を手にしているのです。

音楽シーンにおけるAR活用方法2:音楽ライブでARを使ったユーザー向け体験コンテンツを提供

音楽シーンにおけるARの活用方法の2つ目は「音楽ライブやフェスでのAR活用」。

フェスやライブ会場で実際に体験する、という特性を生かしたもので、具体的にはARを使ったライブ会場周辺のスタンプラリーや、ライブで販売するグッズやパンフレットにARコンテンツを追加することが挙げられます。

ARによって、これまでとは一味違ったライブの楽しみ方が徐々に広まりつつあります。

音楽シーンにおけるAR活用方法3:ARを使ったライブパフォーマンス

3つ目はライブパフォーマンスの一環としてARの演出を活用すること、

マドンナやクリス・ブラウンなどの専属ダンサーを務めていたダンス・アーティストのケント・モリ氏が、ARと音楽を融合した新たなパフォーマー、AR Artist KENTOとして2020年に再始動を果たしました。

KENTOのARを活用したライブパフォーマンスは、リアルタイム・モーションキャプチャーという技術を活用したリアルタイムでARエフェクトを生成するという新しい表現方法。

楽曲自体もARを前提にしたもので、『目に見える音楽』を届けることを目標としているそうです。

ARによって、こうした新たなパフォーマンスがさらに生まれてくるのは間違いないでしょう。

音楽シーンにおけるAR活用方法4:日常で使う音楽アプリケーションのUI/UXがARで生まれ変わる

4つ目はユーザーが自宅など日常的に体験する音楽を、ARがアップデートする形。

大きく方向性としては2つ存在し、

  1. 自宅がライブ会場化する
  2. 現在の音楽アプリ(Apple MusicやSpotifyなど)がARグラスに合わせたUI/UXを提供するようになる

と考えられます。

1つ目に関してですが、自宅にいながらアーティストのライブをARで楽しめたり、目の前にミュージシャンをスマホ越しに出現させる事ができるサービスが登場し始めています。

詳しくは後ほど紹介していきますが、WANDSが今年1月にリリースしたシングル「真っ赤なLip」と、同曲が採用されたアニメ「名探偵コナン」とのコラボもその一つ。

これは、オフィシャルYouTubeに公開されたコナン君のダンス動画をARで再現したもの。「真っ赤なLip」のシングルに記載されているQRコードを読み取ることによって、部屋の中にWANDSの曲に合わせて踊るコナン君が出現します。

こういった表現も、ARグラスにより「スマホ越しではなくメガネ越しに歌手やキャラクターが目の前でライブしているかのうような体験」が可能になります。

そして2つ目。こちらも後ほど詳しく記述しますが、ARグラス時代になると「Spotify」  「Apple Music」といった音楽アプリケーションはUIUXが大幅に変化すると想定されます(2Dの小さなスマホ画面から、視野の大部分を占めるARグラスへの変化ですので、当然ではありますが)。

2020年5月現在MRグラス「Magic Leap」でのみ体験可能なSpotfyのARバージョンですが、既に洗練されているインターフェースや機能設計はもちろん、「空間に対して曲やプレイリストをマッピングする」という発想がポイント。

自宅の部屋ごとに個別のプレイリストを設定し、保存する事ができます。

AR時代においては、音楽が一層生活シーンに根づいたものになること表していると言えるでしょう。

音のAR!Boseが開発するARヘッドホン・ARサングラス

若干文脈は異なりますが、2019年1月、スピーカーやヘッドセットを製造するBoseが世界初の「音声AR機能」を搭載したサングラス「Bose AR」を発売して話題となりました。

音声ARとは?

ARを知っている人ほど不思議に感じてしまうこのBose AR。「音声AR」と表現される本デバイスの主な昨日の魅力としては、「ユーザーの場所や顔の向きに応じて最適化された情報を享受する事ができる」という点です。

Bluetoothとスピーカーががサングラスに内蔵されており、接続したスマートフォンのGPS情報に基づいて、現在地に合わせた情報を音声で受け取ることが出来るという仕組みです。

たとえば、空港では出発ゲートの位置を音声で知らせたり、有名観光スポットでランドマークに近くづと、その場に合わせた音声ガイドが流れます。

また、Google Mapなどの地図アプリと組み合わせて使えば、自分の向いている方向に合わせて音声案内をしてくれるので、スマホを手にする必要もありません(日本語では未対応)。

もちろん、Boseが開発するウェアラブル端末のため、音楽を聞くための機能もバッチリ。

Bose ARをかけて、Bluetoothで接続したスマホで音楽を再生すると、ヘッドフォンやスピーカーで聴くのとは全く違う音の聴こえ方にビックリするでしょう。

さらに専用アプリである「Bose Rada」で音源をスマホにダウンロードすると、ビーチの環境音や様々な音楽を楽しむことができます。その際には内蔵センサーのおかげで、ライブ演奏では顔の向きに合わせて音の聞こえ方も変化するのも楽しみの一つ

 Bose ARは現実世界に「音」という情報を拡張するため、ARデバイスと言うことができるのです。 

※ARを活用した映像制作・消費者向けARアプリケーション開発のご相談はこちら

事例1.マドンナがビルボードの授賞式でARを活用したライブパフォーマンスを披露

ここからは、より具体的に音楽シーンにARを活用している個々の事例をご紹介しましょう。

ARをパフォーマンスに活用した最も有名な例といえば、アメリカのビッグミュージシャン・マドンナが、2019年のビルボード・ミュージック・アワードで披露したステージでしょう。

そのステージでマドンナは、ARを用いた演出とパフォーマンスで世界中を驚かせました。

ステージに立ったマドンナの周りには、MadamXと呼ばれる別々のコスチュームに身を包んだ自身のペルソナが出現。それぞれがダンスを披露しては泡のように消えていきます。

これはもちろん、ARによる演出。

マドンナのクリエイティブ・ディレクターを長年任されているJamie King氏が、マドンナから「ビルボード・ミュージック・アワードのために特別なステージを」と相談された際ににARを用いたパフォーマンスを思いついたそうです。

実際にARパフォーマンスを手掛けたのは、アメリカのARコンテンツ制作会社の「Sequin」社。

これまで数々のARやMR作品を制作しており、今回のステージ・パフォーマンスでも数多くのカメラを使ってマドンナのダンスをキャプチャリングし、ARとしてステージ上に再現させました。

Sequin社の技術開発監督であるJones氏は、ARを使ったステージ・パフォーマンスについて、これがメディアにおける次の革命になると述べて、音楽シーンにおけるARの可能性を強調していました。

事例2.ロンドンのラッパーがMVでARを活用

ロンドンを拠点に活動するラッパー・Tino Kamalが自身のミュージックビデオにARを活用。

ミュージックビデオ内で、Tino Kamalのタトゥーが光を放つ演出が話題を集めています。

この映像の制作過程には、今後クリエイティブ業界に関わるであろう技術が織り込まれています。

本人の3DCG映像を「ボリューメトリック・キャプチャ」で撮影

まずはこのミュージックビデオに出演しているTino Kamalは本人ではなく、3DCGによって表現されたAR映像なのです。

 

ボリューメトリック・キャプチャ(=多数のカメラでモデルを撮影し、取得した情報をそのまま3DCG化する技術)」によって、Tino Kamalを3DCG化し、その上に光を放つタトゥーのテクスチャを貼り付けているというわけ。

ボリューメトリックキャプチャ」では撮影した映像が直接3DCGデータ化されるため、静止物だけではなく、動く人間やダンサーの細かな動きまでキャプチャして3Dキャラクター化することが可能です。

上のTino Kamalのミュージックビデオでは、合計106台のカメラがTino Kamalの動きを正確に捉え、3Dデータとして映像を保存

ボリューメトリック・キャプチャは被写体の指先の動きまで正確にトラッキングできるため、AR/VR時代のMVの制作などにおいて活用が期待されている技術になります。

関連記事)3Dリアルアバター作成方法|全身をスキャン・モーションキャプチャする各技術と費用感

現状ではボリューメトリック・キャプチャができるスタジオの数は限られていますが、将来的には中小やインディーズスタジオまでこの技術が利用できるように整備が進められています。

今後、ボリューメトリック・キャプチャ技術がミュージックビデオにさらに取り入れられ、私たちを驚かせるような演出や映像が見られるようになるでしょう。

事例3.バーチャルヒューマンがライブ!リアルとバーチャルの融合した演出

今年1月11日、渋谷のライブハウスWOMBで開催されたドラムンベースパーティー、「06S FINAL」で披露されたバーチャルヒューマン「YELLOCK」のライブ映像がYouTubeで公開されています。

YELLOCKは「アバター」や「猿の惑星」などに関わったドイツのMimicが手掛けるバーチャルヒューマン・アーティスト

公開された動画では、バーチャルヒューマンであるYELLOCKと、モーションキャプチャスーツを身にまとったリアルの人間(=YELLOCK)が同時にステージに立ち、バーチャルとリアル、二人のYELLOCKが織りなすパフォーマンスに観客は魅了されています。

ライブ会場の雰囲気も受けた、生のパフォーマンスがARのバーチャルヒューマンによって行われる…

そんなリアルとバーチャルの垣根を超えたかのようなステージは全く新しい演出方法であり、ARによって音楽やライブがアップデートされた一つのマイルストーンとなるでしょう。

バーチャルヒューマンとは

「バーチャルヒューマン」とはCGで作成された人物のことで、バーチャル俳優やデジタルクローンと言われることもあります。

2019年の紅白歌合戦に出場した「AI美空ひばり」が記憶に新しいですが、バーチャルヒューマン自体は2018年頃から「バーチャル・インフルエンサー」として注目を浴びています。

例えば、ミュージシャンとしてだけではなく、プラダやモンクレールなどの高級ブランドともコラボしているバーチャルヒューマンの「Lil Miquela」は、インスアグラムで190万ものフォロワーを持つバーチャル・インフルエンサーとして名を馳せています。

日本でもバーチャル・モデルの「imma」がファッションモデルの表紙を飾ったり、CMに出演したりなどの活躍を見せています。

バーチャルヒューマンには

  1. 実在の人物をバーチャル化する
  2. 実在しないキャラクターをバーチャルで生み出す

という2軸が存在し、AI美空ひばりや先述したは実在の人物をバーチャル化したものである一方、Lil Miquelaやimmaはゼロからキャラクター化されたバーチャルヒューマンということになります。

YELLOCKはリアルな人間ありきのプロジェクトで、リアルタイム・モーションキャプチャによってバーチャルヒューマンでありながら、ライブパフォーマンスも可能としている点が興味深いところ。

バーチャルヒューマンにより、日本や世界の音楽シーンは一層表現の幅が広がり、多様性に富んだクリエイティブな

関連記事)バーチャルヒューマン・バーチャルインフルエンサーとは?企業の活用事例と仕組み・作り方

事例4.リアルと3Dモデルが融合したMV「Easy Breezy」(chelmico × 映像研)

3人の女子高生がアニメ制作に取り込む様子を描く、大童澄瞳によるマンガ「映像研には手を出すな!」。そのアニメのオープニングテーマである「Easy Breezy」を手掛けたのが、RachelとMamikoからなるラップユニットの「chelmico(チェルミコ)」。

アニメのオープニング自体も素晴らしかったのですが、chelmicoによるEasy BreezyのミュージックビデオがまさしくAR時代のMVともいうべき、ワクワクするような仕上がりとなっています。

Easy Breezyのミュージックビデオはリアルとバーチャルが複雑に混ざり合う、斬新で衝撃的かつ見ていて非常に楽しめる映像作品になっています。

シームレスに現実と空想の世界を行き来するところが「映像研には手を出すな!」の魅力の1つであるのですが、そしてchelmicoのミュージックビデオもARにより現実とアニメの世界観がクロスするような興味深い映像作品となっています。

Easy Breezyの映像制作手法

ミュージックビデオ・Easy Breezyは4D Viewという手法によって撮影されました。

動き回るRachelとMamikoの2人を3Dスキャンし、ダイレクトに3Dモデルとして出力されたデータを用いて映像を制作しています。

当初は「グリーンバックで2人を撮影してCGを合成する」という通常の撮影方法を検討していたようですが、一層クリエイティビティに富んだ表現をするため、ARを活用した制作を思いついたそうです。

※参考記事)『映像研』×chelmico MV監督 田向潤の「Easy Breezy」ではない制作の裏側

chelmicoのミュージックビデオ「Easy Breezy」は、公開から2ヶ月たらずで再生回数600万回という支持を集めており、最先端の技術とアイディア・表現力が掛け合わされた映像作品の魅力を多くの人が体験しています。

CGを現実世界に拡張させて表示させるARは音楽映像と相性抜群なのです。

事例5.GLAYのライブ連動企画!函館でのAR聖地巡礼

2018年に地元函館で行われたGLAYの大型野外ライブ「GLAY × HOKKAIDO 150 GLORIOUS MILLION DOLLAR NIGHT Vol.3」の開催に合わせて、函館の街をARを使って巡る「GLAY NAVIGATION(グレナビ)」が開催されました。

グレナビでは、函館市内にあるメンバーそれぞれにゆかりのある19箇所を訪れると、スマホの位置情報に連動してプッシュ通知が届きます。

それを開封すると、GLAYの楽曲やここでしか聞けないメンバーのコメンタリーを楽しめるという仕掛け。

今ではすっかりおなじみになった『聖地巡礼』に、ARで付加価値をつけてさらにファンに訴求しようというものでした。

道外からも多くのファンが訪れるライブで、そこを訪れないと体験できないというスペシャル感から、多くのファンが参加したそうで、イベント開催前後でスポット周辺は10%以上の来訪者が確認できたとのこと。

ライブそのものにARを活用することはもちろんですが、こうしてライブと連動させたARの活用によって、特別な体験をファンに与える試みはこれからも期待したいところです。

事例6.TV番組「THE MUSIC DAY」 ARアプリ連動企画

毎年恒例となっている日本テレビの夏の音楽の祭典、「THE MUSIC DAY」。昨年の放送では、スマホのアプリを利用したAR企画「THE MUSIC DAY AR」が行われました。

THE MUSIC DAY ARは「事前にアプリをインストールしたスマホをかざすと出演するアーティストや芸人が自分の部屋に現われる」というもので、中でもKing & Princeは出演中にメンバーの一人がランダムで登場し、おちゃめな一面を見せてくれました。

他にも、放送中に各アーティストのステージと連動した企画やパフォーマンスがARで展開。

まさしくTVから飛び出したアーティストたちの姿に、未来を感じた視聴者も多かったのではないでしょうか。

今年のTHE MUSIC DAYで同じような企画が行われるかどうかは現時点では不明ですが、こうしたTV番組と連動させたARの活用方法はまだまだ色々と考えられそうです。

事例7.自宅をライブ会場化させるARアプリ「Firstage」

ARによって自分の部屋をいつでもアーティストのライブ会場に変えてしまう。そんな楽しみ方を提供するのが、ARアプリの「Firstage」です。

Firstageはアプリを開いたあとにHIPHOPやPOPS、ROCKなどのカテゴリーからアーティストを選択し、好みのライブパフォーマンスをタップすることによって、アーティストとそのパフォーマンスがARで表示されます。

AR表示されるアーティストの大きさは自由に変更可能なため、等身大の大きさにして迫力満点のARライブにすることはもちろん、クルアのダッシュボードや作業中のPCの上など、いつでもどこでもアーティストのライブを楽しむことができます。

アプリを開発したのはフィンランドに拠点を置く企業ですが、使われた技術は日本を代表するテック企業「Kudan」のARSDK。

Kudan ARはハードウェアやオペレーションシステムに依存しない汎用性の高いARテクノロジーのため、スマホアプリの開発にとても適しています。

関連記事)AR用SDK全17個を徹底比較! – 開発ターゲット・機能・料金を一覧表付きで解説

Firstageアプリをリリースした理由について、開発者は「アーティストのパフォーマンスをユーザーの身近な場所までARで届けることによって、アーティストを応援したい」と述べています。

実際、FirstageではAR映像を表示させるだけではなく、気に入ったアーティストのライブのチケットを購入することもできるようになっています。

新感覚のAR体験アプリによって、ミュージシャンの活動領域はさらに広がっていきそうです。

事例8.自宅をライブ会場化させるARアプリ「SHOWSTAGE」(SHOWROOM)

ライブストリーミングサービスの「SHOWROOM」を運営するSHOWROOM株式会社がリリースした「SHOWSTAGE」も自宅で楽しめる音楽ARアプリ。

SHOWROOMは、アーティストやアイドルなどの配信を無料で視聴できるだけでなく、誰でも生配信が可能な双方向コミュニケーション・ツールとして若い世代を中心に支持を受けているサービス。

今回リリースした「SHOWSTAGE」では、ARによってさらに新たな体験をユーザーに届けようとしています。

SHOWSTAGEではスマホのAR機能で好きな場所をライブ会場に変え、お気に入りのアーティストのライブをARで堪能できます。

ライブステージとなるのは机の上や床など、平面であればどこでもOK。現実の空間上にCGを拡張させるというARの特性を生かして、自分の部屋の中にアーティストがやってきたかのような感覚が味わえます。

またユーザー自身の移動も自由なため、背後に回り込んだり、位置をけて様々な角度からライブを眺めることもできるようにするとのこと。

ARで自分の部屋にアイドルやアーティストを『降臨』させるのもよし、Oculus Goを利用してバーチャルの世界に飛び込むのもよし。SHOWSTAGEは手軽に、かつよりディープにライブを楽しめるアプリサービスとして注目を集めそうです。

事例9.King Gnu、AR技術を駆使した「どろん」のMVを公開

有名アーティストの「King Gnu」もMVでARを活用。

2019年1月15日にリリースしたアルバム「CEREMONY」収録曲の「どろん」のミュージックビデオでAR技術を使った演出を織り交ぜています。

本MVのディレクター・OSRIN氏は

世の中曖昧にされた情報が多い気がして、流されやすい時代やと思ってます。我ら大衆が何に目を凝らさせなきゃいけないのかってのはずっと頭の中にあり、それをMargtと一緒に演出しました。固く、より渋く出来上がったと思います。
– OSRIN(PERIMETRON)

とコメントしています。

映画「スマホを落としただけなのに 囚われの殺人鬼」の主題歌として起用されている本曲MVのテーマは「盲目の視点」。曲はもちろん、洗練された表現が詰まった非常に魅力的な映像作品になっていますので是非チェックしてみてください。

事例10.SpotifyがARアプリ版のUI/UXを公開

記事中盤にて簡単に説明しましたが、現在スマホ向けにリリースされている音楽アプリケーションも徐々にARグラスへの適用が始まっています。

2019年11月、MRグラス「Magic Leap」向けのSpotifyがリリースされ、楽曲情報を空間にマッピングする機能や「MRグラス時代の音楽アプリ」 として完成しつつあるUI/UXは大きな話題を呼びました。

今後、自宅だけでなく世界中の場所情報に対して音楽情報を紐づける事が可能になったり、自身がきいている曲や周囲の人が聞いている曲がグラス上に表示され、視覚的にシェアできる、といった利用シーンも可能になるもしれません。

ARを活用した映像制作や音楽アプリケーションの制作依頼・アイディア相談

ここまで音楽業界における様々なARの活用方法やユースケースを紹介してきましたが、本メディア「XR-Hub」運営元の株式会社x gardenはARアプリケーションの企画開発やARを活用した映像制作のご相談を初回無料で承っています。

国内最大手の観光会社・通信会社を始めとした様々な開発実績があり、気鋭の映像監督を含む豊富なクリエイターのアサインが可能ですので、

  • MV制作でARの活用を検討している
  • 自宅で楽しめる音楽アプリケーションを開発したい
  • 音楽業界のAR/VR活用アイディアが欲しい

という企業担当者の方はこちらからご相談ください。

関連記事)【2020年最新|ARビジネス活用事例11選】効率化や精度の向上などAR化のメリットに迫る

まとめ

まとめそもそも音楽は聴く人の心と思いに訴え、感情やその人の世界さえも拡張させる力を持っています。その音楽の持つ力をさらにアップデートさせるのが、今回紹介したAR。

音楽は人が表現するものの中でも、最も柔軟にその形態を変化させてきたアートの一つですが、それがARとの出会いによってまた新たなステージへ進もうとしています。

ARというテクノロジーの活用によって、音楽がビジュアル化され、ライブもその形を変えようとしています。

ARが生み出す映像や、ライブ体験のイノベーションに引き続き注目していきましょう。

関連記事)博物館・美術館・展示会のAR活用事例10選|アップデートされる新たな展示手法を徹底考察


この記事はいかがでしたか?
もし「参考になった」「面白かった」という場合は、応援シェアお願いします!

今泉滉平:株式会社x garden執行役員 / XR-Hub 事業責任者

企業向けAR/VR事業コンサルティングも実施しておりますので、以下からお気軽にお問い合わせください。

企業ページ(お問い合わせ先):https://x-garden.co.jp/

ツイッターアカウント:https://twitter.com/kohei_xrhub