【さえもんGO！】スマートグラスを活用した「遠隔作業支援ソリューション」を体験してみた！

すぺ〜しゃる研究員のみなさん、こんにちは！NTTドコモのさえもんです！

今回の「さえもんGO！」では、2021年6月にプレスリリースで発表された、スマートグラスを活用した保守業務向け「遠隔作業支援ソリューション」を体験してきたので、その様子をご紹介していきます！

体験の様子に加えて、開発責任者の浅井さんへのインタビューも実施し、開発の背景や今後の展望などを語っていただきました。ぜひご一読ください！

 遠隔作業支援ソリューションとは

今回ご紹介する「遠隔作業支援ソリューション」は、現場で「Magic Leap 1」を装着して作業をし、遠隔地のPCアプリと通信することにより、遠隔地からリアルタイムで作業現場を遠隔支援するソリューションです。サーバ保守業者やインフラ事業者などによる、施設や機材の保守での活用をイメージして開発されました。

施設や機材の保守業務には、人為ミスをなくすための複数人によるチェックが必要で、これまでは、実際現場に複数人で向かい作業する必要がありました。また、現地で作業の支援を行う熟練者の数も減少しているという課題があります。

そこで、本ソリューションにより、現場に向かう人数を減らすことができ、また熟練者が遠隔地にいながら現地作業の支援を行うことが可能になります。

本ソリューションでは、2つの目玉機能があります。

1つ目は、遠隔地の PC アプリからMR空間上に矢印配置や描画を行うことで、遠隔地にいながらも現地にいるかのような指示が可能になる「空間ポインティング機能」です。

2つ目は、現地で手順書を空間上に表示することで、作業しながら手順を確認することができる「3D フロー機能」です。MR 技術の持つ空間認識能力を活用することで、作業対象を邪魔しない位置に手順書を配置することが可能となっています。

より詳しい内容については、こちらをご覧ください！

それでは、これらの機能をさえもんが実際に体験した様子をお届けしますので、ご覧ください！

「遠隔作業支援ソリューション」を体験！

今回は、写真のような場所で現地作業をすることを想定して体験をしました。

すぺ研ではおなじみのMagic Leap 1を装着し、アプリを起動。PC（遠隔地での担当者想定）でもアプリを起動すると、このような画面が表示され、通話ボタンを押すとMagic Leap 1との通信が開始し、通話が始まります。

【画像表示】

通話が開始されると、Magic Leap 1越しに見ている映像がPC上にも表示がされました！

現場で作業をする方がどの場所にいてどんな作業をしているかを、PC上の画面で確認することができます。

双方向での会話が可能で映像と音声の両方で意思疎通を図ることができるため、例えば今までは現地に作業者と確認者の2名でいかなければならなかった作業などを、遠隔支援により現場1名で対応することが可能になります。

MRグラスならではの機能を体験！その１「空間ポインティング機能」

映像と音声で意思疎通を図る、という機能だけであれば、スマートグラスでも可能でした。

ここからは、MRグラスならではの2つの機能を体験・ご紹介していきます。

1つ目は、「空間ポインティング機能」です。これは、遠隔地のPC上から、現場作業者が装着しているMagic Leap 1の空間上に矢印配置や描画を行うことで、言語化されていない細かな作業やスキルであっても伝えることができる機能です。

 

では、実際に体験してみます！

机の上に文房具や水など、4つのアイテムを置きました。

今回は、遠隔から指示を出された通りにアイテムを選択できるかという作業にチャレンジします！

このようにPC側からも、私が見ている景色が表示されています。

「空間ポインティング機能」を利用するには、まず、PC上で画面右側のカメラマークのボタンを押し、写真撮影を行います。

撮影した写真上に、マウスを使って書き込んでいきます。書き込みが完了したら、画面右側のチェックマークのボタンを押して完了です！

すると、PC上で書き込んだ丸印が、Magic Leap 1上にも表示されました！指示通り、丸で囲まれたアイテムを取り、無事に作業完了です！

ちなみに、写真撮影の際に空間情報も同時に取得をしているので、PC上で書き込んだものは3次元空間上に表示されています！

 

ちなみに、丸印や線で書き込んだ部分はそのまま表示され、点で記入をした部分は矢印で表示がされます。伝達内容や作業の違いによって使い分けることで、より的確な指示が出来そうですね！

 

 MRグラスならではの機能を体験！その２「3D フロー機能」

続いて2つ目は「3Dフロー機能」です！

この機能は作業に必要となる手順書を空間上に配置することができる機能で、現場での作業をハンズフリーで行うことを想定として作られた機能です。

PC上では画面下部に手順書が表示がされていて、同じ作業手順を確認をすることができます。

Magic Leap 1では、手でOKマークを作ることによって手順書を空間上に固定することがで来ます。こうすることで、現場作業者は作業の邪魔にならない位置に手順書を配置し、作業をすることができます！

また手順書には、文章だけでなく画像や動画をつけることができるので、より詳細に手順を確認することができます。

 

作業履歴は「証跡管理機能」にて閲覧することができるので、いつ、誰が、どの手順を実施、確認をしたのかを確認することができます。

ソリューション開発担当の浅井さんにインタビュー！

MRグラスを利用することで、遠隔地にいても作業現場を遠隔で支援することのできる「遠隔作業支援ソリューション」を体験してみました。

そして今回、開発責任者である浅井さんにインタビューを実施し、その開発背景をお聞きしました！

Q1：今回の開発の背景はどんなものがあったのでしょうか？

Magic Leap 1を使った何か新しいXRソリューションを作りたいという点と、ドコモ社内にあるネットワーク事業部の働き方を変えていきたいという点がありました。

はじめはMagic Leap 1を使った法人向けのソリューションを作りたいという構想だったのですが、検討を重ねる中で、映像や空間情報を送ることができる機能に着目し、作業の支援ができるんじゃないかという発想に至りました。

かつ、XRソリューションは実証実験や価値検証の大変さがハードルとしてあるのですが、まずは社内をターゲットにすることによって、素早く価値検証ができるのではと考え、今回の開発をスタートさせました。

現在、社内でのPoCを実施しています。

Q2：実際に使っている方々の反応はどうですか？

今回の「空間ポインティング機能」のように、空間に情報を配置することができる点は、作業の邪魔にならないので使いやすいということで評価を頂いています。

ただ、もちろん良い評価だけでなく改善してほしい点も伺っています。MRである以上、デバイスの費用面、重さや大きさ、視野角の問題など、ハードウェア側の制約が厳しいこと等は、今後対策を考えていかなければならない点だと考えています。

Q3： 今回のソリューションの、技術的な特徴はどこにあると考えていますか？

既に紹介されている、「空間ポインティング機能」「3Dフロー機能」はやはり推しポイントです。『MRグラスならでは』の機能だと考えているので、ブラッシュアップしてより良いものを作りあげていきたいです。

また、Magic Leap 1側の機能を必要最低限に絞ることによって、操作をわかりやすくした点も挙げられます。

作業現場では「新しい技術/ツールを導入しても実際には使用されていない」といった事実もよく耳にするので、開発するからには導入後も使ってもらえるようなソリューションを目指すため、誰でもわかりやすく使えるような、現場のITリテラシーに合わせたソリューションであることを大切にしています。

特に今回は、Magic Leap 1では作業に集中できるようにコントローラーも使わず、ややこしい作業は遠隔地のPC側に任せるような形にしました。

Q4：開発の特に大変だった点はありますか？またそれをどのように解決しましたか？

これはMagic Leap 1を使用しているからこそなのですが、開発当初はMagic Leap 1がWebRTC（映像転送機能）に対応しておらず、映像転送機能の実装に苦労しました。仕方なくスクラッチで開発をしたのですが、開発途中でWebRTCが対応したというニュースがあり、少し悲しくなった記憶があります笑。

こういう苦労は、新しい技術を使っているからこその大変な点なのだと思います。

Q5：今後、さらに開発を進めていくにあたっての課題点は何かありますか？

3つあり、1つめはハードウェア観点の課題です。

例えば、作業現場でヘルメットを装着していることによってMagic Leap 1が装着できない、ということや、外作業のためネットワークが悪く通信ができない・そもそもネットワークがないことなど、ソフトの修正だけではどうしようもない課題点が多くあります。

これは、ハードウェアの進歩等にゆだねるしかないので、新しい技術やデバイスを常にチェックするようにしています。

 

また2つめは、ソフトウェア観点の課題です。

機能を追加開発していくにあたって、誰でもわかりやすくという根本を壊さないように、慎重に検討しなければならないという点です。

現在は、現場の方々から頂いた、作業の画像や動画など、証跡を自動保存する機能があると便利という声を参考に、どのように実装すればいいかを検討しています。

 

3つめは作業手順書をいかにスムーズにデータ化し管理するか、という点です。

サーバ保守業者やインフラ事業者による施設や機材の保守・運用業務の特徴として、作業量が膨大であることがあります。機材1つ1つに作業手順が数百あることもざらで、それらを資料化することが出来ていないのです。その資料化の部分を本ソリューションでカバーできればな、と考えています。

Q6:：ソリューション自体の今後の展望は？

まずは社内のネットワーク事業部での本番導入を実現することです。ドコモのネットワーク事業部の規模での本番導入が出来れば、他社での導入に向けても進めることができると思っています。

そのために、PoCを実施して明らかになってきている課題を解決していき、現場で積極的に使ってもらえるようなソリューション開発を進めていきます。

 

今回取材に応じていただいた、NTTドコモの浅井さんです！ありがとうございました！

まとめ

いかがでしたでしょうか？

今回、スマートグラスを活用した保守業務向け「遠隔作業支援ソリューション」を体験し、「空間ポインティング機能」「3Dフロー機能」といったMRグラスならではの機能をご紹介しました！

また、インタビューを通して、ソリューション開発の背景や、最新技術を利用しているからこその課題点もお聞きすることができました。

今後どのような機能が追加されていくのか、とても楽しみなソリューションですね！

 

今回紹介した「遠隔作業支援ソリューション」は現在有償でのPoCを実施する企業様を募集していますので、下記までお問い合わせください！

・問い合わせ先：xr-cloud-ml@nttdocomo.com

・担当：移動機開発部　XRイノベーション推進担当　浅井勇大

・ソリューション概要：https://xr.docomo.ne.jp/event_case/case40/

XR Kaigi

また、NTTドコモは「XR Kaigi 2021」にスポンサーとして参加しており、本ソリューションをバーチャルブース（XR Kaigi Online）、リアル展示（XR Matsuri）にて出展を予定しているとのことです。

「XR Kaigi 2021」は、2021年11月15日（月）・16日（火）・17日（水）・25日（木）・26日（金）の5日にわたり開催する、国内最大級のVR/AR/MRカンファレンスです。

11月15日（月）・16日（火）・17日（水）ではオンラインで行われるXR Kaigi Online、・25日（木）・26日（金）ではオフラインで行われるXR Matsuriが開催されます。

※詳細はこちら

ご興味ある方はぜひXR Kaigi 2021へ足を運んでみてはいかがでしょうか！