Dynamics365ホロレンズとは？使い方をマスターしよう！

遠隔支援を行うことが近年増えてきています。時世的な問題もありますが、効率化を推進するために遠隔機能を利用することが効果的になる場面があるためです。遠隔支援を行うためにDynamics365ホロレンズという製品が役に立ちます。

今回は、Dynamics365ホロレンズの概要から操作感、そして遠隔支援を行うメリットなどを解説します。活用事例からメリットまで、役立つ内容を理解していきましょう。

HoloLens（ホロレンズ）とは

Microsoft社によって開発された、Mixed Realityデバイス、ARやVRをさらに現実とさせた「複合現実」のデバイスです。HoloLensは複合現実のためのワイヤレスであり、ヘッドマウントタイプのホログラフィックデバイスとして活躍が期待されています。

従来のARやVRはスマートフォンやその他機器との接続が必要であり、機器のタイプによってはスマートフォンを取り出して利用する必要がありました。しかし、ホロレンズは当該MRデバイスにOSが搭載されており、スマートフォンなどの外部機器が目の前にあるかのように利用できます。

グラフィック上に表示されるアプリケーション（以下、アプリ）は、音声やジェスチャーによって利用することが可能となっており、VRのような利用感とARの拡張現実のいいとこ取りの機能を提供してくれるでしょう。

複合現実（MR）とは

拡張現実であるARや仮想現実であるVRは徐々に市場に広まっています。そして新たな領域として、複合現実というジャンルが生まれたのです。Mixed Reality と呼ばれ頭文字を取ってMRという略称で表されます。

MRの特徴は現実空間をデジタルとして処理することで、デジタル情報を現実空間に投影するのです。音声やジェスチャーによって投影されたデジタル情報を操作することができます。VRは現実空間を完全に遮断することで、没入感などを得ることを容易にしました。

しかしながら、現実空間への転用や工業的利用などを難しくしてしまう一面があります。そこでMRでは、MRデバイスに対してさまざまなセンサーを機能させ、現実空間の読み取りを行うこととしました。それによってレンズを通して現実世界を見ながら電子的な情報も合わせて操作できることを実現したのです。

ホロレンズは視線やジェスチャーで操作できる

ホロレンズの特徴として「高い制度での作業」が可能となっています。アイトラッキングによって、使用者の視点を正確に把握することができるのです。これはホロレンズに表示されるデータ情報などを視線で操作することを容易にしているといえるでしょう。

また、ジェスチャーはハンドトラッキングによって、レンズ上にレンダリングされるホログラムを自然な感覚で触れる、掴む、動かすなどの動作が可能です。このようなことから、例えば、両手が塞がっている状態であっても操作ができること、あるいはハンドトラッキングによって、仮想的な3Dデータを閲覧したり触れたりすることが可能でしょう。

これによって、工業作業や医療現場の学習などを行う場合に、画面上に設計書や説明書を出しながら、作業を継続することを実現することができるようになります。その他にもさまざまな環境においての利用が考えられており、今後もMRデバイスは広がっていくでしょう。

ホロレンズを活用し遠隔地でも共同作業できるRemote Assist

Remote AssistはDynamics 365で提供されるアプリの一つです。ホロレンズだけではなく、Android、iOS、その他の多くのデバイスによって利用が可能です。Remote Assistは遠隔支援を可能にし、現場にいる作業者と遠隔地の協力者、エキスパートなどと、情報をリアルタイムで共有することができます。

例えば、ホロレンズを装着した作業者とTeamsによって連絡を取り合い、マンツーマンでの作業援助を可能にすることや、n対nでの連絡も可能です。音声ファイル、ビデオファイル、書類、手書きによる指示などを可能にしています。

さらに遠隔地からの支援を的確にもらうために、ホロレンズで見ている画面や電子的情報をmixpaceというアプリによって実現します。Remote Assistはバックグラウンドでも動作することが可能なため、一旦スタート画面に戻り、アプリを起動することで、ホロレンズ上の画面をTeamsで見ている相手に共有することができるのです。

共有された情報から、的確な指示を与えることも可能ですし、空間的に多くの人が入れない場所であっても、情報共有をすることができるでしょう。判断が難しい状況でも、エキスパートにその場で共有できることを実現します。

ホロレンズで遠隔作業の支援を行うメリット

近年は新型コロナウイルスによるリモートワークや海外との往来の問題などによって、遠隔でのやり取りが飛躍的に多くなりました。特に、工場などに視察に行けない場合などにこのようなMRデバイスによるやり取りのメリットが見えてくるでしょう。

ホロレンズによる遠隔作業の支援を行うにあたるメリットとしては、単純に視界を共有することだけではありません。ホロレンズにはさまざまな機能が搭載されており、空間アンカー、AR空間に対する説明書等の資料固定など、効果的な遠隔作業の支援を期待することができます。

視界の共有や資料の固定化については想像がつくでしょう。その他の機能で遠隔作業の支援に役立つのは、空間アンカー機能です。この機能では、作業者の見ている空間に対して、注釈や目印をつけて固定することができます。

通話でのやり取りや視界共有では説明に限界が生じるため、このような機能を利用することによって、プロフェッショナルである指示者から的確な作業内容をもらうことができるでしょう。作業者と指示者との相違を減らすことができ、ホロレンズによって効果的な支援を受けるあるいは行うことができるのです。

Remote Assistの導入事例

Remote Assistの導入事例として、自動車企業への活用が行われています。新人が組み立て完了後の製品を完全に理解することは難しいでしょう。学習コストの高い書籍によるものや、すべての工程を追いかけるのはコスト的にも時間的にも工数がかかります。

MRデバイスでは実在している車両を見ながら、ARの拡張現実機能を合わせることができ、部品同士の連動や車両の機能を理解することが可能です。実物を見ながら学習できるため、理解のスピードを速めることができます。

また、画像に対して機械学習と連携することで、車両検査のミスを特定することができます。ミスが起きやすい箇所を事前にマークすることで、ミスを減らすことにもつながるのです。

Remote Assistを導入することで、さらに効果的なのがフィールドエンジニアの作業工程の確認や効果的な教育、トレーニングでしょう。フィールドエンジニアにとって、作業工程を確認しながら製品を組み立てていては効率的な作業ができません。さらに、遠隔で視界を共有できることによって、トレーニングを行う場合に常時トレーナーがそばにいなくても、指示を出すことができます。効率化を進めるうえで非常に役立っているといえるでしょう。

Remote Assistの操作手順

ホロレンズからRemote Assistを利用するための操作を行うにはどのような手順を踏むのでしょうか。ホロレンズにはRemote Assistがプリインストールされているため、まずは起動を行います。

例えばトレーナーに対して連絡を取りたい場合は、連絡先を選択して発信するだけです。受けてのトレーナーはTeamsなどのアプリを介して着信が来るため、着信に対して応答し、通話を行います。Remote Assistによって画面を共有したい場合は、mixpaceを起動することで、簡単に画面共有ができるのです。

Remote Assistは複雑な手順を必要とせず、通話をして、画面を共有することで簡単に利用することが可能となっています。問題はどのような場面でどう利用するかです。効果的に利用できるように、まずは利用してみることから始めてみるのが良いでしょう。