ホロレンズ (HoloLens) 導入事例トヨタ自動車との取り組みとは?

近年、生産性向上や働き方改革の観点から、企業のDX(digital transformation)への取り組みが急務といわれています。本記事ではデジタル技術活用の事例として、Microsoft社のMRデバイス「HoloLens 2」を活用した、トヨタ自動車の自動車修理業務における取り組みを紹介します。

HoloLensとは?

「HoloLens」とは、Microsoft社が開発したMR（Mixed Reality：複合現実）を体験できるソリューションのことで、2016年3月に発売されました。一見すると頭上から覆いかぶさるように装着するデバイスで、ゴーグル型のディスプレイと視線追跡赤外線カメラや深度センサー、加速度計、ジャイロスコープなどの各種センサーを備えています。

その後、2019年11月には後継機種となる「HoloLens 2」が法人向けに発売され、翌年2020年7月には開発者向けとしても発売されています。HoloLens 2では装着性や視野角、10本の指を検出し両手を使った自然な操作ができる操作性など、大きな改善が行われています。

現実世界の机を検出し、その上に仮想世界のデジタルオブジェクトを表示することで、オブジェクトを手で操作したり、リモートで遠方の担当者と同じオブジェクトを見ながら会話したりといったコミュニケーションも行えます。ビジネス領域においては製造業やエンジニア、医療、教育といった現場での活躍が期待されており、さまざまな業界から注目を集めています。

Microsoft StoreからMRアプリケーションをインストールすることで利用できるため、使い方がシンプルなのも特徴です。

トヨタ自動車との取り組みについて

トヨタ自動車では2020年10月より、全国56店舗の「GR Garage」に順次HoloLens 2を導入しました。GR Garageは、トヨタ自動車の一般ディーラーとは異なり、スポーツカーを主に扱う「町いちばんの楽しいクルマ屋さん」をコンセプトにしている店舗で、専門のトレーニングと研修を受けた「GRコンサルタント」が常時在籍しています。

同社は2018年頃からMRの活用による業務効率化を検討しており、2020年に整備士が効率的かつ正確に業務を行うための取り組みとして、HoloLens 2を本格導入しました。MRとはデバイスが現実世界の物体の形状を認識し、そこに仮想世界となるホログラムを重ね合わせ、それぞれの世界が融合することで新たな体験を得られる技術です。

同社はHoloLens 2の導入にあたり、Microsoft社のさまざまなMRシステムを利用しています。具体的には、現実世界の物体を検出する「Azure Object Anchors」、クラウド上で巨大な3Dデータをレンダリングしてストリーミング表示するる「Azure Remote Rendering」、遠隔地にあるPCのTeams とのビデオ通話による遠隔支援を可能にする「Dynamics 365 Remote Assist」、3Dでの作業ガイド表示による作業支援やセルフトレーニングを提供する「Dynamics 365 Guides」の4つです。

これまでの修理業務における課題

それでは、トヨタ自動車がHoloLens 2の検討と導入に至った、自動車修理業務の課題は何だったのでしょうか。以下で詳しくご紹介します。

2Dデータをもとにした非効率な作業

自動車のワイヤーハーネス（電気配線の複雑なネットワーク）は、ライトやワイパーといった電装品や、エンジンを制御するコンピュータとエンジンをつなぐ重要な部品です。トヨタ自動車では10年以上前からワイヤーハーネスのマニュアルをデジタル化し、オフィスのPCから参照できるようにしていました。しかし、これだけではマニュアルの確認が必要になるたびに、整備士が持ち場を離れて手を洗い、オフィスのPCを操作し、図面を確認して持ち場に戻る、という作業を繰り返す必要があります。

また、PCが整備場にある場合も、たとえば自動車をリフトアップして作業する際、頭上にある自動車と手元のPCの画面を何度も見比べる必要があります。このように、手を動かす際はPCの図面を見たときの記憶に、どうしても頼らざるを得ない状況となってしまうのです。

複雑化する車体情報への対応

昨今では、自動車の新しい技術とサービスを表す「Connected（コネクティッド）」「Autonomous/Automated（自動化）」「Shared（シェアリング）」「Electric（電動化）」からなる「CASE」への取り組みにより、自動車はより複雑化・多様化が進んでいます。

ライトやワイパーだけでなく、自動ブレーキや高速道路での運転支援など、人命にも影響しかねない重要な機能が装備され始めています。このように複雑化した自動車の整備業務を、2Dデータに基づき人間の勘や記憶力頼みで対応していくことは困難です。そうした事情もあり、車体情報の複雑化にも対応できる整備体制の構築が急務となっていました。

HoloLens ２の導入で達成できたこと

上記のような自動車修理業務における課題がある中、実際にHoloLens ２を導入することにより、どのような改善が実現されたのでしょうか。

MRを用いた配線図・パーツ図による作業

HoloLens ２を用いると、視線の先にある現実世界の実物と、仮想世界のホログラムを重ねて見ることが可能です。また、視点や体の位置が変わり、現実世界にある実物の位置が変わると、それに合わせてホログラムの位置も移動します。

このMRの技術を利用し、2Dマニュアルではわかりづらかった部品と配線の位置関係を、実物の自動車に重ね合わせて表示することで、整備場でのノートPCの利用や、持ち場とオフィスの行き来を不要にしました。

また、デジタル化されたマニュアルのデータをもとに作成されたホログラムが常に表示されるため、整備士の勘や記憶に頼ることなく、正確な部品の位置を直感的に理解できるようになりました。これに加え、HoloLens ２には部品の品番や品名、回路図などの情報を付帯情報として表示できるため、正確で効率的な作業を実現しています。

MRを用いた新型車の機能解説

近年の自動車は、緻密な計算をもとに設計され、結果としてより複雑な工業製品となっています。これにより、さまざまな部品や形状がどう機能するのかを理解するのが難しくなっています。HoloLens 2を用いて、自動車の稼働状態などをアニメーションにして実物と重ね合わせることで、整備士はより直感的に機能を理解できます。

たとえば、自動車周辺の空気の流れ方は数値流体力学(CFD)に基づき、スーパーコンピュータなどを用いてHPC(High Performance Computing)により計算されています。この計算結果をもとに作られた自動車タイヤの周りや床下を、空気がどのように流れるのか、HoloLens 2で確認することが可能です。また、このようなHoloLens 2を用いた機能解説は、新車発表会などのイベントや営業活動など、顧客エンゲージメントを高めるサービスにも活用されています。

そのほかにもHoloLens 2を用いるメリットとして、自動車と3Dホログラムを重ねて表示するために従来必要であった、車体へのマーキング（目印）が不要になります。トヨタ自動車では、Microsoft Azure Object Anchorsにより現実世界の物体へのマーキングを不要にしたことで、顧客の自動車をマーキングで傷つけるリスクもなくしています。

MRを用いた作業手順ガイド・トレーニング

HoloLens 2を用いた自動車の整備作業支援は、通常の整備業務だけでなく、部品や用品の取り付け手順をトレーニングするためのツールとしても利用されています。現実世界の自動車と仮想世界の部品をホログラムとして重ねて表示するだけでなく、細かい取り付け手順をガイドとして合わせて表示することで、実物を確認しながら取り付け手順を学ぶことが可能です。

この方法を用いると、紙面でのマニュアルを作成する必要がなくなるだけでなく、ガイドの作成にはプログラミングを必要としないMicrosoft Dynamics 365 Guidesを利用しているため、容易にガイドを作成・更新できます。このことから、IT分野の知識を持たない整備士でもガイドの作成が可能となるため、販売店独自の教材を作成し活用できるようになります。

遠隔地とのコミュニケーション

自動車整備の現場では、マニュアルの不備や版数の古さゆえに、マニュアル通りの部品の配置や手順で作業を進められないことがあります。場合によっては、遠隔地にいる有識者に電話などで問い合わせる必要がありますが、電話などではうまく状況を説明するのが難しいケースも少なくありません。

このような状況でも、HoloLens 2を用いて効率的な問題解決が可能です。整備士の視点で見えている映像を、リアルタイムで遠隔地やほかの従業員と共有しながら会話することで、問題を解決できます。遠隔地から矢印やインクなどのアノテーション（注釈）を仮想空間に書き込めるため、円滑なコミュニケーションが可能です。これにより、移動や人との接触も最小限に押さえられるため、コロナ禍での安全対策にもつながります。