データ分析を行ううえで重要なデータウェアハウス（Data Ware House、データの倉庫）ですが、コスト削減・調整などの課題があります。
そういった課題に対して有益なのが、Databricksという統合分析プラットフォームです。この記事では、Databricksの特徴や機能について解説します。
Databricksとは何がすごい?
Databricksは、クラウド上の統合分析プラットフォームです。コンセプトは「データとAIの民主化」であり、データ統合とデータ分析、AI活用をすべて行えます。
Databricksでは金融や医療、製造、エンターテイメントなど多様な分野・業種で導入され、店舗需要予測やゲノム解析、品質管理などさまざまな場面で活用されています。世界7,000社以上の導入実績があり、北米ではデータ分析・AI利用の目的で導入する企業が増えています。
目的・用途に合わせた料金プランが用意されており、無料トライアル版もあるため気軽に利用を始められます。
Databricksの特徴:手軽にデータを分析できる
Databricksの優れた点は、データの取り込みから分析までのプロセスを手軽に一元化できることです。ポータル画面からデータ分析環境をクラウド上に構築し、データの取り込みや加工、連携や管理などプロセスの最適化が可能です。
分析結果は可視化され、ダッシュボードやレポートを作成できます。あらゆる形式のデータの保管が可能であり、データ抽出や分析もスピーディーです。
操作性も優れており、数クリックでモデルの作成や監視・改善といったさまざまな環境を簡単に一括構築できます。そのため、専門知識やスキルがなくとも利用可能です。
Databricksの機能
Databricksには、さまざまな機能があります。各機能の特徴やメリットを押さえて、業務に活かしましょう。
高速処理できる
扱うデータ量が増えるほど、処理時間とコストも増大します。運用コストがかかるうえ、パフォーマンスも低下する点が従来の課題でした。
Databricksでは、大量データの高速処理が可能です。データの保存と処理を構造上分離し、並列分散処理アルゴリズムによって機械学習とETLをスピーディーに実行できます。ETLとは、データを抽出（Extract）し、変換（Transform）してデータウェアハウスなどに書き出す（Load）一連のプロセスです。DatabricksではSQLの高速処理が可能であるうえ、パフォーマンスも優れています。
データ管理がよりシンプルで分かりやすくなる
従来の手法では分析やデータサイエンス、機械学習は分断されており、データのサイロ化（データが分散され、有効活用できない状態）が生じていました。多様なデータを一元的に管理・分析しなければ、高品質かつ有用な分析結果は得られません。
Databricksを導入すれば、分かりやすくシンプルなデータ管理が可能です。データウェアハウスとデータレイクを組み合わせた「データレイクハウス」機能によって、購買データやテキスト、画像データなど、あらゆる構造化・非構造化・半構造化データを統合管理できます。
ノートブック上でストリーミング（大量データのリアルタイム処理）とバッチ処理を統合できるため、コスト削減も可能です。データのサイロ化も解消され、精度が高い分析結果をさまざまな場面で活かせます。
機械学習のライフサイクルを一元的に管理できる
機械学習のワークフローやモデル管理には、複雑かつ高度な処理が必要です。しかし、データサイエンティストや機械学習エンジニアなどのAI人材は慢性的に不足しており、育成も困難です。
Databricksでは、1行書いたコードからAutoMLがモデルを作成します。機械学習のノウハウや知識が十分でない場合にも、簡単に機械学習モデルやAIの作成が可能です。モデル開発の際に必要なデータが自動で記録され、分析・検証も容易に行えます。このように、Databricksは機械学習の実験から本番まで、ライフサイクルを一元的に管理できます。
また、構築した機械学習モデルをレジストリに登録すれば、モデルの共有が可能です。データサイエンティスト間でモデルを共有・再利用すれば、さらなる作業効率化が見込めます。
共同作業の効率アップにつながる
Databricksでは、コメントを使った共同作業やノートブックの同時編集が可能です。許可されたユーザーは仮想ワークスペースを共有できるため、直接ノートブックにコメント・編集できます。
SQLやPython、Rなどの複数の言語に対応しており、ユーザー間でコミュニケーションをとりつつ連携・協同作業ができます。これによって時間や手間を短縮でき、効率化や生産性の向上が可能です。また、ファイルのやり取りなどが不要になるため、ミスや行き違いが減少する効果も期待できます。
コメントなどのコミュニケーション機能に加えて、各データのバージョン管理・復元機能も役立ちます。編集したデータを以前のバージョンに戻したい際は、履歴を参照・選択して容易に復元可能です。誤ってデータを上書きした場合でも、コードを書き直す必要はありません。
マルチクラウドに対応
Databricksは、複数のクラウドサービスと連携でき、マルチクラウドに対応しています。Microsoft AzureやAmazon Web Services（AWS）、Google Cloud Platformという複数のクラウドサービスから、自社に合った環境を選択可能です。さらに、クラウドサービスを変更した場合でも従来と同一の環境や機能を利用できます。
前述の通り、データ分析基盤は数クリックで構築できるため、新たなクラウドサービスの利用にあたり、プロセスの再構築やセキュリティ、ガバナンス体制の整備を行う必要はありません。運用負担がかからず、一貫した管理やセキュリティが可能である点は大きなメリットです。
Databricksの課題解決事例:ウォルト・ディズニー・カンパニー
前述の通り、Databricksはさまざまな企業で活用されています。Databricksによって課題解決をした企業のひとつが、ウォルト・ディズニー・カンパニーです。
ウォルト・ディズニー・カンパニーでは、顧客分析をデータウェアハウスで、機械学習をデータレイクで分けて行い、顧客体験を向上させるパーソナライゼーションを実現していました。しかし、この方法は効率が悪く、業務遂行に問題が生じるという課題がありました。
そこでDatabricksのデータレイクハウス機能を活用し、データをプラットフォーム上で統合します。パーソナライゼーション機械学習モデルの効率的な構築が実現され、現在同社ではハイレベルな顧客体験を提供することに成功しています。
収益の加速と定着率の向上によって、ウォルト・ディズニー・カンパニーは39億円の収益を得たと算出しています。さらに計算コストが30億円削減され、開発者の生産性が40％向上しています。
このようにDatabricksの活用によって業務上の課題解決が可能であり、生産性や収益の向上が期待できます。
まとめ
Databricksは、統合データ分析プラットフォームです。Microsoft Azureなどのサービスと連携でき、データ管理の簡便化や高速処理などさまざまなメリットがあります。
Databricksを導入する際は、専門業者にサポートを依頼するとスムーズです。Databricksの導入支援実績が豊富なナレッジコミュニケーションは、自社に合ったシステム環境の提案が可能であり、周辺クラウドサービスとの連携ノウハウを活かした支援を行います。導入を検討される際は、気軽にお問い合わせください。
