データクレンジングと名寄せの技術

皆さんは、社内システムが提供する顧客情報が整理されていないがために、トラブルに遭遇したことはないでしょうか？

とある会社の営業担当のAさんは以前から取引があるお客様に新商品の紹介を計画していました。まずはCRMなどの社内システムにアクセスして顧客名を入力し情報を抽出、それによると直近の取引履歴は3ヵ月前で関係は良好、Aさんは案件化の見込みありと判断し、さっそくお客様に連絡をしました。

しかしいざ連絡してみると「忙しいんだから、何度も同じことで連絡しないでくれ！」と一喝されてしまいました。Aさんになにが起きたのでしょう。

よくあるトラブル

疑問に思ったAさんは再びCRMシステムにアクセスし顧客名を入力。

やはり、直近の取引履歴は3ヵ月前で関係は良好、と記載されています。セールスマンAの挨拶にも不備はありません。

そこで「もしかして…」と考えたAさんは顧客名を「株式会社○○（カタカナ）」ではなく、「(株)○○（アルファベット）」と略称で検索してみたところ、同じお客様情報が二重に登録されていました。

二重で登録されたお客様情報によると、隣の課の営業課長が1週間前に同じ製品を提案し、断られたばかりという記録が残っています。

Aさんの事例はあくまで一例です。しかしまったく同じ状況でなくとも、CRMなど社内システムの顧客情報が整理されていなかったがために、何らかのトラブルに遭遇した方は多いかと思います。ひどい時は、同じお客様情報が「株式会社○○（カタカナ）」「(株)○○（アルファベット略称）」「株式会社丸々」「株式会社○○ ××支店」といくつも登録されていることすらあります。

人間の目から見ればこれらのお客様情報は「同一のものだ」と判断できます。しかし、コンピューターは違います。別々の情報として登録すれば、それはまったくの別会社です。「株式会社○○」と検索すれば「株式会社○○」としての情報しか表示できません。

では、こうした重複情報が原因によるトラブルはどう防げばよいのでしょうか？

その答えがデータクレンジングと名寄せ技術を使った、お客様情報の一元管理です。今回はこの2つの技術についてご紹介しましょう。

【動画】マーケティング担当者必見！スタートアップCEOと考えるCXの未来

デジタル技術の進化と共に購買プロセスが大きく変化し、B2B・B2C に関わらず、購買者はあらゆるタッチポイントで一貫したサービスを求めるようになりました。この変化の激しい時代において求められる顧客体験とはどのようなものか？

本動画は、過去 SAP.iO のプログラムに参加し、当領域の最前線で活躍されているスタートアップ各社の CEO をお招きし、日本企業が目指すべき将来の CX のあり方などについてディスカッションした内容を収録しています。

データクレンジングと名寄せ

先述の事例のように、重複したお客様データがいくつもあり、それぞれに異なる情報が記載されているデータは総合的な判断ができないため「使えないデータベース」です。

お客様情報を個々人で管理しているような環境では、必ずお客様に対し失礼があったりトラブル発生の原因になります。理想はやはり、会社全体が共通のお客様情報を参照できる環境です。

こうした使えないデータベースは日常のお客様情報管理ルールを規定するだけでは防げません。どうしても、ルールから逸脱した管理方法を取ってしまう人はいます。一度ルールから外れた管理が見つかれば、ルールを守らない人はどんどん増えていくでしょう。

また、いくら社内でルールを徹底しても、お客様自身が入力したセミナー登録やアンケートなどでは略称の使用や、ひどい場合には入力ミスなど、防ぎきれないものもあります。

このように、データの「ゆらぎ」や「表記ゆれ」を修正し、「使えるデータベース」を作ってゆくアプローチがデータクレンジングと名寄せです。

まずはデータクレンジング

使えないデータを「使えるデータ」にしてデータベースを美しく保ち、かつ管理ルールに関係なくお客様情報を適切に管理するための技術として「データクレンジング」があります。文字通り、データを洗ってキレイにするための技術です。

たとえばお客様情報として氏名が記載されているデータがあるとします。会社の中には氏名の間に半角スペースを入れる人、全角スペースを入れる人、あるいはスペースを入れない人もいるでしょう。しかし、コンピューターはそうした違いを認識できないため、すべて別のお客様情報として管理してしまいます。

データクレンジングはそうした重複が無くなるように、半角・全角スペースがある場合はスペースを削除してデータを管理します。そうすれば、各人で異なる入力方法に関係なく、同じお客様情報を統合して管理することができます。

もちろん、実際のデータクレンジング技術はさらに高度です。データクレンジングとはつまり「システムが想定している正しいデータに修正するための技術」になります。

つぎに名寄せ

一方、「名寄せ」とはデータクレンジングを行った上で、異なるものとして管理されているお客様情報を一つに統合するための技術です。名寄せには「調査」と「標準化」というプロセスがあります。

調査はまず、同一と思われるデータを抽出するためにキーを設定してお客様情報を集めます。一般的には「氏名」「会社名」「住所・所在地」「部署名」「電話番号」「メールアドレス」などをキーとして調査します。ただし、どのキーが調査する上で有効かどうかはその都度違います。

たとえば電話番号をキーとした場合、同じ電話番号が登録されている情報は同一人物である可能性は高いですが、必ずしも一つの電話番号しか使用していないとは限りません。複数の電話番号を使用している場合、同一人物として判断できない可能性がありますし、個人に電話番号が割り当てられていない場合もあるでしょう。

最近キーとしてよく使われるのはメールアドレスです。氏名はどうしても同姓同名の方が多いですし、住所や部署は意外と頻繁に変わります。

ただし、一部の金融機関などのように個人にメールアドレスを付与していないケースや、同じ人でも資料のダウンロードには個人のフリーメールのアドレスを使用するといったケースもあるので注意が必要です。

基本的にはメールアドレスを起点に氏名や会社名を組み合わせてデータクレンジングを行い、各データを一つのフォーマットとして登録し直して、その上で同一人物、同一組織と確認できる複数のデータの名寄せを行います。

たとえば旧字体で記入されている氏名はすべて新字体に直し、スペースも削除します。住所もすべて同一のフォーマットに登録し直せば、かなり高精度な名寄せができるでしょう。こうすれば、これまで二重三重と分散していたお客様情報を統合して、同一情報として管理できます。

データクレンジングと名寄せが無いとどんな弊害がある？

会社規模が小さければ、顧客情報管理のためのルールを徹底させ、またデータベースも見渡せるのでトラブルを回避することもできるでしょう。

しかし、会社規模が大きくなるにつれルールを徹底させることは難しくなりますし、それを個々人が判断することも難しくなります。では、データクレンジングと名寄せが無い環境では、どのような弊害があるのでしょうか？

1.適切なお客様管理ができない

モノを作っただけでは売れない時代、充実したカスタマーサービスによる顧客満足度向上などがビジネスに鍵になっています。それは顧客ごとの検討のフェーズや環境に合わせた提案やサービスの提供などが重要です。しかし、お客様情報が適切に管理されていない環境では、当然ながら一元的にお客様の状況を把握できなくなってしまうため、顧客に合わせた提案や顧客満足度が向上するようなサービスは展開できません。

むしろ、冒頭の事例のように顧客の反感を買い、収益性を下げていく結果になるでしょう。

2.会社の信頼が低下する

セールスマンAのような事例が頻繁に発生すると、顧客は取引先に対して不信感を抱きます。「○○社の顧客情報には不備がある」とレッテルを貼られてしまえば、自分のデータがどのように管理されているのか不安になるのも無理はないでしょう。情報漏えいなどのセキュリティ事件が頻発している現在、顧客は情報管理体制に敏感です。さらにそうした印象が拡散してしまうと、会社の信頼は急激に低下していくでしょう。

3.業務の生産性も低下する

従業員が社内システムの情報を信用できなくなると、複数のキーワードでお客様情報を検索したり、あるいは別のセールスマンに「直近で○○社に営業はかけたか」などのヒアリングを行わなければならず、労働生産性は大きく低下してしまうでしょう。これではなんのための顧客管理システムかわからなくなってしまいます。効率的かつ効果的な営業活動やマーケティング活動の起点は「使えるデータベース」であることは当然でしょう。