ビッグデータとはなんなのか？

ビッグデータとは？

「ビッグデータ」とは、ただ容量の大きいデータではありません。共通定義はまだ明確に定まっていませんが、インターネットの普及とIT技術の進化によって生まれた、従来取り扱いが難しかった複雑なデータを取り扱うシステムのことです。
Google、FacebookなどといったWebサービス事業者で活用を先導されており、従来の売り上げデータや顧客データのような社内のデータではなく、Web上にある文章や画像といったデータの活用に利用されています。

1. データの量が多いこと
2. データの種類が多いこと
3. データの変化する頻度が多いこと

この3つを特性としています。

ビッグデータの活用例

ビッグデータの利用は、Google、Facebook、AmazonなどのWeb事業者や、ECだけではありません 。金融業、販売、また、社会インフラや1次産業での利用も考えられています。
例えばクレジットカード会社は、カードの利用された場所と利用者のスマートフォンのGPSデータを照合し、不正利用を検知できます。
販売においては、SNSのコメント情報から、自社や自社の商品に関しての発言を捉え、マーケティング、商品企画や開発に活用できます
また、道路に設置してあるセンサー、車載されているETCやGPSのデータを利用し、信号機の制御と連動することで渋滞緩和や移動時間の短縮、そしてCO2排出量の低減が実現可能となります。
各病院では、保管されているカルテや投薬情報、検査データを統合管理することで、医療コストの削減や医療ミスの防止、遠隔診療の普及を図ることができます。
ビッグデータにどのような価値を見出し、アイデアやノウハウで事業戦略を立てていくかは、政府や企業が今後考えるべき課題となっています。

ビッグデータの問題点

大きな可能性を持つ「ビッグデータ」ですが、プライバシー侵害の懸念は尽きません。
2013年6月、JR東日本は、約4300万枚のSuicaの履歴情報を日立製作所に提供し、分析結果を用いたマーケティング資料を駅周辺の事業者に提供することを明らかにしました。しかし、利用者等からは苦情や問い合わせが相次ぎました。事業者の説明不足もありましたが、どこまでの情報を取り除けば「匿名化」したこととなるのかという問題を提起しました。
また、Googleはアカウント登録時に氏名、メールアドレス、電話番号、クレジットカード情報等登録し、サービス利用時には端末情報、ログ情報、現在地情報など多岐にわたる情報を取得します。
日本内では2012年個人情報保護法を遵守することが通知されています。しかし法律の適用は、原則、対象物や主体の地理的所在地を根拠にしています。海外事業者が日本にデータベースを置かず、海外でのみ個人情報を利用する場合には規律を及ぼすことができないなどという問題があります。
2015年に発表された個人情報保護法改正案では、企業などは、購買履歴や移動情報などの個人情報は個人が特定できないように加工をすれば、本人同意なしに提供できるようになるとしています。しかし、JR東日本での例のように、どこまでの加工で匿名性が守られるのかはまだ曖昧な状態で、今後の判例を注視する必要が有ります。

まとめ

幅広い分野で活用されるデータの重要性を指し、「データは新しい石油」という言葉もあります。
現段階でビッグデータは試験段階ですが、あらゆる分野の成長と、より快適な社会のために、大きな可能性を秘めています。エンジニアのみなさんには、ビッグデータを善用するデータサイエンティストを、是非目指していただきたいです。