超最適化時代

「ビッグデータ」は間違いなく最近のIT業界のバズワードだろうと思います。これとともに統計学もとてもはやっています。(私も勉強中です)
たくさんのデータを分析して、目に見えない気づきにくい特性を見つけ出しビジネスに活用する、そしてこれによって利益を効率的にあげることができるということて注目を集めています。
しかしこれまでもログの解析などをして、マーケティングに使ったりしてきたはずですが、最近のビッグデータとは何が違うのか、と自分ながらに考えてみました。

これまでのログは、将来どのように活用するかを明確にした上でどのような種類のデータを記録するかを決めます。このとき無駄なデータはストレージを圧迫するので保存しないようにします。それに比べてビッグデータは、データのフォーマットが決められたものではなく、あらゆる構造のもの、無駄で関係ないデータも含み、Hadoopのような分散ストレージにより、大容量で高速検索ができるというものというものだと思います。どんな構造のデータということで、Hadoopでなくてもインターネットで取得できるすべてのデータが対象にもなりえるます。このようなものが取得できるようにインフラが発達してくると、今度はこれをどのように解析するかということで、これまでのようなシンプルな統計情報だけではなく、高度な数学が使われるようになってきたのではないでしょうか。

クリストファー・スタイナー著「アルゴリズムが世界を支配する」
これはとても興味深い本です。このアルゴリズムというものが、高度な数学で作られています。このタイトルのごとくアルゴリズムが世界を支配するという可能性がないともいえないと思わせてくれます。事実株式投資の現場では、高速自動売買プログラムにより、人間の判断ではなくプログラムが判断して取引をしています。(投資には興味はないのですが、FXのメタトレーダにはちょっと興味を持っています)

SNSの世界などでは、マッチングサービス、レコメンデーション等、ユーザ情報をアルゴリズムを使ってその「近さ」を計算します。また最近テレビで見ましたが、会社内のプロジェクトチームを作るとき、Fなんとか理論を使ってメンバーの情報から最適なチームづくりができる仕組みもあるようです。これらはとても効率的に働くことは予想できます。

ただ、人間が自ら考え判断する力が衰えるのでは、という心配があります。人間が文明的な生活をするようになって、元々もっていた優れた能力が退化した例はいくつかありますが、それがされに進むのかもしれません。

杞憂かもしれませんが、こういった逆効果について考えるのもまた興味深いことです。