クラウドの特徴である大規模分散システムに適合した新たなアプリケーションとして注目されているのが「Hadoop」です。Hadoopは、処理対象のデータを多数のサーバへ分割して渡し、最終的に結果を統合して出力するといった処理を行うためのフレームワーク。

大規模なデータを高速に並列処理できる能力が注目され、例えば中国移動通信（チャイナモバイル）では数億人に達するという加入者による膨大な通話データの迅速な分析などに用いられ、あるいはVISAやJPモルガン・チェースなどの金融機関も大規模な金融データの分析に使っているとされています。

ベンチャーからビジネス向けのHadoopパッケージが登場

Hadoopは、オープンソースのソフトウェアプロジェクトを支援する団体「アパッチソフトウェア・ファウンデーション」が中心となって開発しています。エンジニアがオープンソースとして開発したものらしく、当初は導入や設定には専門的な知識が要求され、使いこなすのにも手間のかかるものでした。

しかしその高い処理能力が評価されるにつれ、Hadoopをより使いやすく工夫したパッケージを提供するベンダが登場します。その代表がClouderaです。

▼Cloudera

Clouderaは、Hadoopの商用利用を進めるために設立されたベンチャー企業で、Hadoopの開発者であるDoug Cutting氏や元オラクル副社長のMike Olson氏などが経営陣に名を連ねています。

そのClouderaが先月発表したのが「Cloudera Enterprise」。オープンソースのHadoopを利用しやすい形態にまとめた「ディストリビューション」に加えて、管理ツールなどを同梱。企業向けのソフトウェアとしてパッケージングされています。

これまで企業内でのデータの蓄積や分析は主にリレーショナルデータベースを基盤にして行われてきましたが、実際には企業内のデータの95％以上はメールやドキュメントなどリレーショナルデータベースには保存されていない非構造化データだといわれています。

Hadoopはこうした非構造化データの分析にも適しているため、ClouderaはHadoopを企業にとっての新たなデータ分析、いわゆるビジネスインテリジェンスのプラットフォームにしようと狙っているのです。

===

IBMからもHadoopの派生製品

Hadoopの可能性に目を付けているのはベンチャーだけではありません。IBMもいち早くHadoopに注目し、Hadoopをベースにしたデータ分析ソフトウェア「InfoSphere BigInsights」を5月に発表しています。

▼InfoSphere BigInsights

InfoSphere BigInsightsは、Apache Hadoopをベースにした分析エンジンの「BigInsights Core」と、その上で大規模データをWebブラウザを利用してスプレッドシートのようなユーザーインターフェイスで分析を行える「BigSheets」の2つから構成されます。

この製品の最大の特徴はBigSheetsにあります。BigSheetsは、表計算のようなユーザーインターフェイスを利用してBigInsights Coreに命令を与え、プログラミング不要で大量のデータを分析する機能です。

（画面は「Hadoopを表計算のように使える「InfoSphere BigInsights」、IBMが発表」から引用）

これにより、ノンプログラミングでHadoopを用いた大規模なデータ分析を可能にします。いま、ITの世界では「BigData」という言葉が流行しつつあります。BigDataとは、文字通り巨大データのこと。ネット時代の現在、Twitterのつぶやきなどさまざまなソーシャルサービスでの自社製品やサービスに関する情報や、自社のWebサイトへのアクセスログ、オンライン広告の参照数やクリック数など、顧客の動向やサービスの評判などが把握できる情報がネットから大量に生成されようとしています。

もちろんこれは分析しなければ何の意味も持ちませんが、こうしたBigDataはクラウド時代だからこそ生成されるデータです。そしてそれを分析して意味のあるものにするためにも、クラウドに対応した新しいアプリケーションであるHadoopのような大規模分析ソフトウェアが必要となります。Hadoopはまさにクラウド時代が生んだソフトウェアといえるでしょう。

文・新野淳一（ブログ「Publickey」 Blogger in Chief）