#garagekidztweetz

id:garage-kid@76whizkidz のライフログ・ブログ!

Hadoop World 2011 NYC, In My View Point. #hw2011

スポンサーリンク

このエントリーをはてなブックマークに追加

第一日目第二日目のメモに引き続いて、最後に個人的な Hadoop World 2011 のまとめをしてみたので、共有したいと思います。

目次

写真で紹介する Hadoop World 2011 の様子


Hadoop World 2011 は Sheraton NYC で開催されました。(NYC はどこのビルも工事中な感じでした)

Sheraton Hotel (写真:左はメインで使っていたボールホール)は結構広かったのですが、 1,400 人からの参加者を収納するには狭すぎたと思います。Evaluation のアンケートがあったのでそこにも書いてきましたが、はっきり言って会場の選択は確実に間違っていたと思います。参加者登録も大混雑(写真:中)、 Keynote も大混雑(写真:右)、人気のセッション(写真なし)も大混雑でわたしはかなり気が滅入りました。お金をとってこれはないだろう、と。十分な会場が取れなかったのなら、余裕のある収容人数までで登録を打ち切るとか工夫がほしいものだな、と。

いろいろとモノも配られたのですが、上記の3つ(ガイドとNTT data さんが作った青いゾウの扇子と馬本)だけを残しました。NTT data さんの扇子はなかなかよかったです。本に関して言うと、わたしはできれば紙の本を増やしたくないので、できれば電子書籍(複数の形式で最低限、 pdf と mobi 形式)でもらいたかったです。
# 辛口で色々書いてしまいましたが、Hadoop は少なくともあと数年は大きく注目され来場者が増えることが考えられるので、今後はもっと余裕のある会場を選ぶか、参加人数を絞るかといった工夫してくれることを願っています。

キーワード 7 つで読み解く Hadoop World 2011

わたしが Hadoop World 2011 でわたしが拾ったキーワードは以下の7つです。

  1. Analytics
  2. NextGen Hadoop
  3. Hadoop-related projects
  4. HBase
  5. Use Case
  6. Funding
  7. Hiring
・第一に Analytics …

分析しようぜ」ということですね。
米では、もう Hadoop に PB 級のデータを格納する実績を積んだ企業が大分増えてきていることから、どうやってそのデータを活用するか*1というフェーズだということが、 Cloudera の CEO である Mike Olson 氏の Keynote でも強調されていました。 今回、 Analytics という単語を聞かないセッションの方が稀だったように思います。
そもそも Hadoop を導入するのは、ただデータを多く格納したい、既存の処理を速くしたいというだけなわけじゃなく、Data Driven な企業意思決定の実現のためだとわたしは思っているので、分析しようぜ、は当然なのですが .........
ただ、日本では、Early Adopter な方々を除くと、先日の Hadoop Conference Japan 2011 でも参加者の 1,000 人中半分 が「Hadoop って何ぞ?」な人だったようなので、わたしたち日本人と日本企業はもっと頑張らないといけないということかな、と思いました。

ちなみに以下、第五の Use case まで何かしら「分析しようぜ」が関係しています。

・では、第二の NextGen Hadoop …

PB 級、数千台級の Cluster まで成長させた人たちにとっては、今の Hadoop では力不足ということだと受け取りました。
第一の Analytics の実現のためにも、より多くの台数(データ量)、より多くの Job を実行できる Cluster が望まれている、と。
この説明に関しては Hadoop World の資料よりむしろ okachimachiorz さんのMapreduce2.0 のエントリの方がわかりやすいように思います。

・第三は Hadoop-related projects …

これも今までの Hive, Pig といったところではなく、第一の Analytics をするためにデータを持ってくる仕組み、 Flume や Scribe、 Sqoop であったり、分析のための Mahout、R の話が目立ったように思います。
既定路線の話で言うと、Hadoop-related projects の packaging や testing の project である Bigtop などが紹介されていました。これまで、 Hadoop 周辺の project はそれぞれの project でバラバラの動きをしていたので、この Bigtop がうまく回ってくれるととてもよいとわたしは思いました。

・第四は HBase …

日本では HBase を活用フェーズまでもっていっているという話をわたしは聞かないですが、米では使いこなすのが当たり前の状態になっているようでした(少なくとも facebook や eBay は)。
わたしが聞いたセッションでいうと、eBay KeynoteHBase RoadmapPractical HBase の 3 つは参考になる内容だったと思います。

・第五は Use Case …

正直、 Use Case はわたしが聞いてきたセッションの中では抽象的なものが多く、あまり参考になるものはなかったのですが、どの企業ももうただデータをより多く格納するとか、既存の処理がどれだけ速くなったという話はしておらず、 Hadoop に格納した各々固有の大量データを分析し、企業の経営に役立てているという話をしていました。
わたしが聞いた中では、eBayLinkedIn*2の事例がそれにあたるかと。他の方が聴講した中では、 Disney の事例がなかなかよかったようです。

第六の Funding と 第七の Hiring はいずれも Hadoop をはじめとした Big Data に対する注目は依然としてかなり高いものがあるという内容です。

・では第六は、Funding …

AllThingsD にもCloudera Lands $40M From Ignition, Accel Launches Big Data Fundという記事でとりあげられていましたが、Cloudera が $40M の資金調達に成功し、また Big Data Fund という Big Data の Startup を支援するような Fund も立ち上がったりしています。それだけ Big Data 市場に注目が集まってるということか、と。そういう意味では、 Treasure Data, Inc. さんは絶好のタイミングで起業されたな、という感じですね。

・そして、第七は、 Hiring です。

Computerworld からはHadoop skills are in high demandを取り上げられていました。実際 Hadoop World 2011 の Keynote に限らず、様々なセッションで Hiring という言葉はでてきていました。もし、実力があるなら、 Big Data 市場で、人材は今、売り手市場なのだと思います。実力があるなら、ですw

・最後にもうひとつ、 Vendors。

HW 系(HP, DELL, NetApp, Cisco, ...)だけでなく、この Hadoop World の中でも Oracle や IBM*3もセッションをもったりしはじめてました。内容的にはどの Vendor もまだまだ手探り感が強かったですが、 OSS と Commercial のパワーバランスがどのようになってくるかも、今後、注視していくべきところなんだろうな、と。

Hadoop World 2011 の感想

一言で言うと、日本、かなりすごいんじゃないか?です。
ただし、日本の Hadoop Community の人たちが、という意味でです。

Hadoop Conference Japan 2011 Fallの際にも、海外の三強(Cloudera, Horton Works, MapR)は呼んでしまうし、HBase at Facebookで facebook にも話をしてもらっているし。
こういった機会を精力的に日本の Community の方が作ってくれていた関係で、今回の Hadoop World 2011 では個人的には新規性のある話がほとんどありませんでした。
※お世辞でもなんでもなく、日本の Community のみなさんには感謝の意に絶えません。

ひとつだけ、日本で実施されたHadoop Conference Japan 2011 FallHBase at Facebookよりいい所があったとしたら、資料が出そろうところ*4だと思いました。

ただ、それゆえに、よほど現地に行って顔つなぎをしたい人がいるといったことがない限り、米に行く意味が無いという感じになってしまいました。
(わたしの場合、すこしだけそれができて、聞きたいことを聞けたりしたので、少しは成果はあったかな、とは思いますが。)

来年は、よほどのことがなければ、日本にいて、資料をあとで見させてもらおうと思っています。

Hadoop World 2011 でわたしが取ってきたメモへのリンク

2011-11-08 の聴講分

2011-11-09 の聴講分

Hadoop World 2011 関連資料リンク

  1. Hadoop World 2011 Materials
    The final Hadoop World presentations will be gathered to this page.
  2. Hadoop World 2011 NYC 情報交換
    facebook group page for gathering Hadoop World 2011 NYC's info (Japanese).
  3. Bigtop
    Bigtop is a project for the development of packaging and tests of the Apache Hadoop ecosystem. ...
  4. HBase at Facebook
    How Facebook uses HBase for transaction processing at scale. Written by Developers.
  5. SWIM - Statistical Workload Injector for MapReduce
    MapReduce benchmark toolkit.

*1:もう活用しているところはしている

*2:LinkedIn のは7割くらい自己のサービスの説明というひどい内容ですが...

*3:IBM は以前からかもしれないですが

*4:日本の場合、無料で行なっているので、そのへんの違いもあるかとは思います