✔ 目次
- 写真で紹介する Hadoop World 2011 の様子
- キーワード 7 つで読み解く Hadoop World 2011
- Hadoop World 2011 の感想
- Hadoop World 2011 でわたしが取ってきたメモへのリンク
- Hadoop World 2011 関連資料リンク
✔ 写真で紹介する Hadoop World 2011 の様子
![f:id:garage-kid:20111115002514j:image:w200 f:id:garage-kid:20111115002514j:image:w200](http://cdn-ak.f.st-hatena.com/images/fotolife/g/garage-kid/20111115/20111115002514.jpg)
![f:id:garage-kid:20111115002513j:image:w200 f:id:garage-kid:20111115002513j:image:w200](http://cdn-ak.f.st-hatena.com/images/fotolife/g/garage-kid/20111115/20111115002513.jpg)
![f:id:garage-kid:20111115002516j:image:w200 f:id:garage-kid:20111115002516j:image:w200](http://cdn-ak.f.st-hatena.com/images/fotolife/g/garage-kid/20111115/20111115002516.jpg)
Hadoop World 2011 は Sheraton NYC で開催されました。(NYC はどこのビルも工事中な感じでした)
![f:id:garage-kid:20111115002515j:image:w200 f:id:garage-kid:20111115002515j:image:w200](http://cdn-ak.f.st-hatena.com/images/fotolife/g/garage-kid/20111115/20111115002515.jpg)
![f:id:garage-kid:20111115002517j:image:w200 f:id:garage-kid:20111115002517j:image:w200](http://cdn-ak.f.st-hatena.com/images/fotolife/g/garage-kid/20111115/20111115002517.jpg)
![f:id:garage-kid:20111115002519j:image:w200 f:id:garage-kid:20111115002519j:image:w200](http://cdn-ak.f.st-hatena.com/images/fotolife/g/garage-kid/20111115/20111115002519.jpg)
Sheraton Hotel (写真:左はメインで使っていたボールホール)は結構広かったのですが、 1,400 人からの参加者を収納するには狭すぎたと思います。Evaluation のアンケートがあったのでそこにも書いてきましたが、はっきり言って会場の選択は確実に間違っていたと思います。参加者登録も大混雑(写真:中)、 Keynote も大混雑(写真:右)、人気のセッション(写真なし)も大混雑でわたしはかなり気が滅入りました。お金をとってこれはないだろう、と。十分な会場が取れなかったのなら、余裕のある収容人数までで登録を打ち切るとか工夫がほしいものだな、と。
![f:id:garage-kid:20111115002518j:image:w200 f:id:garage-kid:20111115002518j:image:w200](http://cdn-ak.f.st-hatena.com/images/fotolife/g/garage-kid/20111115/20111115002518.jpg)
![f:id:garage-kid:20111115002520j:image:w200 f:id:garage-kid:20111115002520j:image:w200](http://cdn-ak.f.st-hatena.com/images/fotolife/g/garage-kid/20111115/20111115002520.jpg)
いろいろとモノも配られたのですが、上記の3つ(ガイドとNTT data さんが作った青いゾウの扇子と馬本)だけを残しました。NTT data さんの扇子はなかなかよかったです。本に関して言うと、わたしはできれば紙の本を増やしたくないので、できれば電子書籍(複数の形式で最低限、 pdf と mobi 形式)でもらいたかったです。
# 辛口で色々書いてしまいましたが、Hadoop は少なくともあと数年は大きく注目され来場者が増えることが考えられるので、今後はもっと余裕のある会場を選ぶか、参加人数を絞るかといった工夫してくれることを願っています。
✔ キーワード 7 つで読み解く Hadoop World 2011
わたしが Hadoop World 2011 でわたしが拾ったキーワードは以下の7つです。- Analytics
- NextGen Hadoop
- Hadoop-related projects
- HBase
- Use Case
- Funding
- Hiring
・第一に Analytics …
「分析しようぜ」ということですね。
米では、もう Hadoop に PB 級のデータを格納する実績を積んだ企業が大分増えてきていることから、どうやってそのデータを活用するか*1というフェーズだということが、 Cloudera の CEO である Mike Olson 氏の Keynote でも強調されていました。 今回、 Analytics という単語を聞かないセッションの方が稀だったように思います。
そもそも Hadoop を導入するのは、ただデータを多く格納したい、既存の処理を速くしたいというだけなわけじゃなく、Data Driven な企業意思決定の実現のためだとわたしは思っているので、分析しようぜ、は当然なのですが .........
ただ、日本では、Early Adopter な方々を除くと、先日の Hadoop Conference Japan 2011 でも参加者の 1,000 人中半分 が「Hadoop って何ぞ?」な人だったようなので、わたしたち日本人と日本企業はもっと頑張らないといけないということかな、と思いました。
ちなみに以下、第五の Use case まで何かしら「分析しようぜ」が関係しています。
・では、第二の NextGen Hadoop …
PB 級、数千台級の Cluster まで成長させた人たちにとっては、今の Hadoop では力不足ということだと受け取りました。
第一の Analytics の実現のためにも、より多くの台数(データ量)、より多くの Job を実行できる Cluster が望まれている、と。
この説明に関しては Hadoop World の資料よりむしろ okachimachiorz さんのMapreduce2.0 のエントリの方がわかりやすいように思います。
・第三は Hadoop-related projects …
これも今までの Hive, Pig といったところではなく、第一の Analytics をするためにデータを持ってくる仕組み、 Flume や Scribe、 Sqoop であったり、分析のための Mahout、R の話が目立ったように思います。
既定路線の話で言うと、Hadoop-related projects の packaging や testing の project である Bigtop などが紹介されていました。これまで、 Hadoop 周辺の project はそれぞれの project でバラバラの動きをしていたので、この Bigtop がうまく回ってくれるととてもよいとわたしは思いました。
・第四は HBase …
日本では HBase を活用フェーズまでもっていっているという話をわたしは聞かないですが、米では使いこなすのが当たり前の状態になっているようでした(少なくとも facebook や eBay は)。
わたしが聞いたセッションでいうと、eBay Keynote 、HBase Roadmap 、Practical HBase の 3 つは参考になる内容だったと思います。
・第五は Use Case …
正直、 Use Case はわたしが聞いてきたセッションの中では抽象的なものが多く、あまり参考になるものはなかったのですが、どの企業ももうただデータをより多く格納するとか、既存の処理がどれだけ速くなったという話はしておらず、 Hadoop に格納した各々固有の大量データを分析し、企業の経営に役立てているという話をしていました。
わたしが聞いた中では、eBay、LinkedIn*2の事例がそれにあたるかと。他の方が聴講した中では、 Disney の事例がなかなかよかったようです。
第六の Funding と 第七の Hiring はいずれも Hadoop をはじめとした Big Data に対する注目は依然としてかなり高いものがあるという内容です。
・では第六は、Funding …
AllThingsD にもCloudera Lands $40M From Ignition, Accel Launches Big Data Fundという記事でとりあげられていましたが、Cloudera が $40M の資金調達に成功し、また Big Data Fund という Big Data の Startup を支援するような Fund も立ち上がったりしています。それだけ Big Data 市場に注目が集まってるということか、と。そういう意味では、 Treasure Data, Inc.
さんは絶好のタイミングで起業されたな、という感じですね。
・そして、第七は、 Hiring です。
Computerworld からはHadoop skills are in high demandを取り上げられていました。実際 Hadoop World 2011 の Keynote に限らず、様々なセッションで Hiring という言葉はでてきていました。もし、実力があるなら、 Big Data 市場で、人材は今、売り手市場なのだと思います。実力があるなら、ですw
・最後にもうひとつ、 Vendors。
HW 系(HP, DELL, NetApp, Cisco, ...)だけでなく、この Hadoop World の中でも Oracle や IBM*3もセッションをもったりしはじめてました。内容的にはどの Vendor もまだまだ手探り感が強かったですが、 OSS と Commercial のパワーバランスがどのようになってくるかも、今後、注視していくべきところなんだろうな、と。
✔ Hadoop World 2011 の感想
一言で言うと、日本、かなりすごいんじゃないか?です。ただし、日本の Hadoop Community の人たちが、という意味でです。
Hadoop Conference Japan 2011 Fallの際にも、海外の三強(Cloudera, Horton Works, MapR)は呼んでしまうし、HBase at Facebook
で facebook にも話をしてもらっているし。
こういった機会を精力的に日本の Community の方が作ってくれていた関係で、今回の Hadoop World 2011 では個人的には新規性のある話がほとんどありませんでした。
※お世辞でもなんでもなく、日本の Community のみなさんには感謝の意に絶えません。
ひとつだけ、日本で実施されたHadoop Conference Japan 2011 FallやHBase at Facebook
よりいい所があったとしたら、資料が出そろう
ところ*4だと思いました。
ただ、それゆえに、よほど現地に行って顔つなぎをしたい人がいるといったことがない限り、米に行く意味が無いという感じになってしまいました。
(わたしの場合、すこしだけそれができて、聞きたいことを聞けたりしたので、少しは成果はあったかな、とは思いますが。)
来年は、よほどのことがなければ、日本にいて、資料をあとで見させてもらおうと思っています。
✔ Hadoop World 2011 でわたしが取ってきたメモへのリンク
2011-11-08 の聴講分
- 08:30am-10:00am Keynotes
- Hadoop World 2011 - Mike Olson Keynote Presentation
- eBay Keynote - Hugh E. Williams, eBay
- JPMorgan Keynote - Larry Feinsmith, Morgan Stanley
- 10:15am-11:05am Building Realtime Big Data Services at Facebook with Hadoop and HBase - Jonathan Gray, Facebook
- 11:15am-12:05pm The Hadoop Stack – Then, Now and In The Future - Charles Zedlewski, Cloudera Eli Collins, Cloudera
- 01:15pm-02:05pm Security Considerations for Federal Hadoop Deployments - Jeremy Glesner, Berico Technologies
- 02:15pm-03:05pm Hadoop Network and Compute Architecture Considerations - Jacob Rapp, Cisco
- 03:30pm-04:20pm Integrating Hadoop with Enterprise RDBMS using Apache SQOOP and Other tools
- 04:30pm-05:20pm Next Generation Apache Hadoop MapReduce - Mahadev Konar, Hortonworks
2011-11-09 の聴講分
- 08:30am-09:45am Keynotes
- The Future of Data Management - James Markarian, Informatica
- The State of the Apache Hadoop Ecosystem - Doug Cutting, Cloudera
- 10:00am-10:50am Hadoop and Performance. - Todd Lipcon, Cloudera. Yanpei Chen, Cloudera.
- 11:00am-11:50pm Leveraging Hadoop to Transform Raw Data to Rich Features at LinkedIn
- 01:00pm-01:50pm HBase Roadmap. - Jonathan Gray, Facebook.
- 02:00pm-02:50pm Hadoop Hadoop 0.23 - Arun Murthy, Hortonworks
- 03:20pm-04:10pm Practical HBase - Ravi Veeramchaneni, Informatica
- 04:20pm-05:10pm The Powerful Marriage of R and Hadoop - David Champagne, Revolution Analytics
✔ Hadoop World 2011 関連資料リンク
- Hadoop World 2011 Materials
The final Hadoop World presentations will be gathered to this page. - Hadoop World 2011 NYC 情報交換
facebook group page for gathering Hadoop World 2011 NYC's info (Japanese). - Bigtop
Bigtop is a project for the development of packaging and tests of the Apache Hadoop ecosystem. ... - HBase at Facebook
How Facebook uses HBase for transaction processing at scale. Written by Developers. - SWIM - Statistical Workload Injector for MapReduce
MapReduce benchmark toolkit.
- Revolution R Enterprise: Production-Grade Analysis for Business & Large-Scale Research
Revolution R Enterprise is production-grade analytics software built upon the powerful OSS R statistics language. - R-Forge: R/Hadoop: Project Info
the Project aim for providing easy to use R interfaces to the OSS distributed computing environment Hadoop including Hadoop Streaming and the HDFS. - Hadoop: The Definitive Guide
Attendees of #hw2011 can get this or HBase Definitive Guide for free. - HBase: The Definitive Guide
Attendees of #hw2011 can get this or Hadoop Definitive Guide for free.
✔ こちらもあわせてどうぞ
- Memos: #hw2011 (Day2), 09, Nov, 2011.
- Memos: #hw2011 (Day1), 08, Nov, 2011.
- Amazon Elastic MapReduce (EMR) の話を聞いてきた | ”BigDataを活用し、新たなビジネスチャンスをつかめ!-AWS EMR/Hadoop活用法”セミナーのメモ
- Attending Hadoop Conference Japan 2011 Fall in Shinbashi, Bellesalle Shiodome! #hcj11f
- Hadoop の生みの親、Doug Cutting 氏の基調講演を聞いてきた! #ccw #hadoop
- HBase at Facebook what I heard on #hbasetokyo
- CDH ってどうなの?を知るために「Hadoopエンタープライズソリューションセミナー」に行ってきた