#garagekidztweetz

id:garage-kid@76whizkidz のライフログ・ブログ!

#hcj2014 Hadoop Conference Japan 2014 で主に SQL on Hadoop の話を中心に聞いてきました(超個人的総括エントリ)

f:id:garage-kid:20140707214527p:plain

http://pixabay.com/en/elephants-family-baby-grass-341981/

昨日(になってしまった、、、)は日本 Hadoop ユーザ会とリクルートテクノロジーズさんが主催するHadoop Confence Japan 2014 にいってきました。

最初に、この場を借りて、日本 Hadoop ユーザ会とリクルートテクノロジーズさんに感謝の意を書かせていただきます。
素晴らしい会場運営をありがとうございました!
(会場が前回のビックサイトから前々回のベルサール汐留に戻ったとはいえ、会場運営にかかる費用がかなり大きかったであろうことは火を見るより明らかで、感謝以外の言葉がありません。)

ちなみに特に意図したわけじゃあなかったんですが、今回のカンファレンスでわたしは SQL on Hadoop に関連するものばかりきいてきました。
以降にわたしがとってきた各セッションのメモへのリンクがありますので、よかったら参照してみてください。
(A-C の3つあった会場の A 会場に入り浸ると自然とそうなるとも言います、、、が、いい選択肢だったと思います、ホントに。)

では以降より、超個人的な #hcj2014 をまとめておきます。

続きを読む

#hcj2014 並列SQLエンジンPresto - 大規模データセットを高速にグラフ化する方法のメモ。

f:id:garage-kid:20140707215107p:plain

http://pixabay.com/en/elephant-babies-elephant-family-278524/
Hadoop Confence Japan 2014 参加レポートエントリ、参加セッションのメモはこれで最後。

最後に参加してきたセッションは @frsyuki さんの「並列SQLエンジン Presto 」に参加してきました。

本セッションに関して言うと Presto 云々より @frsyuki さんにひたすら脱帽(資料きれいだし、説明わかりやすいし、、、、)していました。

ちなみに今回、わたしが参加した中では、このセッション含め以下 2 つのセッションが魅力的でした*1

QA がひとつまえの @shiumachi 氏のセッションとも掛け合いになっていて同セッションから連続して参加しているととてもいい連続間がありました。

スライドが英語だったのでほとんど英語でメモしちゃいましたが、以降わたしのとってきたメモです。

*1:内容然り、話し方然り

続きを読む

法被を脱いで最終形態になった @shiumachi 氏が最強だった #hcj2014 Evolution of Impala - Hadoop 上の高速SQLエンジン、最新情報のメモ

f:id:garage-kid:20140707215541p:plain

http://pixabay.com/en/the-elephant-cub-kenya-tsavo-274003/

Hadoop Confence Japan 2014 参加レポートエントリ、6発目は @shiumachi 氏による「Evolution of Impala」に参加してきました。

タイトルは半分釣りですが、本セッション開始早々、本当に @shiumachi 氏は今回のカンファレンスのユニフォーム的な法被*1を脱ぎ捨てて最終形態に変身してました(嘘じゃないっす!)。

そして内容もさることながら、いつもどおりのキレッキレのトーク、最強でした。

冗談はさておき実際、はじめて Impala が世に出たときにくらべると、格段によくなっているということを丁寧に説明されていました。
※手前味噌ながら、当時の Impala 紹介セミナーに参加したときのメモはこちら

すこしでも Impala に興味をもったら、O'Reilly Japan - Cloudera Impala をまずは読んで、はじめるなら今でしょということでした。

Hive, Presto との比較ベンチマークなどは必見だと思います。
※スライドが公開されたらこちらのエントリにも貼らせてもらおうと思います。

では、以降はわたしのメモです。

*1:今回の Hadoop Conference ではスピーカーのみなさん、お揃いの法被を着ていたのです

続きを読む

#hcj2014 Apache Drill: Building Highly Flexible, High Performance Query Engines のメモ

f:id:garage-kid:20140707215911p:plain

http://pixabay.com/en/the-elephant-cub-tsavo-kenya-175798/

Hadoop Confence Japan 2014 参加レポートエントリ、5発目は 「 Apache Drill 」の話を聞いてきました。

正直論点があまりよくわからなかったのと、英語で話して、スライド日本語という形だった *1 こと、ページ送りも速かったので、今回わたしが参加した中では一番、印象がよくないセッションだったんですが、最後の QA で MapR はすべての SQL on Hadoop をサポートする(遠巻きにそういってた)から察するに、 Drill 云々というより「 MapR 最高!使ってね!」ということだったのだという個人的理解をしました。

主にページ送りが速かったのでメモの体をなしてないところもありますが、、、、以降がわたしのメモです。

*1:英語のセッションはスライドも英語にわたしはしてほしい。混乱するので。

続きを読む

Spark Beginner にもやさしかった #hcj2014 A Deeper Understanding of Spark Internals のメモ

f:id:garage-kid:20140707220209p:plain

http://pixabay.com/en/the-elephant-africa-111695/

Hadoop Confence Japan 2014 参加レポートエントリ、4発目は Keynote でも発表をされていた Patrick Wendell 氏(Apache Spark主要開発者, Databricks)による「 Spark Internals 」に参加してきました。

Beginner 向けとおっしゃっていただけあって、結構わたしにもとっつきやすい内容になっていました。

では、そのセッションのメモは以下よりです。

続きを読む

LINE 的 Lambda Architecture 実装紹介とでもいう内容だった #hcj2014 SQLによるバッチ処理とストリーム処理のメモ

f:id:garage-kid:20140707220445p:plain

http://pixabay.com/en/elephant-babies-elephant-family-278525/

Hadoop Confence Japan 2014 参加レポートエントリ、3発目は @tagomoris 氏による「SQLによるバッチ処理とストリーム処理」に参加してきましたのメモ。

LINE 的 Lambda Architecture 実装紹介とでもいうべき内容だった本セッションは、今回のカンファレンスでわたしが参加してよかったと思うセッションのひとつでした。 ぜひ、後ほどスライドのほうも振り返りみさせてもらいたいと思っています。

で、以下はわたしがとったメモです。

続きを読む

#hcj2014 リクルート式Hadoopの使い方 3rd Edition のメモ

f:id:garage-kid:20140707220657p:plain

http://pixabay.com/en/elephants-bathing-wildlife-addo-379477/

Hadoop Confence Japan 2014 参加レポートエントリ、2発目は #hcj2014 Keynote の次に参加してきたリクルートさんの Hadoop 事例。

こちらでは「とりかかり中の技術紹介」の部分が聞き甲斐ありました。

またビジネスでの利用を常に念頭に新技術に取り組んでいる*1というのは、どこの研究開発職も見習わないといけないところだなと思います。当たり前といえば当たり前のことですが、肝に銘じておきたいことだな、と。

では、以降にわたしのとってきたメモを公開しておきます。

*1:そうはいいつつも多くのプロダクトを試しているようでしたし。

続きを読む