#garagekidztweetz

id:garage-kid@76whizkidz のライフログ・ブログ!

hadoop

Cloudera World Tokyo 2016 に参加してきました。

この日(2016-11-08)は以下のリンクのイベント( Cloudera World Tokyo 2016 )に参加してきましたので、そのことについて書こうと思います。 www.clouderaworldtokyo.com Cloudera World Tokyo 2016 の総括(というより個人的感想)。 まずは感想から。 そ…

Hadoop Summit Tokyo 2016 に行ってきた。

Hadoop 関連のイベントの中でも頂上(テッペン)を冠するイベント Hadoop Summit が東京にやってくるというので、 2016-10-26, 27 と参加してきた。 今回で4年目という同イベント、受付の仕方もろくすっぽアナウンスがされてなくて、始まる前からかなりグダ…

#hcj2016 Hive on Sparkを活用した高速データ分析のメモ

そして、 Hadoop/Spark Conference Japan 2016 午後5コマ目、この日の通常セッション最後の一コマのメモを公開。 (本日中の公開は難しいと思いますが、次に最後の個人的超まとめという名前のリンク集をポストする予定)。 Hive on Sparkを活用した高速デー…

#hcj2016 Hiveを高速化するLLAPのメモ

さらにさらに引き続いて Hadoop/Spark Conference Japan 2016 午後の4コマ目のメモの公開。 Hiveを高速化するLLAP / 小澤 祐也氏(ヤフー) Hive の復習 実行エンジン MR Tez YARN 上でしか動かないが Hive や Pig の実行エンジンとして欠かせない Spark Hiv…

#hcj2016 今あらためて考えるHiveのメモ

続いて Hadoop/Spark Conference Japan 2016 の午後3コマ目のメモを公開。 今あらためて考えるHive ~ユースケースの広がりにより顕在化した課題と対応~ / 吉田 耕陽氏(NTTデータ) Hive の泥臭い話 HiveQL の構文、 ORCFile, パラメタチューニング はじめ…

#hcj2016 KuduによるHadoopのトランザクションアクセスと分析パフォーマンスのトレードオフ解消のメモ

前のコマで参加したセッションが押した関係で、途中からの参加になりましたが、 Hadoop/Spark Conference Japan 2016 の午後二コマ目は Kudu のセッションに参加してきました。 では、今回も以降にメモ。 KuduによるHadoopのトランザクションアクセスと分析…

#hcj2016 次世代アーキテクチャから見たHadoop/Sparkの位置づけのメモ

Hadoop/Spark Conference Japan 2016 、午後最初のセッションはノーチラス・テクノロジーズの神林さんのセッションに参加。 最初から、メモを取るのは相当しんどいだろうと覚悟のセッションでしたが、濃厚濃密な内容で最後まで楽しむことができました。 自分…

#hcj2016 Hadoop/Spark Conference Japan 2016 午前キーノートのメモ

今日は大井町きゅりあんで開催された Hadoop/Spark Conference Japan 2016 に参加してきました。 参加してきたセッションだけでも午前に7つ、午後に 5 つと多かったので、午前で1エントリ、午後は個別セッションで5エントリに分けてポストしていきます。 で…

Cloudera、Hadoop MRのecosystemの #Spark 移植を推進するってよ!: #cwt2015 に参加してきたメモ

今日は Cloudera World Tokyo 2015 に参加してきました。 タイトルのとおり、Cloudera さんの大絶賛 Spark 推し*1ということが前面におされているイベントだったのかなぁというのが個人的に強く印象に残ったイベントでした。 *1:強いコミットメントを感じま…

招待状がきたので #Hortonworks の「Hadoopと次世代・モダンデータアーキテクチャMDA」セミナーに参加してきました(後編)

はい、では 前編 に引き続いて後編。 Hadoop and the Modern Data Architectureの午後のセッションはわたしは技術トラックに参加しました。 Hadoop Security と Ambari の話はそれなりに聴き応えがありました。 図解部分は資料をみたほうがいいので、資料が…

招待状がきたので #Hortonworks の「Hadoopと次世代・モダンデータアーキテクチャMDA」セミナーに参加してきました(前編)

おそらく以前に参加した某かのセミナーの関係で大分早くから「招待状」と題したメールが届いたので、今日は Hortonworks さんが主催する Hadoop and the Modern Data Architecture セミナーに参加してきました。

Cloudera World Tokyo 2014 の LT セッションで聞いてきたメモ #cwt2014

Cloudera World Tokyo 2014 | Cloudera Japanに参加してきたレポート、最後のエントリは LT セッションで聞いてきたメモです。

Cloudera World Tokyo 2014 にいってきました(基調講演、特別講演のメモ) #cwt2014

今日は、Cloudera World Tokyo 2014 | Cloudera Japanにいってきました。 例によってブログを書くまでがカンファレンス(勉強会)ってことで、ブログレポート書きます。 (ちょっと量が多いので、基調講演、午後の Breakout Session 、 LT の三本のエントリ…

竹をマサカリで叩き割っていくような豪快進行の Tokyo Impala Meetup に参加してきました #impalajp

今年熱いトピックのひとつである MPP Query Engine (Rebuild: 52: TLDR Driven Development (Naoya Ito)でも取り上げられてたし)の一角、 Impala を実際に使っている方が一堂に会するという素晴らしい会が開かれるということで、今日は Tokyo Impala Meetu…

#hcj2014 Hadoop Conference Japan 2014 で主に SQL on Hadoop の話を中心に聞いてきました(超個人的総括エントリ)

http://pixabay.com/en/elephants-family-baby-grass-341981/ 昨日(になってしまった、、、)は日本 Hadoop ユーザ会とリクルートテクノロジーズさんが主催するHadoop Confence Japan 2014 にいってきました。 最初に、この場を借りて、日本 Hadoop ユーザ…

#hcj2014 並列SQLエンジンPresto - 大規模データセットを高速にグラフ化する方法のメモ。

http://pixabay.com/en/elephant-babies-elephant-family-278524/ Hadoop Confence Japan 2014 参加レポートエントリ、参加セッションのメモはこれで最後。 最後に参加してきたセッションは @frsyuki さんの「並列SQLエンジン Presto 」に参加してきました。…

法被を脱いで最終形態になった @shiumachi 氏が最強だった #hcj2014 Evolution of Impala - Hadoop 上の高速SQLエンジン、最新情報のメモ

http://pixabay.com/en/the-elephant-cub-kenya-tsavo-274003/ Hadoop Confence Japan 2014 参加レポートエントリ、6発目は @shiumachi 氏による「Evolution of Impala」に参加してきました。 タイトルは半分釣りですが、本セッション開始早々、本当に @shiu…

#hcj2014 Apache Drill: Building Highly Flexible, High Performance Query Engines のメモ

http://pixabay.com/en/the-elephant-cub-tsavo-kenya-175798/ Hadoop Confence Japan 2014 参加レポートエントリ、5発目は 「 Apache Drill 」の話を聞いてきました。 正直論点があまりよくわからなかったのと、英語で話して、スライド日本語という形だった…

Spark Beginner にもやさしかった #hcj2014 A Deeper Understanding of Spark Internals のメモ

http://pixabay.com/en/the-elephant-africa-111695/ Hadoop Confence Japan 2014 参加レポートエントリ、4発目は Keynote でも発表をされていた Patrick Wendell 氏(Apache Spark主要開発者, Databricks)による「 Spark Internals 」に参加してきました。…

LINE 的 Lambda Architecture 実装紹介とでもいう内容だった #hcj2014 SQLによるバッチ処理とストリーム処理のメモ

http://pixabay.com/en/elephant-babies-elephant-family-278525/ Hadoop Confence Japan 2014 参加レポートエントリ、3発目は @tagomoris 氏による「SQLによるバッチ処理とストリーム処理」に参加してきましたのメモ。 LINE 的 Lambda Architecture 実装紹…

#hcj2014 リクルート式Hadoopの使い方 3rd Edition のメモ

http://pixabay.com/en/elephants-bathing-wildlife-addo-379477/ Hadoop Confence Japan 2014 参加レポートエントリ、2発目は #hcj2014 Keynote の次に参加してきたリクルートさんの Hadoop 事例。 こちらでは「とりかかり中の技術紹介」の部分が聞き甲斐あ…

#hcj2014 Hadoop Conference Japan 2014 Keynote のメモ。少なくともこれから一年くらい Hadoop 界隈の情報を追うのにいい道標になる内容だった!

http://pixabay.com/en/elephant-elephants-tanzania-safari-289134/ 今日は、第五回目となる Hadoop Confence Japan 2014 に参加してきました。 ブログを書くまでがわたしにとっての勉強会なので、わたしが参加してきた各セッションのメモをひとセッション…

ビギナー向け!きいろいゾウさんの情報源まとめ!!

ツイートHadoop Advent Calendar 2013 の 2 日目を担当させていただくことになった id:garage-kid @76whizkidz です、オハコンバンチワ! わたし、普段から参加した勉強会などのメモを必ず公開してるんですが、そうしたら今回、 @kernel023 のとっつぁ〜んに…

#cwt2013 に午前ちょこっとだけ参加したメモ: Cloudera CTO 曰く「これからの時代、データドリブンじゃない企業は負け組だよ。 Hadoop やってない?はじめるなら今でしょ?!」

ツイート今日は午前中だけですが、 Cloudera World Tokyo 2013 に参加してきました。場所は目黒雅叙園でした。参加動機は、やはりテクノロジースタートアップの技術トップ (CTO) の公式の場での発言を聞いてみたかったからです。すごく簡単に午前中だけ Clou…

Hadoop 徹底入門第二版が kindle と kobo で買えるようになっているよ

ツイートHadoop徹底入門 第2版 オープンソース分散処理環境の構築 Hadoop徹底入門 第2版が待望の電子書籍化、 kindle または kobo で買えるようになっていました。第二版では CDH4 + MRv1 を一貫して対象(第一版は Hadoop v0.20 と v0.21 で一貫性がなかっ…

#oreilly0724 100人が100人かわいらしいと感じるロゴが有名な Hiveの「プログラミング Hive 」と700p 越えで鈍器と化した Hadoop「象本」の第三版の刊行記念 Hadoop セミナーにいってきた

ツイート去年のHBase 本の刊行セミナーにひき続いて、100人が100人かわいらしいと感じるロゴが有名な Hiveの「プログラミング Hive 」と700p 越えで鈍器と化した Hadoop「象本」の第三版の刊行記念 Hadoop セミナーに行ってきました。Hadoop 第3版posted wit…

会場の後ろでマサカリを振り回しているエバンジェリストがいた「 HDFS HA セミナー」に行ってきました

ツイート今日は、Hadoopを高可用化「HDFS HAセミナー」のご案内 on Zusaar に参加してきました。と、いうわけでいつものとおりブログを書いておこうと思います。マサカリを振り回しているエバンジェリストがいたw勉強会でしたが、個人的には CDH4 の運用経…

「業務システムにも、クラウドを」をテーマにしたノーチラスのクラウドサービス紹介セミナーに行って来ました

ツイート今日はノーチラス・テクノロジーズ主催の「業務システムにも、クラウドを」をテーマにしたノーチラスのクラウドサービス紹介セミナーに行って来ました。 ノーチラス・テクノロジーズとして主催するセミナーは実は初めてだったらしいです。 Cloud で…

Hadoopクラスタの課題と解決「Cloudera運用事例セミナー」に参加してきたよ

ツイート1 ヶ月に一回は外のセミナーや勉強会に出ようと思っている garage-kid@76whizkid です、こんばんわ。 今日は Hadoopクラスタの課題と解決「Cloudera運用事例セミナー」に参加してきましたので、いつもどおり今日もノートを公開したいと思います。セ…

#hcj13w Hadoop Conference Japan 2013 Winter 個人的まとめ

ツイート昨日は Hadoop Conference Japan 2013 Winter Tickets, Tokyo - Eventbrite ( #hcj13w ) に参加してきました。開催場所などの情報は以下のとおりでした。 日時:2013年1月21日(月) 10:00〜18:00 (受付開始 9:30) 会場:東京ビッグサイト 会議…