#garagekidztweetz

id:garage-kid@76whizkidz のライフログ・ブログ!

2016-02-01から1ヶ月間の記事一覧

Apache Sparkを利用した「つぶやきビッグデータ」クローンとリコメンドシステムの構築〜のメモ

今日(2018-02-18)のDevelopers Summit 2016 - Hack the Realで最後に参加したセッション。 個人でこれをやったのは着想がすばらしいなと思ってただただ感心したセッション。 本エントリのコンテンツは以下。 【18-B-5】Apache Sparkを利用した「つぶやきビ…

乗り遅れるな!KafkaとSparkを組み合わせたリアルタイム分析基盤の構築〜のメモ

Developers Summit 2016 - Hack the Realで参加してきた三コマ目のメモを公開。 本エントリ、コンテンツは以下。 以降よりメモ公開。 【18-B-4】乗り遅れるな!KafkaとSparkを組み合わせたリアルタイム分析基盤の構築 / 田中 裕一氏 [日本アイ・ビー・エム] …

失敗から学ぶデータ分析グループのチームマネジメント変遷〜のメモ

今日(2016-02-18)のDevelopers Summit 2016 - Hack the Realでわたしが参加したセッションの中で一番タメになったセッション。 あるあるすぎる。 個人的には他にデータ絡みの組織活動で言うとデータガバナンスなども会社( Executive )からのサポートがない…

エンジニアなら使える深層学習~TensorFlowやDataRobotで機械学習がもっと身近に〜のメモ

今日(2016-02-18)はDevelopers Summit 2016 - Hack the Realに参加してきたので、参加したセッションのメモを別々のエントリで公開していこうと思う。 まず、本エントリのコンテンツね。 【18-B-1】エンジニアなら使える深層学習 ~ TensorFlowやDataRobot…

#hcj2016 個人的超まとめ(雑感とリンク集)

先日、参加してきた Hadoop/Spark Conference Japan 2016 の個人的超まとめ(というかリンク集)をまとめておきたい。 (ポストしたのは 2016-02-13 だが、ポストの日時としてはカンファレンスのあった当日 2016-02-08 としておこうと思う)。 自分でとって…

#hcj2016 Hive on Sparkを活用した高速データ分析のメモ

そして、 Hadoop/Spark Conference Japan 2016 午後5コマ目、この日の通常セッション最後の一コマのメモを公開。 (本日中の公開は難しいと思いますが、次に最後の個人的超まとめという名前のリンク集をポストする予定)。 Hive on Sparkを活用した高速デー…

#hcj2016 Hiveを高速化するLLAPのメモ

さらにさらに引き続いて Hadoop/Spark Conference Japan 2016 午後の4コマ目のメモの公開。 Hiveを高速化するLLAP / 小澤 祐也氏(ヤフー) Hive の復習 実行エンジン MR Tez YARN 上でしか動かないが Hive や Pig の実行エンジンとして欠かせない Spark Hiv…

#hcj2016 今あらためて考えるHiveのメモ

続いて Hadoop/Spark Conference Japan 2016 の午後3コマ目のメモを公開。 今あらためて考えるHive ~ユースケースの広がりにより顕在化した課題と対応~ / 吉田 耕陽氏(NTTデータ) Hive の泥臭い話 HiveQL の構文、 ORCFile, パラメタチューニング はじめ…

#hcj2016 KuduによるHadoopのトランザクションアクセスと分析パフォーマンスのトレードオフ解消のメモ

前のコマで参加したセッションが押した関係で、途中からの参加になりましたが、 Hadoop/Spark Conference Japan 2016 の午後二コマ目は Kudu のセッションに参加してきました。 では、今回も以降にメモ。 KuduによるHadoopのトランザクションアクセスと分析…

#hcj2016 次世代アーキテクチャから見たHadoop/Sparkの位置づけのメモ

Hadoop/Spark Conference Japan 2016 、午後最初のセッションはノーチラス・テクノロジーズの神林さんのセッションに参加。 最初から、メモを取るのは相当しんどいだろうと覚悟のセッションでしたが、濃厚濃密な内容で最後まで楽しむことができました。 自分…

#hcj2016 Hadoop/Spark Conference Japan 2016 午前キーノートのメモ

今日は大井町きゅりあんで開催された Hadoop/Spark Conference Japan 2016 に参加してきました。 参加してきたセッションだけでも午前に7つ、午後に 5 つと多かったので、午前で1エントリ、午後は個別セッションで5エントリに分けてポストしていきます。 で…