Cloudera World Tokyo 2014 にいってきました（基調講演、特別講演のメモ） #cwt2014

f:id:garage-kid:20141106205806p:plain

今日は、Cloudera World Tokyo 2014 | Cloudera Japanにいってきました。

例によってブログを書くまでがカンファレンス（勉強会）ってことで、ブログレポート書きます。
（ちょっと量が多いので、基調講演、午後の Breakout Session 、 LT の三本のエントリにわけて公開します。）

Cloudera World Tokyo 2014 | Cloudera Japanの基調講演、特別講演の内容は以下のようなコンテンツで行われました。

ご挨拶

10:00 - 10:15 Japan Update 講師：Cloudera株式会社　代表取締役社長　ジョー　シニョレリ氏

基調講演

10:15 - 10:45 エンタープライズにおけるグローバルHadoopの動向講師：Cloudera, Inc.　Chief Operating Officer　カーク　ダン氏

10:45 - 11:05 Hadoopと将来のデータセンター講師：Cloudera, Inc. Chief Technologist　イーライ　コリンズ氏

特別講演

11:05 - 11:40 ビッグデータ・Internet of Thingsの潮流とインテルの戦略講師：インテル株式会社常務執行役員・ビジネスデベロップメント　平野浩介氏

11:40 - 12:15 新潮流――Hadoopが創造するデータドリブンビジネス講師：SAS Institute Japan株式会社マーケティング＆ビジネス本部長　北川裕康氏

まずは基調講演、特別講演の雑感から。

BigData の話をするときに 3V + Value の話が IoT やセンサーデータ、ヘルスケアの実例をもって語られるようになってきた様子でした。

言葉通りの Big 、 Volume のあるデータの話がでてきたな、と。

Cloudera としては Intel との提携がビッグニュースだったようで、その話が基調講演ではメインになっていた感じでした。

その提携でもっとも力がはいっているのはセキュリティという印象を受けました。（もちろんセキュリティ超大事なので尤もな判断だと個人的には思っていますが）

他にチップそのもの、データセンターも力いれてるっていう話はしてはいました。

追記：このエントリを書いた後、ClouderaがIntelと提携した理由は、“パーベイシブ分析の実現” - クラウド Watchという記事をみつけたました。パーベイシブ分析の実現のために intel と提携したと断言してるような発言をしてはいなかったような気がしたんですが、おそらくわたしの聞きそびれか聞き間違いだったんだろうな、と。

基調講演なのに CDH や Impala、 EDH の現状、ロードマップみたいな話が一切なかった、、、、のはなんだったんだろう、と。

個人的にはそれありきで始めたほうが良かったと思うんですが、、、この点は完全に謎ですね。

午後の Breakout Session でわたしが参加したセッションでもそういうのはなかったですが、もしかしたら、どこかのセッションではあったのかもしれないですが、、、、

まあ、こんなところ、かな、です。

以降はわたしがとってきたメモです。

ご挨拶

10:00 - 10:15 Japan Update 講師：Cloudera株式会社　代表取締役社長　ジョー　シニョレリ氏

Market Update
- Thanks to participants and the sponsors
  - intel
  - EMC
  - SAS
- Cloudera Company Snapshot
  - Back ground
    - 2008 started
    - 750 employee
    - 24/7 global staff
    - 50,000 people trained globally
- A Strong Track Record of Innovation
  - 2009 Doug joined
  - now more available of enterprise
- Global big data Market Potintial is Big
  - $14B market
- Japan BigData Market
  - it will become 2020, $3B
- Big Data only getting Bigger
  - Unstructured(90%) and structured data
  - Doubles every 2years
- 10TB to 10PB
  - It's all Bigdata
  - How you levarage your business with your data
    - tell me your usecase
- Education of Hadoop
  - levaraging the hadoop usage
  - Cloudera Trains the Top Conpanies
  - Cloudera Dominates Hadoop Training WW
    - over 50,000 people trained WW (84%)
- Support
  - Second to none.
  - deliver support with local language (here also in Japan)
  - Diffrenciated Approach to your Success
    - Proactive Support
    - Predictive Support
    - Cloudera Engaged
  - Expert Support for your Enterprise
    - Doug
    - 19 Project leaded by Cloudera employee
    - etc...
  - It isnt just about Web2.0/social
    - also the real industry
      - car, retail, utilities, etc

基調講演

10:15 - 10:45 エンタープライズにおけるグローバルHadoopの動向講師：Cloudera, Inc.　Chief Operating Officer　カーク　ダン氏

Emphasised Japan is the one of the most important market for Cloudera
Somewhere, something incredible is waiting to be known.
- New Gen tool, comercialize Hadoop
- enable to create new thing using the data
73% of org have invested or plan for the data
Data has been creating an Environment of Change
- Consumption
  - Smartphone
- Instrumentation
  - Contents
- Exploration
  - gain insights
- Value
  - provide better service etc...
Old and new questions
- how much New Gen Hadoop technology is act in production? (same slide Joe used)
- Simple example but powerful outcome.
  - automotive
  - healthcare
    - How can we understand medical issues better
      - which new techs actually improve patient health?
  - retail
    - How will seasonality affect a learge retailers ernings next quater?
      - How much parked improve this?
  - agriculture
    - How much corn did my farm produce last year?
      - Can improved science increase crop yield?
Expanding Data Requires A New Approach
- Now
  - Use all data in one place
    - Multi structured
    - Internal and external data both
The Enterprise Data Hub
- All your data at hte center of your business
  - EDH connects literally all
    - center of the user(customer, business user) and its compute
Success Across Industiries
- The list of the company names working on prod.
  - Financials
  - Telecom
  - Healthcare
  - Media
  - Retail
  - Energy
Study the past if you would define the future - Confucius
- Good trends we maxmize it.
- Bad trends we minimize it.
- New Gen their hadoop enables it.

10:45 - 11:05 Hadoopと将来のデータセンター講師：Cloudera, Inc. Chief Technologist　イーライ　コリンズ氏

Talk about the partnership with Intel.
パーペイシブ分析の在処
- Mobile
- Traffic system
- Wearable device
Users confusion
- Tools are not still providing the service which users actually are expecting.
Interl and Cloudera what they both thinking important
- Chip
  - データ量はムーアの法則以上に伸びている
  - チップに埋め込まれたデータの暗号化、圧縮、数値演算ライブラリー、アルゴリズム (intel)
- Data Center
  - 効率的で自動化を図ることができるダイナミックなラックスケールアーキテクチャ
  - facebook の例
- セキュリティ
  - アクセスコントロール、暗号化、コンプライアンス、匿名化
what intel and Cloudera working together with
- lots of Contrubution to the OSS products
- Distribution

特別講演

11:05 - 11:40 ビッグデータ・Internet of Thingsの潮流とインテルの戦略講師：インテル株式会社常務執行役員・ビジネスデベロップメント　平野浩介氏

マーケティングの Buzzword になってる IoT
- もはや釣り文句、タイトルにつけると人が集まる
イーライ氏がはなしちゃった
- IoT に関してどんなシリコンをつくってるか
- DC のアーキテクチャ
- セキュリティ
  - IT のエンドポイントから DC にそして、サービスへ
次の 10 年の予測
- エネルギー需要が伸びていく
  - 人口増 18 億人以上が 2025 までに消費に参入
  - 消費額が増える 6,500 兆円に倍増
Power of 1%
- 1% の効率化がもたらす影響の大きさ
  - ex. 航空で 1% の燃費向上が 15 年で 3 兆円の効果
- すでに乾いた雑巾をさらに絞ってるような状態だが、 BigData を使うことでより効率化が可能になるかも
  - 車にセンサーを組み込むことによって、集めたデータから車両運行の最適化と効率化を実現する、とか
    - 燃費および環境への貢献（二酸化炭素排出の低減）
50B connected devieces by 2020
- 高まる IT への期待
IoT が ICT を上回り成長の主流に
- 世界で 2020 年に 100 兆円
そこで intel が何ができるか
- エッジデバイスでのデータ圧縮、データクレンジング
- プラットフォームレベルではセキュリティのプラットフォーム
- ネットワークのバックエンドインフラから SDN へ
  - Network function virtualization
- Data Center
  - Google, facebook, amazon
  - 技術協業
  - 最新のデータセンターはどうあるべきか
    - ラックスケールアーキテクチャ
      - メモリ、 IO をリソースプールにして負荷に応じてエラスティックにスケールアウト、スケールダウン
  - データ解析
    - Cloudera と協業
intel Edison
- 低コストで容易に商品化が可能な IoT 向け
- 切手サイズ大のフォームファクター
- 500MHz のデュアルコア CPU 搭載 SoC
- Linux 稼働可能
IoT ゲートウェイ
- 多様な機器に接続性を付加
  - Plat'Home OpenBlock IoT シリーズ
    - Intel Edison 搭載 Linux OS 採用
IoT に向けた End to end のアナリティクス
- Intel xeon
  - HW を共通化できるんじゃないか -> ラックスケールアーキテクチャ
Intel の半導体工場における Bigdata 活用
- Predictive Maintenance
  - 障害の予兆を検知、センサーデータで
- 毎時 5TB の製造データを生成
- Cloudera Hadoop をデータ解析に利用
- 年間 900 万ドルのコスト改善を実現
  - 1 億円に満たない投資で。
industrial internet consortium
まとめ
- IoT の潮流とインテルの戦略
  - 様々な産業界に革新をもたらす IoT
  - モノからクラウドをカバーするテクノロジーとリーダーシップ
  - CPU から SW サービスまで End to End

11:40 - 12:15 新潮流――Hadoopが創造するデータドリブンビジネス講師：SAS Institute Japan株式会社マーケティング＆ビジネス本部長　北川裕康氏

Analytics からみた Hadoop の今後の話
Bigdata は避けられないトピック
- 世の中で使えるデータ (All Data)
  - Bigdata だけでなく
  - Opendata
    - Open Govenment Data
  - MyData
すべてがデジタル化し、そして、つながる
- UNIQLO SFC の店舗の例 - MAGIC MIRROR
- マイクロセグメンテーション
- リアルタイムにお客様のニーズを拾う
ウェアラブルデバイスの増加
- 2020 までに Global 1,000 企業の売上の 5% を促進すると予測
- Apple の healthcare app とか
  - 生活改善のアドバイス
Bigdata 3V の加速
- Volume, Velocity, Variety + Value
- Bigdata Analytics と Analytics の大きな違い
  - Technology - parallel processing, in-memory
ビッグデータからの第4の V(Value) の創造
- 社内の意思決定
- ビッグデータベースの製品開発
- ビッグデータベースの時間の短縮
- ビッグデータベースのコスト削減
DWH が限界に、ビッグデータのための新しい技術が必要
- 2015 までにデータは混在型に 90%
- 現在の 75% の DWH はスケールできない
- 86% の企業は適切なタイミングに適切な情報を提供できない
- 今は分岐点
その候補
- Hadoop がそのひとつだと思う
Hadoop 市場の成長 (予測)
- 年平均成長率 49%
- 2018 に $2,710M と予測 (2014 現在 $390M)
- 451 research
Hadoop マーケットのトレンド
- Hadoop は機会か、問題児か？
  - 88% 機会
- HDFS データは Analytics 能力を拡張できるか？
  - 60% はい
- TDWI 201304 より
どんな目的で Hadoop を使うか (TDWI 201304)
- Analytics のためのソース
- マイニング、統計、フクザツな SQL
- 探索的な分析
- 情報探索と Discovery
- 既存 DWH の補完
- ほとんどが Analytics
Hadoop 適応への課題
- Analytics の機能がビルトインされていない
- コーディングに時間
- DQ を含むデータ管理が弱い
Analytics を実現するために必要なもの
- Skill
- Culture
- Data (cleaned)
SAS for Hadoop
- 2つのサポート
  - Data Platform としての Hadoop (HDFS, Hive, Implala)
    - IT モダナイゼーションをサポート
  - SAS の分析ライフサイクルの主要なコンポーネントとしての Hadoop
    - 分析組織をサポート (モデルファクトリー、ディジョン管理)
- HDFS base
  - LASR Analytics Server
    - Parallel processing
    - In-memory
- User IF
  - Data Management
  - Enterprise Miner
  - SAS Studio
  - Visual Analytics, Visual Statistics
  - In-memory Statistics for Hadoop
- 分析ライフサイクルのサポート
  - データ探索、ディスカバリー
  - モデル開発
  - モデル展開、モニター
  - データ管理
MACY'S データドリブンな顧客理解 (usecase)
- 移り気な顧客を 20% 削減
  - Churn
- 年間 50 万ドルの支出を削減
- 顧客の生涯価値を分析
- より正確に顧客の反応を予測
- プロモーションを最適化
リアルタイムとの統合 (最新の動向)
- IoT
- Bigdata stream
- 不正もそう
なぜ SAS か？
- 37 年の Analytics の専業メーカー
- Analytics
- In-memory
- High Performance
- Data Management
- BI
- Data Visualization