この #oowjp は製品説明会の様相が強かったので、新しい学びが少なかったです。
ですので今回は #oowjp でわたしが印象に残ったことから書きたいと思います。
✔ わたしが今回の #oowjp で印象に残ったことは 2 つです。
1 つめは、ラリー・エリソン氏の基調講演を本人の言葉で聞きたかった、ということです。
わたしは GH 東京でサテライト中継越しにラリー・エリソン氏の講演を聞いたのですが、スピーカー音声は日本語同時通訳のものでした。
あまりわたしはカンファレンスでの日本語同時通訳を信用していない*1のと、そもそもラリー・エリソン氏ご本人の声を聞きたいと思って参加していたため、最低でした。
こういうことをされるなら、次回からはいかなくていいかな、思っています。
(違うセッションではなぜかレシーバーがあったりしたので、基調講演用には数が足りないから、全部一律で日本語で放送したとかだったんですかね。それともレシーバーにはサテライトの音声は飛ばせないとか?)
※ 120406: 動画が up されているのを見つけました。やはり本人の声、言葉で聞く方がぜんぜんいいですね。Oracle Media Network
2 つめは、やはり Oracle の顧客ロックイン戦略は本当にスゴいということです。
今回わたしは BigData Appliance、 NoSQL Database、 Exalytics の情報を主にきいただけですが、この3つだけでも個々のプロダクトの実現できること、それぞれのプロダクトの連携等、本当によく考えられていると思いました。
オンプレミスでシステムをつくっていて、かつ導入できる資金力があるなら、自力実装するよりも Oracle にまかせた方が圧倒的に「楽」だろうなと思います。
ただ、こちらの方がつぶやいてくれるとおり、ラリー・エリソン氏が基調講演で
「ベンダロックインは良くない!」byラリー。まだ1セッション目ですが今日のが言うな大賞候補です。 #oowjp
と言っていたのは*2、違うだろうとわたしも思いました。
もはや褒めるしかないほど見事なまでの顧客ロックイン戦略を敷いているのだから、堂々と「ロックイン戦略ですが、それだけ信用していただける自信があります」、と言うくらいの気概があってもよかったんじゃないかな、と思います。
※ちなみに基調講演では Oracle 製品が「安い」ということもラリー・エリソン氏は連呼していましたが、それはスタートアップ企業も導入できる価格設定の製品もつくってから言ったほうがいいんじゃないかな、というのが個人的な意見です*3。
✔ では、最後にご参考まで、わたしが #oowjp でとってきたメモを公開しておきます。
Contents.
- K2-01 9:30〜11:15 Extreme Innovation オラクル・コーポレーション 最高経営責任者(CEO) Larry Ellison
- K2-01 9:30〜11:15 企業競争力強化に向けたビッグデータ活用とは 〜価値ある情報の創出に向けたNECの取り組みについて〜 NEC 執行役員常務 山元 正人
- S2-31 15:20-16:05 ビッグデータと基幹データを融合し、ビジネスを最大化!Oracle Loader for Hadoop & Big Data オラクル・コーポレーション
- S2-41 16:30-17:15 ビッグデータ時代の統計分析製品−Oracle R Enterprise 日本オラクル
- S2-52 17:40-18:25 業界初!超高速分析専用マシンOracle Exalyticsの情報活用ソリューション 日本オラクル
Keynote 2,000 attendee total
京都に自宅をもつラリー
画面に映っていたのは、ラリーの京都の自宅
京都からの生中継
*
サンフランシスコ以外でラリーが基調講演するというのは稀
K2-01 9:30〜11:15 Extreme Innovation オラクル・コーポレーション 最高経営責任者(CEO) Larry Ellison
日本語…次世代のコンピューティング
HW Business 、SW Business
最高のシステムを提供する
*
Engineered TO Work Together
Apple が最高のものを提供している
*
最初の2つの製品
ExaData、ExaLogic
*
2つのゴール
最高のパフォーマンス、IBMのP795をこえる
より高いコストパフォーマンスを提供する
RHよりも
*
最高のパフォーマンスだけでなく、最安値を実現する
新しいアーキテクチャで実現した
すべてを並列化した
ローコストのサーバーを分散
Infiniband のネットワークで
仮想化のやり直し
すべてのソフトウェアを並列化した。
データ転送量を10倍
圧縮技術を活用、圧縮率を10倍
5000必要としていたディスクは、いまならば500ですむ
データをメモリに転送する速度が10倍、圧縮率10倍、結果速度は100倍に
*
次になにをしたか
Exadata
できるだけ多くのデータをインメモリで解決できるようにした
Flash Memoy
DRAM
従来の100倍のデータがインメモリに格納できるようになっている
150万IO / sec を1ラックで実現
*
Cheap x86 boxes
DRAM, Flash, disk
*
Exadata HW
4TB DRAM MEMORY
*
Exadata の進化
DRAM価格が年をおうごとに低下
NW速度の向上
*
日本での成功事例
アサヒグループ
2時間のバッチが30秒に
伊勢丹
25倍のスピードアップ
Mazda
4x faster with people soft
NRJ
up to 224 faster with reference quenes
docomo
data compressed 10x and 95x faster with the analysis of customer information
*
Exadata、Exalogic
直近、売り上げ130%の伸び
まだまだ伸びている、高性能、高品質の評価だとおもっている
*
並列化のメリットはなんなのか
SPOFがない
*
グローバルな成功事例
SK telecom
1PB of billing data compressed 10x
...
*
Exadata Delivers Extreme Value
IBM の 1/5 の価格
*
Exalogic
Java Application
10x faster responce
5x more users
Oracle EBS & Siebel Application
4x faster response time 3x more user
*
Exalogic Elastic Cloud
Transaction Processing, ...
何千台のIntel マシンととの競合を考えて欲しい
ずっと安くすむ
セキュリティも向上
そのパフォーマンス
Web request/sec 10x faster, 836,520
JMS messages/sec 5x faster
Enterprise Java operation/sec 5x faster
*
Fusion Middle ware performance on Exalogic
Tuxedo 11g
SOA 11g
ADF 11g
UCM 11g
*
また、成功事例
Haier 7x faster than theee competition at 1/2 the cost
...
*
SPARC SuperCluster
Runs all existing SPARC solaris workload
interconnect is infiniband
*
SPARC SuperCluster HW
4 T4-4 Compute servers 108 CPU ...
Operation system Oracle Solaris 11 & 10 , Oracle Solaris Cluster 3.3
Virtualization
Management
Database & Middleware
→なんのためにつくったのかわからん…
Exadataと同等のパフォーマンスを提供する?
*
IBMとの競合を意識
P796
*
Exalytics
Inmemory machine
全データをDRAM上に格納している
もちろん並列化
分析基盤
既存のBI、分析処理を10倍、100倍のパフォーマンスを実現できる
*
memory 1TB DRAM
Processors, 40 intel cores
scan compressed 5TB database in 5 seconds
*
Oracle Exalytics SW
new inmemory parallel versions of Essbase & Timesten
Analyze Any and all data sources
*
Exadata + Exalytics
data is inmermory
and transfered by infiniband
*
In memory Analytics
Heuristic adaptive in memory cache
- decides what gets stored in memory
...
In memory databases
...
*
また顧客の成功事例
NTT data
...
*
Oracle Exalytics vs. SAP HANA
more mature
more compete
more scalable
...
Complet
Proven
Scales
...
*
Appleの話にもどる
スティーブジョブズ
彼の考えはシンプルだった
1社ですべてが解決することが大事
ワンストップ
すべてのピースがうまくはまることがビッグアイデア
すべてをフィットさせたから
すべてのバックエンドを支えることができるシステムを提供することがOracleの戦略
*
QA1: 他社が2年間でOracleをキャッチアップすることができるとおもうか
→無理だろう、と。また IBM を槍玉に挙げていた。
QA2: HW と SW の組み合わせ、ベンダーロックインがコワイ。IBMに苦渋をあわされた。OSS に関する見解を知りたい。
GE の方から
→ロックインはない。もしコストパフォーマンスが悪いと考えるのであれば、ほかのソリューションを選んでもらって問題ない。選択肢はかならず複数残しておきたいと思っている。
コストパフォーマンスがいい。性能がいい。信頼性がたかい。
それがOracleの強みだと。
いちどOracleを導入したからと言ってずっと使い続けなければならないということはない
ロックインは決して良くない。競争がないのはいけない。
私たちが選択肢を複数提供し続ける限り、ロックインはない
*
Java
IBM、SAPとは協調してる
反目しているのはGoogleだけ。
彼らが意思決定権をもっているとおもっているらしい、と。
K2-01 9:30〜11:15 企業競争力強化に向けたビッグデータ活用とは 〜価値ある情報の創出に向けたNECの取り組みについて〜 NEC 執行役員常務 山元 正人
▶ ビッグデータ市場動向
活用されていないデータが99%以上
いかに活用するかがポイント
▶ モバイル端末の普及で拡大するトラフィック
1年で2倍以上になると予測
▶ ビッグデータの事業領域への浸透
製造業、官公庁、銀行…
アメリカのデータ
米のほうが日本にくらべ10倍以上のデータをストックしている
:日本の場合、捨ててるのではなく、そもそも取得していないだけでしょう。あと人口も違う。
▶ ビッグデータ活用の課題
センサー・デバイスからの情報
急増する企業内、企業間データ
様々なタイプのデータ
*
アナログデータのデジタル化
▶ NECのビッグデータソリューション
センサー・マシンからの情報収集
→M2M
急増するデータへの対応
→InfoFrame および InfoFrame DataBooster
様々なデータ処理
それらをワンストップに。
▶ 通信フロー制御
ネットワークのシンプル化
OpenFlow
→スタンフォード大学を中心としたコンソーシアムが規定するNWの規格??
UNIVERCE PFシリーズ
▶ 非構造データの分析
世界No1の指紋認証、顔認証
▶ 機会学習(インバリアンツ解析)
WebSAM invariant analyzer
システムのいつもと違う動きを認識する
▶ ビッグデータに対するデータ処理製品群
3つの階層で定義
分析・メディア解析層
収集・統合層
基盤層
▶ NewSQL
InfoFrame Relational Store
スケールアウトが可能、処理スピードも高いと。
*
スモールスタート可能
容易なシステム設計
基幹業務にも使用できる高信頼性
→マイクロシャード
▶ Oracleとの協業
1987からOEM契約
*
2012 運用管理領域で協業強化
*
今後はビッグデータ領域で協業
インバリアンツ解析の実証実験をOracleと共同で実施
S2-05 11:50-12:35 楽天市場におけるOracle Coherenceの活用:2ndシーズン
最初のフェーズが終わってその後、どうなったのか?▶ 最近の楽天
楽天スーパーセール
120304
一日130億円の流通を達成
その裏側でも Coherence が動いていた
年間流通総額1兆円
店舗数約4万
楽天の紹介… 技術の話の前置きが長い…
▶ 楽天市場のビジネスモデル
B2Cのプラットフォーム
*
楽天市場のRMS
店舗構築、商品管理
データ分析、販促ツール
そして、受注処理→これが本題
*
3つの口
Order API+Coherence
内部的なそう作り変え
しかし、APIのため、それを使用する外部には影響をさせない
*
あった課題
DBへの負荷集中
- スケールアップで対応せざるをえなかった
アプリケーションコードの複雑化
*
目指すゴール
DBとアプリがお互いに影響を及ぼさない疎結合なレイヤー構造
*
Weblogic
Spring Framework
- connection pool management
- transaction
- pre load
- Bean management
Coherence
*
プロジェクトによってもたらされたもの
業務とDBアクセス部分の完全分離
保守性・品質・開発生産性の向上
変化に強いアプリケーション
→Coherence を使ったからではない。ソースが変化に強いのかどうかが重要と個人的には考えている、と。
*
RDBMSかNoSQLか
インピーダンス・ミスマッチ
Conerence はRDBMSではないので、DOA設計を行うと失敗につながりやすい
DOA+OOAが混在し、設計が複雑になる
*
ドメイン駆動設計 、DDD
DDDにおけるリポジトリ・オブジェクト
*
DB前提のシステム構成をどのように Coherenceで改善したか
*
データ処理のポイント
条件検索
更新トランザクション
複数更新の効率化
*
キャッシュ定義
アプリケーション側からはDBがみえなくなったため
search cache, order cache, update cache
*
update cache と DBの間にトランザクション
DBの更新がおわったら、 order cache に put
次回、DBから select しなくてすむ
*
条件検索
データ量の問題
キャッシュ容量の制限
メモリ容量と対象データ全体量
他のアプリケーションからの更新
*
search cache ヒット率は0%になるように
order cache キャッシュにあれば、DBにはアクセスがいかないように
*
更新処理の流れ
キャッシュオブジェクトは複数オブジェクトをひとつに統合している
複数の機能を同時に Update する必要
Coherence の Transaction Map という機能を使用した
*
トランザクション処理の問題点
putAll() というメソッドを自分たちで実装し解決した
一件更新と一括更新で行うSQLの数が一緒になった
*
サイジング・構成時のポイント
仕様決定
構成
可用性設計
*
全体容量計算
業務に求められる維持時間
…
*
容量の考え方
KeyとValue 、量、維持期間
*
維持期間 != ライフサイクル
Coherenceにおける expire-delay の考え方
*
維持期間=最長ライフサイクル時間
expire-delay=最長参照期間
*
構成
大量のメモリをもったサーバを少なく配置するか
小さな安価のマシーンを大量に並べるか
→大容量を選んだ
*
JVM
ヒープ外領域か、ヒープ内領域を使うか
再配置性能 か 容量・GCの影響か
*
可用性設計
JVM
キャッシュ領域+再配置サイズ
*
監視
独自のモニタリングツール
キャッシュのモニタリング、Excel??
*
キャッシュ内データの定期リフレッシュ
S2-31 15:20-16:05 [ビッグデータ] ビッグデータと基幹データを融合し、ビジネスを最大化!Oracle Loader for Hadoop & Big Data オラクル・コーポレーション
Bigdata difinitionビッグデータの典型的な構成要素
Oracle Big data applience
Oracle NoSQL Database
*
ビッグデータ:新データに基づいて行動する
将来を見据える
*
ビッグデータ:課題をビジネスチャンスに
現在と将来のギャップが課題
多様性、大量、複雑、高速
ビッグデータ・プラットフォーム
詳細な分析、高い俊敏性、大規模なスケーラビリティ
*
ビッグデータの構成要素
取得
→短い、または予想可能なレイテンシー、大量のトランザクション数、柔軟なデータ構造
体系化
→高いスループット、その場での準備、全てのデータソースと構造
分析
→深い分析、迅速な開発、極めて高い拡張性、リアルタイム性
*
Oracleの統合ソリューション・スタック
Oracle NoSQL DB
HDFS
CDH
Oracleは自分でHadoop Distributionをつくることは選ばず、Clouderaとパートナーになることを選んだ
In-DB analytics R mining text Graph spatial
Oracle BI EE
*
Big Data Applience
Coudera CDH
HBase / Hive etc
Cloudera Manager
NoSQL DB ( CE / EE )
Big data connector
*
Oracle Exadata
*
すべてのデータを取得、体系化、分析
Oracle Bigdata applience ;取得
↓Oracle Bigdata connectors
Oracle Exadata;体系化
↓
Oracle Exalytics;分析
*
Oracle Big data applience
18 sun X4270 M2 servvers
Cloudera CDH
Cloudera manager
Open source R distribution
Oracle NoSQL data base CE or EE
Oracle Big data connectors
*
BDA node
Spec of Sun Fire X4279 M2 *
メモリ拡張キット
*
水平型拡張モデル
Infinibandを用いてラックを接続し拡張
infiiniband top of rack
*
Oracle bigdata applience SW
Oralce linux 5.6
CDH
*
CDHを選んだ理由
大規模環境で実証済みであること
Hadoop Community への貢献が著しい
*
Hadoop SW レイアウト
NNのSPOF
各ノードに含まれるコンポーネントの説明
*
BIgdata Applience
最適化され完全
Oracle Exadataと統合
すべてのデータを分析
容易な実装
単一ベンダーによるサポート
*
Oracle NoSQL Database
商用グレード・ソフトウェアとサポート
拡張可能なスループット
シンプルなプログラミングと運用モデル
Oracleの大規模環境でデータストレージオファリングを補完
*
NoSQLコンフィグレーション
BDAのオプション
三重化で事前構成済み
マスターノードとレプリカ
inconsistent な実装
*
Oracle Big data connectors
MR を簡素化
Oracle data integrator, Oracle Loader for Hadoop
MR コードを自動生成
プロセス管理
GUIでワークフローをつくるイメージ
*
Oracle Loader for Hadoop
Shuffle&Sortでトラフィックが大きくなるから、Infinibandを採用
データベースからターゲットのテーブルのメタデータを読み込む
パーティショニング、ソート、データ変換
リデューサー・ノードからData Pumpファイルへ書き込み
*
Oracle Direct Connector for HDFS
HDFS へのSQLアクセス
外部テーブルビュー
データクエリ、またはインポート
HDFSからOralce DBの間は Infiniband で接続
*
Oracle R Hadoop Connector
Client, Oracle Big data applience, Oracle Exadata
Native R MR
native R HDFS access
*
ビッグデータ・ソリューション
Use Case
小売業 Small Mall
買い物客を買い物中にターゲティングして効果的なマーケティングを行う
*
分析手法の習得は今後必須
*
QA1: Sqoop と Oracle Loader for Hadoop の違い
Sqoop is general
Oracle loader for Hadoop is specific for oracle
S2-41 16:30-17:15 [ビッグデータ] ビッグデータ時代の統計分析製品−Oracle R Enterprise 日本オラクル
▶ What is R?
統計の計算やグラフ処理を行うためのOSSのプログラミング言語
容易に高品質なグラフ描画が可能
*
Rexer Analytics Survey 2011
result
the popularity of R SW is growing fast
2011, R became second position of analysis primary tool
*
グラフの例
*
Rの課題
- Memory constrained
メモリが枯渇しやすい
- Single threaded processing
マルチコア環境でのスケーラビリティが低い
*
Oracle がなにを提供するのか
Oracle R distribution
- download free
- Bundled in Oracle BIg data applience
Oracle R Enterprise
- Enterprise 向け
Oracle DB内のデータに対してRで透過的なアクセスが可能になる
DB内で演算を実行できる統計エンジン。Oracle側で計算をまわす
Oracle R Connector for Hadoop
BDA上のOracle Hadoop ClusterへのRのインターフェースの提供
HDFS、DB、ファイルシステムへのデータアクセス生成
RのインターフェースからMRを記述および実行可能
*
Oracle R Enterprise
R と同党の統計機能を提供
RをEnterpriseで利用するための課題を解決
DB内のデータをダイレクトかつ透過的に処理
Rのメモリサイズの制約を廃し、大規模データのとりあつかいを可能に
プログラミングレスで並列処理をDB内で実装可能
*
Enterprise環境で使えるというベンチマークテストの結果
飛行機の遅延時間を計算
22万件では差はなし
1億件ごえではOracleは処理できたが、Nativeできなかった
*
How Oracle R Enterprise work
3つのアーキテクチャテクノロジー
Oracle R Enterprise transparency layer
Oracle Statistics Engine
Embedded R Engine
: さっぱりわからんw
*
Transparency Layer
DBのデータに対してRでダイレクトに処理をさせる
RのデータタイプとOracleのオブジェクトをマッピング
Rコマンドは透過的にSQLに置換される
デスクトップのメモリサイズ以上のデータを処理可能に
資料図解あり
デモあり
*
ore.connect()
ore.sync()
ore.attach()
*
ore.ls()
*
R のIFから Oracle側にはテーブルをつくる
data.frame
ore.create
テーブルを削除
ore.drop
*
In DB statistics Engine
Oracleのもつ統計関数、分析関数のライブラリの拡張
→ORE function, Base R + alpha
Oracleのスケーラビリティ、並列化機能を享受可能
図解あり
本当にアウトプットさせたいデータのみをクライアント側で読み込む工夫が必要。でないと、ネットワークトラフィックが大量に発生してしまう場合もある→本末転倒
*
Embedded R Engine
R script の自動実行が可能
R script の並列実行が可能に
→Oracleによって複数のRエンジンを複数のサーバ・ノードで稼働
R script の処理を別途BIシステムから実行可能
*
R interface function
doEval
tableApply
rowApply
groupApply
indexApply
*
回帰分析の例
*
rqEval
rqTableEval
*
XMLの形式で出力させることも可能
XMLのレイアウトを変更することも可能
*
Oracle R Hadoop Connector
R 環境からHadoop Connector、HDFS、MRを活用することが可能
RからHadoopへ、HadoopからDBへのデータ移動も可能
コマンドの例あり
S2-52 17:40-18:25 [エンジニアド・システム] 業界初!超高速分析専用マシンOracle Exalyticsの情報活用ソリューション 日本オラクル
Oracle BI▶ 経営課題に対応するOracleのソリューション
IT上の制約がタイムリーな意思決定を制限していた
ITが複雑であるがゆえに
ITが経営の足をひっぱる?
経営のニーズに応えるのに時間と労力が多分にかかっている
*
Oracle BI
何が起きたか
なぜおきたか
最適化するか
誰が何をするか
Detect -> Analyze -> Model -> Act
▶ Oracle BI ソリューション全容
表現力、分析能力
モバイルの対応
Essbase 過去の結果分析
BI Applications
Endeca によるデータタイプを問わない分析
*
製品概要
BI Server
Essbase
Dimension Management
Predictive Analytics
どんなデータソースも取り込むことができる
仮想的に統合することも可能
Microsoft も Netezza も
*
BI / EPM apps
BI / EPM platform
Data sources
*
Oracle BIによる豊富な表現力と分析力の提供
ダッシュボード
スコアカード
地図連携
モバイル(Windows用のアプリケーションをつくれば、自動的に iOS にも対応する)
ストラテジーマップ
セキュアサーチ
レポーティング
…
*
ダッシュボードで簡単かつあらゆる分析ニーズに対応できる表現力
*
モバイル対応の重要なポイント
モバイル専用分析ニーズアプリケーション、サーバの構築不要
Oracle BIをスマートデバイス上でそのまま実現
→ソースはひとつでいい
万全なセキュリティモデル
*
Essbase
シナリオ分析とシミュレーション
多面的な分析が可能
軸のひとつに、変数を変えて分析ができる
将来に対する予測を複数軸でシミュレーションできる
*
BI Applications
主要なERP、CRM
統合DWH(設計はすでにされている:スタースキーマ)
業種、業務別に事前定義された分析用テンプレート
*
導入事例
短期導入を実現するテンプレート
導入期間、1.5-3.5 month
アラスカ航空
Compass Bank
MERCK
CharlesSchwab
バイエル薬品
…
*
Endeca (最近買収)
企業内情報や市場情報など必要な情報を迅速に分析
構造化データから非構造化データまで
自動的にサーチ、検索、分析するための情報を整理
分析アプリケーションを利用して容易に分析
*
Oracle Exalytics のメリットと特徴
Exadataとの連携、大量データ高速分析
最新テクノロジーと既存データベースの活用
…
*
人間が考えるのと同じスピードで結果分析が返ってくる
インメモリ分析
ExadataとInfinibandの連携による大規模なデータ量にも瞬時の情報可視化
*
Exaliticsのメモリサイズは1TB
50TBのデータがある場合には、ソースのデータを見に行く必要がでてくる
その間をつなげるのが高速ネットワークがつなぐ
*
Exalytics はBIをつかうシーンをいかに効率するかを考えたソリューション
BIサーバーHW
データモデル
分析プロセス
プレゼンテーション
*
Timestenをアドホッククエリに強くなるように改良した
*
ベンチマークの結果
エンタープライズレベルで思考速度での分析
What-if 分析とフォーキャスティング
エンタープライズ・プランニング
*
Exalytics HW 1TB memory
...
*
なぜはやいか?
3つの理由
自動的に結果セットをメモリ上にキャッシュ
パラレル処理の向上
→8パラレルから128パラレルへ
Timestenでメモリ上できちんとデータ管理をするようにしている
→実データを大幅に圧縮してメモリ上にのせている
*
ヒューリスティック・アダプティブ・インメモリ・キャッシュ
よくアクセスするデータをOracle側が自動的に判断し、キャッシュする
*
実際にどういう画面なのか?
デモ
新しいUIの提供を Exalyitcs の発表と同時にはじめた
トレリスグラフなど
*
SUV がなんでダウントレンドなのか?
車の販売に関する分析
:ずっとスピーカーがUSVと間違っていたのが気になった