#garagekidztweetz

#garagekidztweetz

id:garage-kid@76whizkidz のライフログ・ブログ!

Oracle の顧客ロックイン戦略を改めてスゴいと感じた #oowjp

スポンサーリンク

Oracle の CEO ラリー・エリソン氏の基調講演が聞きたかったのと、 Oracle の BigData Appliance、 NoSQL Database、 Exalytics の情報を聞きたかったのでOracle OpenWorld Tokyo 2012に行ってきました。

場所は六本木ヒルズでした。わたしが参加したセッションは全て GH 東京でした。

この #oowjp は製品説明会の様相が強かったので、新しい学びが少なかったです。
ですので今回は #oowjp でわたしが印象に残ったことから書きたいと思います。

わたしが今回の #oowjp で印象に残ったことは 2 つです。

1 つめは、ラリー・エリソン氏の基調講演を本人の言葉で聞きたかった、ということです。
わたしは GH 東京でサテライト中継越しにラリー・エリソン氏の講演を聞いたのですが、スピーカー音声は日本語同時通訳のものでした。
あまりわたしはカンファレンスでの日本語同時通訳を信用していない*1のと、そもそもラリー・エリソン氏ご本人の声を聞きたいと思って参加していたため、最低でした。
こういうことをされるなら、次回からはいかなくていいかな、思っています。
(違うセッションではなぜかレシーバーがあったりしたので、基調講演用には数が足りないから、全部一律で日本語で放送したとかだったんですかね。それともレシーバーにはサテライトの音声は飛ばせないとか?)
※ 120406: 動画が up されているのを見つけました。やはり本人の声、言葉で聞く方がぜんぜんいいですね。Oracle Media Network

2 つめは、やはり Oracle の顧客ロックイン戦略は本当にスゴいということです。
今回わたしは BigData Appliance、 NoSQL Database、 Exalytics の情報を主にきいただけですが、この3つだけでも個々のプロダクトの実現できること、それぞれのプロダクトの連携等、本当によく考えられていると思いました。
オンプレミスでシステムをつくっていて、かつ導入できる資金力があるなら、自力実装するよりも Oracle にまかせた方が圧倒的に「楽」だろうなと思います。
ただ、こちらの方がつぶやいてくれるとおり、ラリー・エリソン氏が基調講演で




と言っていたのは*2、違うだろうとわたしも思いました。
もはや褒めるしかないほど見事なまでの顧客ロックイン戦略を敷いているのだから、堂々と「ロックイン戦略ですが、それだけ信用していただける自信があります」、と言うくらいの気概があってもよかったんじゃないかな、と思います。
※ちなみに基調講演では Oracle 製品が「安い」ということもラリー・エリソン氏は連呼していましたが、それはスタートアップ企業も導入できる価格設定の製品もつくってから言ったほうがいいんじゃないかな、というのが個人的な意見です*3

では、最後にご参考まで、わたしが #oowjp でとってきたメモを公開しておきます。

Keynote 2,000 attendee total
京都に自宅をもつラリー
画面に映っていたのは、ラリーの京都の自宅
京都からの生中継

サンフランシスコ以外でラリーが基調講演するというのは稀

K2-01 9:30〜11:15 Extreme Innovation オラクル・コーポレーション 最高経営責任者(CEO) Larry Ellison

日本語…
次世代のコンピューティング
HW Business 、SW Business
最高のシステムを提供する

Engineered TO Work Together
Apple が最高のものを提供している

最初の2つの製品
ExaData、ExaLogic

2つのゴール
最高のパフォーマンス、IBMのP795をこえる
より高いコストパフォーマンスを提供する
RHよりも

最高のパフォーマンスだけでなく、最安値を実現する
新しいアーキテクチャで実現した
すべてを並列化した
ローコストのサーバーを分散
Infiniband のネットワークで
仮想化のやり直し
すべてのソフトウェアを並列化した。
データ転送量を10倍
圧縮技術を活用、圧縮率を10倍
5000必要としていたディスクは、いまならば500ですむ
データをメモリに転送する速度が10倍、圧縮率10倍、結果速度は100倍に

次になにをしたか
Exadata
できるだけ多くのデータをインメモリで解決できるようにした
Flash Memoy
DRAM
従来の100倍のデータがインメモリに格納できるようになっている
150万IO / sec を1ラックで実現

Cheap x86 boxes
DRAM, Flash, disk

Exadata HW
4TB DRAM MEMORY

Exadata の進化
DRAM価格が年をおうごとに低下
NW速度の向上

日本での成功事例
アサヒグループ
2時間のバッチが30秒に
伊勢丹
25倍のスピードアップ
Mazda
4x faster with people soft
NRJ
up to 224 faster with reference quenes
docomo
data compressed 10x and 95x faster with the analysis of customer information

Exadata、Exalogic
直近、売り上げ130%の伸び
まだまだ伸びている、高性能、高品質の評価だとおもっている

並列化のメリットはなんなのか
SPOFがない

グローバルな成功事例
SK telecom
1PB of billing data compressed 10x
...

Exadata Delivers Extreme Value
IBM の 1/5 の価格

Exalogic
Java Application
10x faster responce
5x more users
Oracle EBS & Siebel Application
4x faster response time 3x more user

Exalogic Elastic Cloud
Transaction Processing, ...
何千台のIntel マシンととの競合を考えて欲しい
ずっと安くすむ
セキュリティも向上
そのパフォーマンス
Web request/sec 10x faster, 836,520
JMS messages/sec 5x faster
Enterprise Java operation/sec 5x faster

Fusion Middle ware performance on Exalogic
Tuxedo 11g
SOA 11g
ADF 11g
UCM 11g

また、成功事例
Haier 7x faster than theee competition at 1/2 the cost
...

SPARC SuperCluster
Runs all existing SPARC solaris workload
interconnect is infiniband

SPARC SuperCluster HW
4 T4-4 Compute servers 108 CPU ...
Operation system Oracle Solaris 11 & 10 , Oracle Solaris Cluster 3.3
Virtualization
Management
Database & Middleware
→なんのためにつくったのかわからん…
Exadataと同等のパフォーマンスを提供する?

IBMとの競合を意識
P796

Exalytics
Inmemory machine
全データをDRAM上に格納している
もちろん並列化
分析基盤
既存のBI、分析処理を10倍、100倍のパフォーマンスを実現できる

memory 1TB DRAM
Processors, 40 intel cores
scan compressed 5TB database in 5 seconds

Oracle Exalytics SW
new inmemory parallel versions of Essbase & Timesten
Analyze Any and all data sources

Exadata + Exalytics
data is inmermory
and transfered by infiniband

In memory Analytics
Heuristic adaptive in memory cache

  • decides what gets stored in memory

...
In memory databases
...

また顧客の成功事例
NTT data
...

Oracle Exalytics vs. SAP HANA
more mature
more compete
more scalable
...
Complet
Proven
Scales
...

Appleの話にもどる
スティーブジョブズ
彼の考えはシンプルだった
1社ですべてが解決することが大事
ワンストップ
すべてのピースがうまくはまることがビッグアイデア
すべてをフィットさせたから
すべてのバックエンドを支えることができるシステムを提供することがOracleの戦略

QA1: 他社が2年間でOracleをキャッチアップすることができるとおもうか

→無理だろう、と。また IBM を槍玉に挙げていた。

QA2: HW と SW の組み合わせ、ベンダーロックインがコワイ。IBMに苦渋をあわされた。OSS に関する見解を知りたい。

GE の方から
→ロックインはない。もしコストパフォーマンスが悪いと考えるのであれば、ほかのソリューションを選んでもらって問題ない。選択肢はかならず複数残しておきたいと思っている。
コストパフォーマンスがいい。性能がいい。信頼性がたかい。
それがOracleの強みだと。
いちどOracleを導入したからと言ってずっと使い続けなければならないということはない
ロックインは決して良くない。競争がないのはいけない。
私たちが選択肢を複数提供し続ける限り、ロックインはない

Java
IBM、SAPとは協調してる
反目しているのはGoogleだけ。
彼らが意思決定権をもっているとおもっているらしい、と。

K2-01 9:30〜11:15 企業競争力強化に向けたビッグデータ活用とは 〜価値ある情報の創出に向けたNECの取り組みについて〜 NEC 執行役員常務 山元 正人

▶ ビッグデータ市場動向

活用されていないデータが99%以上
いかに活用するかがポイント

▶ モバイル端末の普及で拡大するトラフィック

1年で2倍以上になると予測

▶ ビッグデータの事業領域への浸透

製造業、官公庁、銀行…
アメリカのデータ
米のほうが日本にくらべ10倍以上のデータをストックしている
:日本の場合、捨ててるのではなく、そもそも取得していないだけでしょう。あと人口も違う。

▶ ビッグデータ活用の課題

センサー・デバイスからの情報
急増する企業内、企業間データ
様々なタイプのデータ

アナログデータのデジタル化

▶ NECのビッグデータソリューション

センサー・マシンからの情報収集
→M2M
急増するデータへの対応
→InfoFrame および InfoFrame DataBooster
様々なデータ処理
それらをワンストップに。

▶ 通信フロー制御

ネットワークのシンプル化
OpenFlow
→スタンフォード大学を中心としたコンソーシアムが規定するNWの規格??
UNIVERCE PFシリーズ

▶ 非構造データの分析

世界No1の指紋認証、顔認証

▶ 機会学習(インバリアンツ解析)

WebSAM invariant analyzer
システムのいつもと違う動きを認識する

▶ ビッグデータに対するデータ処理製品群

3つの階層で定義
分析・メディア解析層
収集・統合層
基盤層

▶ NewSQL

InfoFrame Relational Store
スケールアウトが可能、処理スピードも高いと。

スモールスタート可能
容易なシステム設計
基幹業務にも使用できる高信頼性
→マイクロシャード

▶ Oracleとの協業

1987からOEM契約

2012 運用管理領域で協業強化

今後はビッグデータ領域で協業
インバリアンツ解析の実証実験をOracleと共同で実施

S2-05 11:50-12:35 楽天市場におけるOracle Coherenceの活用:2ndシーズン

最初のフェーズが終わってその後、どうなったのか?

▶ 最近の楽天

楽天スーパーセール
120304
一日130億円の流通を達成
その裏側でも Coherence が動いていた
年間流通総額1兆円
店舗数約4万
楽天の紹介… 技術の話の前置きが長い…

▶ 楽天市場のビジネスモデル

B2Cのプラットフォーム

楽天市場のRMS
店舗構築、商品管理
データ分析、販促ツール
そして、受注処理→これが本題

3つの口
Order API+Coherence
内部的なそう作り変え
しかし、APIのため、それを使用する外部には影響をさせない

あった課題
DBへの負荷集中

  • スケールアップで対応せざるをえなかった

アプリケーションコードの複雑化

目指すゴール
DBとアプリがお互いに影響を及ぼさない疎結合なレイヤー構造

Weblogic
Spring Framework

  • connection pool management
  • transaction
  • pre load
  • Bean management

Coherence

プロジェクトによってもたらされたもの
業務とDBアクセス部分の完全分離
保守性・品質・開発生産性の向上
変化に強いアプリケーション
→Coherence を使ったからではない。ソースが変化に強いのかどうかが重要と個人的には考えている、と。

RDBMSかNoSQLか
インピーダンス・ミスマッチ
Conerence はRDBMSではないので、DOA設計を行うと失敗につながりやすい
DOA+OOAが混在し、設計が複雑になる

ドメイン駆動設計 、DDD
DDDにおけるリポジトリ・オブジェクト

DB前提のシステム構成をどのように Coherenceで改善したか

データ処理のポイント
条件検索
更新トランザクション
複数更新の効率化

キャッシュ定義
アプリケーション側からはDBがみえなくなったため
search cache, order cache, update cache

update cache と DBの間にトランザクション
DBの更新がおわったら、 order cache に put
次回、DBから select しなくてすむ

条件検索
データ量の問題
キャッシュ容量の制限
メモリ容量と対象データ全体量
他のアプリケーションからの更新

search cache ヒット率は0%になるように
order cache キャッシュにあれば、DBにはアクセスがいかないように

更新処理の流れ
キャッシュオブジェクトは複数オブジェクトをひとつに統合している
複数の機能を同時に Update する必要
Coherence の Transaction Map という機能を使用した

トランザクション処理の問題点
putAll() というメソッドを自分たちで実装し解決した
一件更新と一括更新で行うSQLの数が一緒になった

サイジング・構成時のポイント
仕様決定
構成
可用性設計

全体容量計算
業務に求められる維持時間


容量の考え方
KeyとValue 、量、維持期間

維持期間 != ライフサイクル
Coherenceにおける expire-delay の考え方

維持期間=最長ライフサイクル時間
expire-delay=最長参照期間

構成
大量のメモリをもったサーバを少なく配置するか
小さな安価のマシーンを大量に並べるか
→大容量を選んだ

JVM
ヒープ外領域か、ヒープ内領域を使うか
再配置性能 か 容量・GCの影響か

可用性設計
JVM
キャッシュ領域+再配置サイズ

監視
独自のモニタリングツール
キャッシュのモニタリング、Excel??

キャッシュ内データの定期リフレッシュ

S2-31 15:20-16:05 [ビッグデータ] ビッグデータと基幹データを融合し、ビジネスを最大化!Oracle Loader for Hadoop & Big Data オラクル・コーポレーション

Bigdata difinition
ビッグデータの典型的な構成要素
Oracle Big data applience
Oracle NoSQL Database

ビッグデータ:新データに基づいて行動する
将来を見据える

ビッグデータ:課題をビジネスチャンスに
現在と将来のギャップが課題
多様性、大量、複雑、高速
ビッグデータ・プラットフォーム
詳細な分析、高い俊敏性、大規模なスケーラビリティ

ビッグデータの構成要素
取得
→短い、または予想可能なレイテンシー、大量のトランザクション数、柔軟なデータ構造
体系化
→高いスループット、その場での準備、全てのデータソースと構造
分析
→深い分析、迅速な開発、極めて高い拡張性、リアルタイム性

Oracleの統合ソリューション・スタック
Oracle NoSQL DB
HDFS
CDH
Oracleは自分でHadoop Distributionをつくることは選ばず、Clouderaとパートナーになることを選んだ
In-DB analytics R mining text Graph spatial
Oracle BI EE

Big Data Applience
Coudera CDH
HBase / Hive etc
Cloudera Manager
NoSQL DB ( CE / EE )
Big data connector

Oracle Exadata

すべてのデータを取得、体系化、分析
Oracle Bigdata applience ;取得
↓Oracle Bigdata connectors
Oracle Exadata;体系化

Oracle Exalytics;分析

Oracle Big data applience
18 sun X4270 M2 servvers
Cloudera CDH
Cloudera manager
Open source R distribution
Oracle NoSQL data base CE or EE
Oracle Big data connectors

BDA node
Spec of Sun Fire X4279 M2 *
メモリ拡張キット

水平型拡張モデル
Infinibandを用いてラックを接続し拡張
infiiniband top of rack

Oracle bigdata applience SW
Oralce linux 5.6
CDH

CDHを選んだ理由
大規模環境で実証済みであること
Hadoop Community への貢献が著しい

Hadoop SW レイアウト
NNのSPOF
各ノードに含まれるコンポーネントの説明

BIgdata Applience
最適化され完全
Oracle Exadataと統合
すべてのデータを分析
容易な実装
単一ベンダーによるサポート

Oracle NoSQL Database
商用グレード・ソフトウェアとサポート
拡張可能なスループット
シンプルなプログラミングと運用モデル
Oracleの大規模環境でデータストレージオファリングを補完

NoSQLコンフィグレーション
BDAのオプション
三重化で事前構成済み
マスターノードとレプリカ
inconsistent な実装

Oracle Big data connectors
MR を簡素化
Oracle data integrator, Oracle Loader for Hadoop
MR コードを自動生成
プロセス管理
GUIでワークフローをつくるイメージ

Oracle Loader for Hadoop
Shuffle&Sortでトラフィックが大きくなるから、Infinibandを採用
データベースからターゲットのテーブルのメタデータを読み込む
パーティショニング、ソート、データ変換
リデューサー・ノードからData Pumpファイルへ書き込み

Oracle Direct Connector for HDFS
HDFS へのSQLアクセス
外部テーブルビュー
データクエリ、またはインポート
HDFSからOralce DBの間は Infiniband で接続

Oracle R Hadoop Connector
Client, Oracle Big data applience, Oracle Exadata
Native R MR
native R HDFS access

ビッグデータ・ソリューション
Use Case
小売業 Small Mall
買い物客を買い物中にターゲティングして効果的なマーケティングを行う

分析手法の習得は今後必須

QA1: Sqoop と Oracle Loader for Hadoop の違い

Sqoop is general
Oracle loader for Hadoop is specific for oracle

S2-41 16:30-17:15 [ビッグデータ] ビッグデータ時代の統計分析製品−Oracle R Enterprise 日本オラクル

▶ What is R?

統計の計算やグラフ処理を行うためのOSSのプログラミング言語
容易に高品質なグラフ描画が可能

Rexer Analytics Survey 2011
result
the popularity of R SW is growing fast
2011, R became second position of analysis primary tool

グラフの例

Rの課題

  • Memory constrained

メモリが枯渇しやすい

  • Single threaded processing

マルチコア環境でのスケーラビリティが低い

Oracle がなにを提供するのか
Oracle R distribution

  • download free
  • Bundled in Oracle BIg data applience

Oracle R Enterprise

  • Enterprise 向け

Oracle DB内のデータに対してRで透過的なアクセスが可能になる
DB内で演算を実行できる統計エンジン。Oracle側で計算をまわす
Oracle R Connector for Hadoop
BDA上のOracle Hadoop ClusterへのRのインターフェースの提供
HDFS、DB、ファイルシステムへのデータアクセス生成
RのインターフェースからMRを記述および実行可能

Oracle R Enterprise
R と同党の統計機能を提供
RをEnterpriseで利用するための課題を解決
DB内のデータをダイレクトかつ透過的に処理
Rのメモリサイズの制約を廃し、大規模データのとりあつかいを可能に
プログラミングレスで並列処理をDB内で実装可能

Enterprise環境で使えるというベンチマークテストの結果
飛行機の遅延時間を計算
22万件では差はなし
1億件ごえではOracleは処理できたが、Nativeできなかった

How Oracle R Enterprise work
3つのアーキテクチャテクノロジー
Oracle R Enterprise transparency layer
Oracle Statistics Engine
Embedded R Engine
: さっぱりわからんw

Transparency Layer
DBのデータに対してRでダイレクトに処理をさせる
RのデータタイプとOracleのオブジェクトをマッピング
Rコマンドは透過的にSQLに置換される
デスクトップのメモリサイズ以上のデータを処理可能に
資料図解あり
デモあり

ore.connect()
ore.sync()
ore.attach()

ore.ls()

R のIFから Oracle側にはテーブルをつくる
data.frame
ore.create
テーブルを削除
ore.drop

In DB statistics Engine
Oracleのもつ統計関数、分析関数のライブラリの拡張
→ORE function, Base R + alpha
Oracleのスケーラビリティ、並列化機能を享受可能
図解あり
本当にアウトプットさせたいデータのみをクライアント側で読み込む工夫が必要。でないと、ネットワークトラフィックが大量に発生してしまう場合もある→本末転倒

Embedded R Engine
R script の自動実行が可能
R script の並列実行が可能に
→Oracleによって複数のRエンジンを複数のサーバ・ノードで稼働
R script の処理を別途BIシステムから実行可能

R interface function
doEval
tableApply
rowApply
groupApply
indexApply

回帰分析の例

rqEval
rqTableEval

XMLの形式で出力させることも可能
XMLのレイアウトを変更することも可能

Oracle R Hadoop Connector
R 環境からHadoop Connector、HDFS、MRを活用することが可能
RからHadoopへ、HadoopからDBへのデータ移動も可能
コマンドの例あり

S2-52 17:40-18:25 [エンジニアド・システム] 業界初!超高速分析専用マシンOracle Exalyticsの情報活用ソリューション 日本オラクル

Oracle BI

▶ 経営課題に対応するOracleのソリューション

IT上の制約がタイムリーな意思決定を制限していた
ITが複雑であるがゆえに
ITが経営の足をひっぱる?
経営のニーズに応えるのに時間と労力が多分にかかっている

Oracle BI
何が起きたか
なぜおきたか
最適化するか
誰が何をするか
Detect -> Analyze -> Model -> Act

▶ Oracle BI ソリューション全容

表現力、分析能力
モバイルの対応
Essbase 過去の結果分析
BI Applications
Endeca によるデータタイプを問わない分析

製品概要
BI Server
Essbase
Dimension Management
Predictive Analytics
どんなデータソースも取り込むことができる
仮想的に統合することも可能
Microsoft も Netezza も

BI / EPM apps

BI / EPM platform

Data sources

Oracle BIによる豊富な表現力と分析力の提供
ダッシュボード
スコアカード
地図連携
モバイル(Windows用のアプリケーションをつくれば、自動的に iOS にも対応する)
ストラテジーマップ
セキュアサーチ
レポーティング


ダッシュボードで簡単かつあらゆる分析ニーズに対応できる表現力

モバイル対応の重要なポイント
モバイル専用分析ニーズアプリケーション、サーバの構築不要
Oracle BIをスマートデバイス上でそのまま実現
→ソースはひとつでいい
万全なセキュリティモデル

Essbase
シナリオ分析とシミュレーション
多面的な分析が可能
軸のひとつに、変数を変えて分析ができる
将来に対する予測を複数軸でシミュレーションできる

BI Applications
主要なERP、CRM
統合DWH(設計はすでにされている:スタースキーマ)
業種、業務別に事前定義された分析用テンプレート

導入事例
短期導入を実現するテンプレート
導入期間、1.5-3.5 month
アラスカ航空
Compass Bank
MERCK
CharlesSchwab
バイエル薬品


Endeca (最近買収)
企業内情報や市場情報など必要な情報を迅速に分析
構造化データから非構造化データまで
自動的にサーチ、検索、分析するための情報を整理
分析アプリケーションを利用して容易に分析

Oracle Exalytics のメリットと特徴
Exadataとの連携、大量データ高速分析
最新テクノロジーと既存データベースの活用


人間が考えるのと同じスピードで結果分析が返ってくる
インメモリ分析
ExadataとInfinibandの連携による大規模なデータ量にも瞬時の情報可視化

Exaliticsのメモリサイズは1TB
50TBのデータがある場合には、ソースのデータを見に行く必要がでてくる
その間をつなげるのが高速ネットワークがつなぐ

Exalytics はBIをつかうシーンをいかに効率するかを考えたソリューション
BIサーバーHW
データモデル
分析プロセス
プレゼンテーション

Timestenをアドホッククエリに強くなるように改良した

ベンチマークの結果
エンタープライズレベルで思考速度での分析
What-if 分析とフォーキャスティング
エンタープライズ・プランニング

Exalytics HW 1TB memory
...

なぜはやいか?
3つの理由
自動的に結果セットをメモリ上にキャッシュ
パラレル処理の向上
→8パラレルから128パラレルへ
Timestenでメモリ上できちんとデータ管理をするようにしている
→実データを大幅に圧縮してメモリ上にのせている

ヒューリスティック・アダプティブ・インメモリ・キャッシュ
よくアクセスするデータをOracle側が自動的に判断し、キャッシュする

実際にどういう画面なのか?
デモ
新しいUIの提供を Exalyitcs の発表と同時にはじめた
トレリスグラフなど

SUV がなんでダウントレンドなのか?
車の販売に関する分析
:ずっとスピーカーがUSVと間違っていたのが気になった

こちらもあわせてどうぞ

*1:訳が間違ってなくてもニュアンスが違っていたりするので

*2:本当に英語でこう言ってたのか?はそもそも日本語で通訳されたものしか聞けてないのでなんとも言えないですが

*3:やらないでしょうけど…