Cassandra Summit JPN 2014 にいってきた（午前編）

f:id:garage-kid:20140124213315p:plain

今年もブログを書くまでが勉強会ってことで、参加してきた勉強会のメモを公開していきます。

2014 年、最初の今回はCSJPN2014 へいってきました。

わたし自身は Cassandra をほとんど触っていないんですが、チームでは使っているので、仕事を円滑にするために、現状のトレンドをキャッチアップするため、が動機でした。

ちなみに今回からわたしが参加してきた勉強会等のイベントのメモを公開するときには、一日開催されていた勉強会に関しては、午前と午後で二つにわけてメモを公開するようにしていこうと思ってます。

というわけで、このエントリは午前のメモ用のエントリで、~~この後続いて午後のメモ用のエントリを書くつもりです。~~ 午後の分は Cassandra Summit JPN 2014 にいってきた（午後編）に書きました。

ちなみにこのイベント、ハッシュタグらしいものがなさそうだったのでとりあえずそれっぽい #csjpn2014 と #cstk2014 をつけてつぶやいています。

とりあえず、わたしが参加してきたのは以下のセッションです。

午前：

会場 (A): 会場挨拶 INTHEFOREST 登壇者：冨田和孝氏

会場 (A): Cassandra 2.0 and 2.1. (DataStax) 登壇者：Jonathan Ellis 氏

会場 (B): Cassandraを含むシステム全体の可視化とパフォーマンス分析 (タクトシステムズ) 登壇者：菅野正樹氏

午後：

会場 (A): Cassandra's Tunable Consistency (DataStax) 登壇者：Al Tobey 氏

会場 (A): Cassandra100台クラスタを運用して (株式会社サイバーエージェント) 登壇者：oranie(成田俊) 氏

会場 (B): CQL3 Data Modeling (DataStax) 登壇者：森下雄貴氏

そして以降からが、わたしのとってきた各セッションのメモです。

会場 (A): 会場挨拶 INTHEFOREST 登壇者：冨田和孝氏

日本における日本語情報の不足
ただでさえ少ない日本語情報の更新不足
データモデリングの失敗など

＊＊＊＊＊

Cassandra Consortium Japan の設立します日本Cassandra協会 | Cassadndra Consortium Japan
日本語の Cassandra 日本語情報のポータル化を目指します
まだ作ってる最中、201403 をめどに立ち上げる予定
発足準備会
- INTHEFOREST
- ウルシステムズ
- NTT-Communications
- コネクト
今後の Cassandra の勉強会の告知もここで行う

会場 (A): Cassandra 2.0 and 2.1. (DataStax) 登壇者：Jonathan Ellis 氏

5 年以上の Cassandra 経験
Cassandra 使ったことがある方向け

＊＊＊＊＊

Core Values
Masive Scalability
High Performance
Scalability
- plus Ease of Use -> CQL

＊＊＊＊＊

Native Drivers
- Java, .NET, Python, C++, Comming soon (PHP, Ruby)

＊＊＊＊＊

Data DevCenter (supported)

＊＊＊＊＊

Tracing (supported)
- to see what goes on in your cluster
- ex. what happening when insert query was conducted

＊＊＊＊＊

Authentication (supported)
- also support Kerberos auth
- need to create new SUPERUSER

＊＊＊＊＊

Authorization (supported)

＊＊＊＊＊

until above is already supported until 1.2.
Here after new in Cassandra 2.0

＊＊＊＊＊

Lightweight transaction (IF NOT EXIST clause support)
- when Race condition happened to prevent the data bug.
- Above was done by Paxos protocol
- Paxos
- all ops are quorum-based
- Each replica sends info about unfinished ops to the leader during prepare
- Paxos made Simple (paper, recommend to read if you want to know in detal)
- Paxos Detail
- Paxos state is durable
- Immediate consistency with no leader election or FO
- ConsistencyLevel.SERIAL
- Use Paxos with caution (see the slide)

＊＊＊＊＊

CQL improvement
- Cursors (become simple when using CQL)
minor improvement of CQL
- SELECT DISTINCT pk
- CREATE TABLE IF NOT EXIST table
- SELECT ... AS (alias)
- ALTER TABLE DROP column

＊＊＊＊＊

On-Heap/Off-Heap (admin side improvement)
- memory optimization
- Read path (per sstable)
- Off heap in 2.0
- partition index summary
- using Bloom filter
  - and when bloom filter said there is a partition
  - partion key cache -> partition summary -> partiton index -> compression offsets

＊＊＊＊＊

Compaction
- Single-pass, always (no matter how much large the data is, always single-pass)
- LCS performs STCS in L0 (Sad case before this improvement is explained)

＊＊＊＊＊

Rapid read protection (for the performance)
- prevent timeout happened when the failure happen on the particular node
- mild the impact of the failure.
- Also contibute to the latency improvement. -> Latency (mid-compaction)

＊＊＊＊＊

Cassandra 2.1
User Defined Type
- enables Nest Collection
Collection indexing (CONTAINS clause)
HyperLogLog applied
- for Inefficient bloom filters (before compacting hard to know how much big it will be)
- HLL and compaction explanation (maybe happen in 3.0 version not in 2.1)
More-efficient repair
- NW efficiency provided from this feature.
- but not disk IO efficient.
- make need only to see the new update.
Performance improvement
- Memtable mermory use cut by 85%
- larger sstables, less compaction
- -50% better
- Full results after beta1

＊＊＊＊＊

2.1 roadmap
- beta1 Jan
- beta2 Feb
- Final release March

＊＊＊＊＊

QA

Datastax Java Driver
- Java Driver 2 will become available until this April.

所感：

Paxos の Paper は読んでみたい。 Paxos made simple 、11ページほどのようなので、読むだけならそれほど難しくはなさそう。

追記：翻訳：Paxos Made Simple - minghaiの日記すでに訳された方がいた模様。とりあえず、原文の方で読むけれど、とてもありがたい。 - 2014-01-27 14:33