Apache Arrow - Kouhei Sutou - Rabbit Slide Show

Apache Arrow
須藤功平
株式会社クリアコード
RubyData Tokyo Meetup
2018-11-17
Apache Arrow
Powered by Rabbit 2.2.2

Apache Arrow
各種言語で使える
インメモリー
データ処理
プラットフォーム
Apache Arrow
Powered by Rabbit 2.2.2

提供するもの
✓ 高速なデータフォーマット
✓ 高速なデータ処理ロジック
✓ 各プロダクトで個別に実装するより
一緒にいいものを実装して共有しよう！
✓ 効率的なデータ交換処理
✓ ...
Apache Arrow
Powered by Rabbit 2.2.2

利用例
Apache Arrow提供
分散処理ツール
ワーカー
高速なデータフォーマット
コーディネーター
ワーカー
高速なデータ処理ロジック
ワーカー
効率的なデータ交換処理
データ収集
ツール
Apache Arrow
データ前処理
ツール
クエリー
実行エンジン
可視化
ツール
Powered by Rabbit 2.2.2

大事にすること1
効率的なデータ交換
Apache Arrow
Powered by Rabbit 2.2.2

前提
イマドキの
データ処理システムは
単一コンポーネントで
完結しない
Apache Arrow
Powered by Rabbit 2.2.2

複数コンポーネント
✓ メリット：
✓ コンポーネント毎に適した言語を使える
✓ デメリット：
✓ データ交換が増える（オーバーヘッド）
Apache Arrow
Powered by Rabbit 2.2.2

データ交換コスト
✓ シリアライズコスト
✓ 転送コスト
✓ デシリアライズコスト
Apache Arrow
Powered by Rabbit 2.2.2

コスト例：JSON
シリアライズコスト
[1] -#to_json-> "[1]"
転送コスト
-output#write->
-input#read->
デシリアライズコスト
"[1]" -JSON.parse-> [1]
Apache Arrow
Powered by Rabbit 2.2.2

コスト比較例：JSON
n = 1000000
numbers = n.times.to_a
JSON.dump(numbers, json_file)
JSON.load(json_file)
Apache Arrow
Powered by Rabbit 2.2.2

コスト比較例：Apache Arrow
n = 1000000
numbers = Arrow::Int32Array.new(numbers)
arrow_table = Arrow::Table.new("number" => numbers)
arrow_table.save(arrow_path)
Arrow::Table.load(arrow_path)
Apache Arrow
Powered by Rabbit 2.2.2

コスト比較例
JSON
Apache Arrow
Apache Arrow
実行時間
0.099秒
0.002秒
JSON比
1
1/50
Powered by Rabbit 2.2.2

データ交換コストの影響
✓ コンポーネント数と正の相関
✓ コンポーネントが増えると無視できない
✓ データ量と正の相関
✓ データが多くなると無視できない
Apache Arrow
Powered by Rabbit 2.2.2

まとめ
✓ イマドキのデータ処理システムで
大量データを処理するなら
データ交換コストを無視できない
✓ Apache Arrowはデータ交換コストが低い
✓ 仕組みは後述
Apache Arrow
Powered by Rabbit 2.2.2

大事にすること2
各種言語で使えること
Apache Arrow
Powered by Rabbit 2.2.2

各種言語
Java, C++, Python, C, Ruby,
Lua, JavaScript, Go, Rust,
MATLAB, R, C#
Apache Arrow
Powered by Rabbit 2.2.2

イマドキのデータ処理システム
✓ コンポーネント毎に適した言語を採用
✓ 採用言語でApache Arrowを使えないと
システムでApache Arrowを使えない
✓ Apache Arrowに対応していれば
コンポーネントでその言語を採用しやすい
✓ Railsが活きるコンポーネントでRubyを使うとか
Apache Arrow
Powered by Rabbit 2.2.2

実現方法
✓ ネイティブ実装
✓ Java, C++, JavaScript, Go, Rust, C#
✓ メリット：扱いやすい（インストールが楽とか）
✓ C++実装のバインディング
✓ Python, C, Ruby, Lua, MATLAB, R
✓ メリット：高速・実装の共有
Apache Arrow
Powered by Rabbit 2.2.2

まとめ
✓ Apache Arrowは各種言語で使える
✓ Rubyと他の言語でのデータ交換が楽になる
✓ Ruby実装はC++実装のバインディング
✓ 速い・豊富な機能（C++実装はすごく進んでいる）
Apache Arrow
Powered by Rabbit 2.2.2

大事にすること3
速いこと
Apache Arrow
Powered by Rabbit 2.2.2

速さが必要な理由
大量のデータを
処理するため
ポイント：大量データ前提の設計
Apache Arrow
Powered by Rabbit 2.2.2

速いデータフォーマット
✓ パースせずに使えるデータフォーマット
✓ メモリー上で効率よく扱える並びでデータを配置
✓ パースしなくてよいし、そのまま使っても速い
✓ 既存のデータの並びと互換性あり
✓ 例：NumPyの数値配列と互換
✓ 互換性があるとゼロコピーで使える
Apache Arrow
Powered by Rabbit 2.2.2

速いデータ処理
✓ SIMD・キャッシュメモリー・マルチコアで
高速化
✓ データをアライン・局所化・リードオンリーに
✓ 高速な式評価器
✓ 式：column1 + column2みたいなやつ
ifとかも使える
✓ Gandiva：式をJITコンパイルして実行
Apache Arrow
Powered by Rabbit 2.2.2

$データ処理例：Ruby n = 100000 ruby_table = n.times.collect do { "number1" => rand, "number2" => rand, } end ruby_table.collect do |record| record["number1"] + record["number2"] end Apache Arrow Powered by Rabbit 2.2.2$ データ処理例：Numo::NArray
n = 100000
numo_number1 = Numo::DFloat.new(n).rand
numo_number2 = Numo::DFloat.new(n).rand
numo_number1 + numo_number2
Apache Arrow
Powered by Rabbit 2.2.2

データ処理例：Numo::NArray
n = 100000
numo_number1 = Numo::DFloat.new(n).rand
numo_number2 = Numo::DFloat.new(n).rand
numo_number1 + numo_number2
Apache Arrow
Powered by Rabbit 2.2.2

$データ処理例：Gandiva n = 100000 arrow_number1 = Arrow::DoubleArray.new(n.times.collect {rand}) arrow_number2 = Arrow::DoubleArray.new(n.times.collect {rand}) arrow_table = Arrow::Table.new("number1" => arrow_number1, "number2" => arrow_number2) Apache Arrow Powered by Rabbit 2.2.2$ データ処理例：Gandiva
# 次のリリースまでにいい感じに書けるようにする予定
schema = arrow_table.schema
expression =
Gandiva::Expression.new("add",
[schema[:number1], schema[:number2]],
Arrow::Field.new("sum", :double))
projector = Gandiva::Projector.new(schema, [expression])
arrow_table.each_record_batch do |record_batch|
projector.evaluate(record_batch)
end
Apache Arrow
Powered by Rabbit 2.2.2

データ処理例：Gandiva
# 次のリリースまでにいい感じに書けるようにする予定
schema = arrow_table.schema
expression =
Gandiva::Expression.new("add",
[schema[:number1], schema[:number2]],
Arrow::Field.new("sum", :double))
projector = Gandiva::Projector.new(schema, [expression])
arrow_table.each_record_batch do |record_batch|
projector.evaluate(record_batch)
end
Apache Arrow
Powered by Rabbit 2.2.2

データ処理例
Ruby
Numo::NArray
Gandiva
実行時間
0.010247秒
0.000158秒
0.000459秒
Ruby比
1
1/67
1/25
Numo::NArrayがすごくがんばっている
Apache Arrow
Powered by Rabbit 2.2.2

速いデータ交換
✓ 同一マシン上での交換
✓ メモリーファイルシステム上に置いてmmap
✓ Plasma：データ共有サーバーを動かしてIPC
Inter-Process Communication
✓ 別マシン上での交換
✓ Arrow Flight：gRPCベースのRPCフレームワーク
Apache Arrow
Powered by Rabbit 2.2.2

GPUで速い
✓ Plasma：GPU対応
✓ RAPIDS：NVIDIAのGPUをデータサイエンスで
活用するためのプロジェクト
✓ libgdf：Apache Arrowフォーマットのデータを
GPUで扱うデータフレームライブラリー
Rubyバインディングはまだない
Apache Arrow
Powered by Rabbit 2.2.2

まとめ
✓ Apache Arrowは速い
✓ 速いデータフォーマット
✓ 速いデータ処理（もっと速くなるはず）
✓ 速いデータ交換
✓ 今後、GPUももっと活用していく
Apache Arrow
Powered by Rabbit 2.2.2

Apache Arrowのこれから例
データフォーマットの
相互変換強化
Apache Arrow
Powered by Rabbit 2.2.2

相互変換：Apache Parquet
# Apache Arrow→Apache Parquet
arrow_table.save("data.parquet")
# Apache Parquet→Apache Arrow
Arrow::Table.load("data.parquet")
Apache Arrow
Powered by Rabbit 2.2.2

相互変換：Feather
# Apache Arrow→Feather
arrow_table.save("data.feather")
# Feather→Apache Arrow
Arrow::Table.load("data.feather")
Apache Arrow
Powered by Rabbit 2.2.2

相互変換：Apache ORC
# Apache ORC→Apache Arrow
Arrow::Table.load("data.orc")
Apache Arrow
Powered by Rabbit 2.2.2

相互変換：CSV
# Apache Arrow→CSV
arrow_table.save("data.csv")
# CSV→Apache Arrow
Arrow::Table.load("data.csv")
Apache Arrow
Powered by Rabbit 2.2.2

$CSV読み込み例 # 標準ライブラリー（Ruby実装） CSV.foreach(path) {|row| row} # 拡張ライブラリー Ccsv.foreach(path) {|row| row} # C++実装 Arrow::Table.load(path, use_threads: true) Apache Arrow Powered by Rabbit 2.2.2$ CSV読み込み時間
csv
ccsv
Apache Arrow
Apache Arrow
実行時間
0.818315秒
0.064988秒
0.009030秒
csv比
1
1/13
1/90
Powered by Rabbit 2.2.2

CSV読み込み時間
csv
ccsv
Apache Arrow
Apache Arrow
実行時間
0.818315秒
0.064988秒
0.009030秒
csv比
1
1/13
1/90
Powered by Rabbit 2.2.2

相互変換：Rubyオブジェクト
Rubyバインディング限定
# Active Record→Apache Arrow
User.all.to_arrow
# Numo::NArray→Apache Arrow
narray.to_arrow
# NMatrix→Apache Arrow
matrix.to_arrow
Apache Arrow
Powered by Rabbit 2.2.2

相互変換の今後
✓ JSON→Apache Arrow
✓ Apache Avro→Apache Arrow
Apache Arrow
Powered by Rabbit 2.2.2

Apache Arrowのこれから（もっと）
✓ RDBMS連携強化
✓ PostgreSQL・MySQLでの実行結果を
Apache Arrowフォーマットで返す
✓ テンソルサポート強化
✓ ...
Apache Arrow
Powered by Rabbit 2.2.2

Rubyバインディングの今後
✓ Plasma対応
✓ GandivaバインディングのAPIをいい感じに
✓ バインディングフレームワークの高速化
一緒に開発しようぜ！
Apache Arrow
Powered by Rabbit 2.2.2

Apache ArrowとRubyまわりの今後
✓ libgdfのRubyバインディング開発
✓ gumath/xnd/ndtypesとの連携
一緒に開発しようぜ！
Apache Arrow
Powered by Rabbit 2.2.2

おしらせ1
✓ コード懇親会（今日の懇親会）
✓ 興味がでてきたプロダクトのコードを
一緒に触ってみよう！
✓ 開発に参加したくなるかも！
https://github.com/speee/code-party/tree/
master/rubydata-tokyo-meetup-2018
Apache Arrow
Powered by Rabbit 2.2.2

おしらせ2
✓ OSS Gate東京ミートアップ
for Red Data Tools in Speee
✓ 2018-11-20 19:30-（来週の火曜日）
✓ Red Data Toolsメンバーが開発する集まり
https://speee.connpass.com/event/105237/
Apache Arrow
Powered by Rabbit 2.2.2

おしらせ3
✓ Apache Arrow東京ミートアップ2018
✓ 2018-12-08 13:30-
✓ 目的：開発者を増やす
✓ 対象プロダクト：Apache Arrow、Red Data Tools、
Ruby/Numo、SciRubyなど
https://speee.connpass.com/event/103514/
Apache Arrow
Powered by Rabbit 2.2.2