Red Data Tools - Kouhei Sutou - Rabbit Slide Show

Red Data Tools
楽しく実装すればいいじゃんねー
須藤功平
株式会社クリアコード
沖縄Ruby会議02
2018-03-10
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Red Data Tools
プロジェクト
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

実現したいこと
Rubyで
データ処理
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

やっていること
データ処理用の
ツールの開発
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

開発例
✓ 各種フォーマットを扱うgem
✓ Apache Arrow, Apache Parquet, CSV, ...
✓ 各種パッケージの用意
✓ deb, RPM, Homebrew, ...
✓ ...
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

この話の目的
勧誘
一緒に開発しようぜ！
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

勧誘方法
✓ プロジェクトのポリシーを紹介
✓ 一緒に活動したくなる！
✓ 開発の具体例を紹介
✓ 一緒に開発したくなる！
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

ポリシー1
Rubyコミュニティーを
超えて協力する
もちろんRubyコミュニティーとも協力する
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Rubyに閉じずに協力
✓ 他の言語は敵ではない
✓ 他の言語がよくなることは
Rubyがなにかを失うことではない
✓ みんなよくなったらいいじゃん
✓ Rubyも他の言語も
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

協力例
Apache Arrow
✓ Pythonの人達他と一緒に
C/C++のライブラリーを開発
✓ それぞれでバインディングを開発
✓ それぞれで同じライブラリーを活用
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

ポリシー2
非難することよりも
手を動かすことが大事
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

非難しない
そんなことを
している
時間はない
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

手を動かす
✓ これ、よくないなー
✓ よくすればいいじゃんねー
✓ これがないからなー
✓ 作ればいいじゃんねー
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

ポリシー3
一回だけの活発な活動より
小さくても
継続的に活動することが
大事
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

一回だけの活発な活動
✓ ○○作ったよ！どーん！
✓ すごい！
✓ …数年後…今動かないんだよね…
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

継続的な活動
✓ ちまちま○○作ってるんだー！
✓ がんばってね！今後に期待！
✓ …数年後…これは…使える！
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

継続的な活動のために
✓ がんばり過ぎない
✓ 短距離走ではなくマラソン
✓ 途中で休んだっていい
✓ 1人で抱え込まない
✓ みんなでやれば途中で休みやすい
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

ポリシー4
現時点での知識不足は
問題ではない
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

知識不足？
✓ 高速な実装の実現
✓ プログラミング・数学などの
高度な知識は便利
✓ 今すごい人でも
最初はなにも知らなかった
✓ 「今知らないこと」は
「始めない理由」にはならない
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

私たちは学べる
✓ 知識は身につく
✓ 活動していく中で自然と
✓ 学び方
✓ OSSの既存実装から学習
✓ ドキュメントを読む
✓ 他の人から教えてもらう
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

ポリシー5
部外者からの非難は
気にしない
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

部外者からの非難
✓ Rubyで頑張ってもアレだよねー
とか
✓ 無視する
✓ 対応している時間はない
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

ポリシー6
楽しくやろう！
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

楽しむ
使っているのは
Rubyだから！
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

ポリシー
✓ Ruby外とも協力
✓ 非難するより手を動かす
✓ 継続的な活動
✓ 知識不足は問題ない
✓ 外からの非難は気にしない
✓ 楽しくやろう！
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

開発例
✓ ツールの紹介ではない
✓ 実装の紹介
✓ 開発中におっと思ったやつとか
✓ 紹介したいやつとか
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

開発例1
csv
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

csv
✓ CSVの読み書きライブラリー
✓ 2003年から標準添付
✓ 2018年からメンテナンスを引取
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

digを追加したとき
https://github.com/ruby/csv/pull/15
✓ CSV::Table#dig
✓ CSV::Row#dig
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

digの作り方
def dig(index, *indexes)
# ここだけ違う
value = find_value(index)
# ↓は共通
return nil if value.nil?
return value if indexes.empty?
value.dig(*indexes)
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

CSV::Rowでのfind_value
row[index] # => field value
digの中ではselfの[]を呼べばよい
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

[]の呼び方
def dig(index, *indexes)
# インスタンスメソッドでは
# selfを省略できるからこう？
value = [index]
# ↑は配列リテラル
# ...
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

[]の呼び方
def dig(index, *indexes)
# こういうときこそsendで
# メソッド呼び出し
value = send(:[], index)
# 動く
# ...
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

[]の呼び方
def dig(index, *indexes)
# row[index]みたいに書けば
# よかった
value = self[index]
# もちろん動く
# ...
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

selfの[]の呼び方
✓ 自分も昔悩んだ気がする
✓ 懐かしかったので紹介
✓ みんなで開発🠊気づきやすい
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

開発例2
Red Datasets
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Red Datasets
✓ データを簡単に使えるように！
✓ 実験・開発に便利
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

例：日本語データ欲しい！
require "datasets"
# 日本語版Wikipediaの記事データ
options = {language: :ja, type: :articles}
dataset = Datasets::Wikipedia.new(options)
dataset.each do |page| # 全ページを順に処理
p page.title
# タイトル
p page.revision.text # 本文
end
# インターフェイスがeachなのがカッコいいんだよ！
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

実装方法
1. データのダウンロード
2. データのパース
3. 順にyield
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

ダウンロード
require "open-uri"
open("https://...") do |input|
File.open("...", "wb") do |output|
IO.copy_stream(input, output)
end
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

途中でエラーになったら？
やり直し
または
再開
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

再開
HTTP
range request
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

HTTP range request
✓ リクエスト
✓ Range: bytes=#{start}-
✓ レスポンス
✓ 206 Partial Content
✓ Content-Range: bytes ...
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

open-uriとrange request
✓ open-uriはrange request未対応
✓ 出力無関係のAPIだからしょうがない
✓ どうなるのがいいだろう？
✓ 今度田中さんに相談しよう
✓ Red Data ToolsはRubyもよくしたい
ポリシー1：コミュニティーを超えて協力
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

$open-uriでrange request # 文字列キーはHTTPヘッダーになる options = {"Range" => "bytes=#{start}-"} open("...", options) do |input| # レスポンスが200か206かはわからない File.open("...", "ab") do |output| IO.copy_stream(input, output) end end Red Data Tools - 楽しく実装すればいいじゃんねー Powered by Rabbit 2.2.2$ 大きなデータの扱い
✓ 時間がかかる
✓ あとどのくらいか気になる
✓ ちゃんと動いているよね…？
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

大きなデータの扱い
✓ 時間がかかる
✓ あとどのくらいか気になる
✓ ちゃんと動いているよね…？
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

あとどのくらい？
プログレスバー
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

$プログレスバーの実装 n = 40 1.upto(n) do |i| print("\r|%-*s|" % [n, "*" * i]) sleep(0.1) end puts Red Data Tools - 楽しく実装すればいいじゃんねー Powered by Rabbit 2.2.2$ sprintfフォーマット
%-*s
✓ %：フォーマット開始
✓ -：左詰め
✓ *：引数で幅を指定
✓ s：対象は文字列
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

sprintfフォーマット
%-*s
✓ %：フォーマット開始
✓ -：左詰め
✓ *：引数で幅を指定
✓ s：対象は文字列
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

sprintfフォーマット
"%-*s" % [n, "*" * i]
✓ 幅はn桁
✓ "*" * iを左詰め
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

$open-uriでプログレスバー length = nil progress = lambda do |current| ratio = current / length.to_f print("\r|%-10s|" % ["*" * (ratio * 10).ceil]) end open(uri, content_length_proc: ->(l) {length = l}, progress_proc: progress) do |input| # ... end puts Red Data Tools - 楽しく実装すればいいじゃんねー Powered by Rabbit 2.2.2$ もっとプログレスバー
✓ バックグランド化したら？
✓ 表示して欲しくない
ヒント：プロセスグループ
✓ リダイレクトしているときは？
✓ 表示して欲しくない
ヒント：IO#tty?
✓ プログレスバーの表示幅は？
ヒント：io/console/size
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

もっとプログレスバー
✓ バックグランド化したら？
✓ 表示して欲しくない
ヒント：プロセスグループ
✓ リダイレクトしているときは？
✓ 表示して欲しくない
ヒント：IO#tty?
✓ プログレスバーの表示幅は？
ヒント：io/console/size
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

開発例3
Apache Arrow
Red Arrow
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Apache Arrow
✓ インメモリーデータ分析用
データフォーマット
ほぼ固まってきた
✓ インメモリーデータ分析用
高速なデータ操作実装
徐々に実装が始まっている
✓ 今、すごくアツい！
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Apache Arrowの特徴
データ交換コストが低い
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

低データ交換コスト
✓ 複数システムで協力しやすい
✓ Rubyでデータ取得🠊Pythonで分析
✓ 徐々にRubyを使えるところを
増やせる
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Apache Arrowの利用例
✓ Scala
Python
✓ Apache Spark
✓ CPU
GPU
✓ https://github.com/gpuopenanalytics/libgdf
✓ CPU
FPGA
✓ https://github.com/johanpel/fletcher
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Apache ArrowをRubyでも！
✓ バインディングを本体で開発
✓ 本体の開発チームに入った
✓ GObject Introspection(GI)を利用
✓ GIを使うとRuby以外のバインディングも
自動生成できる
ポリシー1：コミュニティーを超えて協力
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Red Arrow
✓ Apache Arrowの
Rubyバインディング
✓ GIベースのバインディングに
Ruby特有の機能をプラス
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Ruby特有の機能例
スライスAPI
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

スライス
データの一部を切り出す
(0..10).to_a.slice(2)
# => 2
(0..10).to_a.slice(2..4)
# => [2, 3, 4]
(0..10).to_a.slice(2, 4)
# => [2, 3, 4, 5]
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Red Arrowのスライス
table.slice(2)
# 2行目だけのテーブル
# Array#sliceと違う
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Red Arrowのスライス
table.slice(2..4)
# 2,3,4行目だけのテーブル
# Array#sliceと同じ
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Red Arrowのスライス
table.slice(2, 4)
# 2,4行目だけのテーブル
# Array#sliceと違う
table.slice(2, 4, 6, 8)
# 2,4,6,8行目だけのテーブル
# Array#sliceと違う
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Red Arrowのスライス
table.slice([2, 4])
# 2,3,4,5行目だけのテーブル
# Array#slice(2, 4)と同じ
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Red Arrowのスライス
table.slice([true, false] * 5)
# 0,2,4,6,8行目だけのテーブル
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Red Arrowのスライス
table.slice do |slicer|
slicer.price >= 500
end
# priceカラムの値が500以上の
# 行だけのテーブル
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Red Arrowのスライス
table.slice do |slicer|
(slicer.price >= 500) &
(slicer.is_published)
end
# priceカラムの値が500以上かつ
# is_publishedカラムの値がtrueの
# 行だけのテーブル
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Red Arrowのスライス
Active Recordみたいなfluent intefaceより
もブロック内で式を書く方がRubyっぽいん
じゃないかと思うんだよねー
fluent interfaceはORを書きにくいからさー
Fluent interface:
http://bliki-ja.github.io/FluentInterface/
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

$ブロック内で条件式 class Arrow::Table # table.slice {|slicer| ...}の実現 def slice(*slicers) if block_given? slicer = yield(Slicer.new(self)) slicers << slicer.evaluate end # ... end end Red Data Tools - 楽しく実装すればいいじゃんねー Powered by Rabbit 2.2.2$ ブロック内で条件式
class Arrow::Slicer
def initialize(table)
@table = table
end
# slicer.priceの実現
def method_missing(name, *args, &block)
ColumnCondition.new(@table[name])
end
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

ブロック内で条件式
class Arrow::Slicer
def initialize(table)
@table = table
end
# slicer.priceの実現
def method_missing(name, *args, &block)
ColumnCondition.new(@table[name])
end
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

ブロック内で条件式
class ColumnCondition < Condition
def initialize(column)
@column = column
end
# slicer.price >= 500の実現
def >=(value)
GreaterEqualCondition.new(@column, value)
end
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

ブロック内で条件式
class GreaterEqualCondition < Condition
def initialize(column, value)
@column = column
@value = value
end
# slicer.price >= 500を評価
def evaluate
# ホントはC++で実装
@column.collect {|value| value >= @value}
end
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

ブロック内で条件式
class Condition
# (slicer.price >= 500) & (...)の実現
def &(condition)
AndCondition.new(self, condition)
end
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

条件式のポイント
✓ 遅延評価
✓
各要素毎にブロックを評価
✓ ブロックは一回だけ評価
✓ ブロックで指定した条件は
コンパイルしてC++実装で実行
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Red Arrowと外の世界
✓ ハブになるといいかも！
✓ 各種データと変換可能に
✓ 各種オブジェクトと変換可能に
✓ Ruby間の連携を推進
✓ 今は互換性がないライブラリー
🠊連携できるように！
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

データ変換
✓ Arrow::Table.load
✓ データの読み込み
✓ Arrow::Table#save
✓ データの書き出し
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

データ変換例
# CSVを読み込んで
table = Arrow::Table.load("a.csv")
# Arrowで保存
table.save("a.arrow")
# Parquetで保存
table.save("a.parquet")
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

CSVの読み込み
✓ CSVは広く使われている
✓ CSVなデータを簡単に使えると捗る
✓ 難しいところ
✓ データ定義が緩い
例：カラムの型情報がない
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Red Arrowでの読み込み
✓ 2パスで処理
a. 全部処理して各カラムの型を推定
b. 推定した型でArrowのデータに変換
✓
時間がかかる
✓ 読み込んだデータを別の形式に変換して再利用す
る使い方を想定
だから、まぁ、いいかなぁって
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

型の推定
candidate = nil
column.each do |value|
case value
when nil; next # ignore
when "true", "false", true, false; c = :boolean
when Integer; c = :integer
# ...
else; c = :string # わからなかったら文字列
end
candidate ||= c
candidate = :string if candidate != c # 混ざったら文字列
break if candidate == :string # 文字列なら終わり
end
candidate || :string # わからなかったら文字列
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

オブジェクト変換
✓ Numo::NArray, NMatrix
✓ 既存の多次元配列オブジェクト
✓ PyCall経由でPyArrow
✓ Rubyでデータ作成🠊Pythonで処理
✓ GDK Pixbuf
✓ 画像オブジェクト
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

オブジェクト変換例1
# PNG画像を読み込み
pixbuf = GdkPixbuf::Pixbuf.new(file: "a.png")
# Arrow経由でNumo::NArrayに変換
narray = pixbuf.to_arrow.to_narray
# 不透明に（アルファ値（透明度）を0xffに）
narray[true, true, 3] = 0xff
# Arrow経由でGdkPixbuf::Pixbufに変換
no_alpha_pixbuf = narray.to_arrow.to_pixbuf
# GIF画像として保存
no_alpha_pixbuf.save(filename: "a-no-alpha.gif")
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Pixbuf→Arrow
class GdkPixbuf::Pixbuf
def to_arrow
bytes = read_pixel_bytes # ピクセル値
buffer = Arrow::Buffer.new(bytes)
# 高さ、幅、チャンネル数の3次元配列
# チャンネル数：RGBAだと4チャンネル
shape = [height, width, n_channels]
# バイト列なのでUInt8
Arrow::Tensor.new(Arrow::UInt8DataType.new,
buffer, shape)
end
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

ゼロコピーの実現
✓ ゼロコピー
✓ 同じメモリー領域を参照し、
コピーせずに同じデータを利用
✓ 速い！！！
✓ データ
✓ バイト列へのポインター
✓ RubyではRSTRING_PTR(string)
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Stringとゼロコピー
/* pointerの内容をコピー */
rb_str_new(pointer, size);
/* pointerの内容を参照：ゼロコピー */
rb_str_new_static(pointer, size);
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

StringとゼロコピーとGC
arrow_data = /* ... */;
/* ゼロコピー */
rb_str_new_static(arrow_data, size);
/* arrow_dataはいつ、だれが開放？ */
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Rubyでゼロコピー
✓
rb_str_new_static()だけ
✓ メモリー管理できない
✓ メモリー管理する何かが必要
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Red Arrowでゼロコピー
✓ GBytesを利用
✓ GBytes
✓ GLib提供のバイト列オブジェクト
✓ リファレンスカウントあり
✓ RubyだとGLib::Bytes
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

$GLib::Bytes#to_s static VALUE rgbytes_to_s(VALUE self) { GBytes *bytes = RVAL2BOXED(self, G_TYPE_BYTES); gsize size; gconstpointer data = g_bytes_get_data(bytes, &size); /* ゼロコピーでASCII-8BITな文字列を生成 */ VALUE rb_data = rb_enc_str_new_static( data, size, rb_ascii8bit_encoding()); rb_iv_set(rb_data, "@bytes", self); /* GC対策 */ return rb_data; } Red Data Tools - 楽しく実装すればいいじゃんねー Powered by Rabbit 2.2.2$ $GLib::Bytes#initialize static VALUE rgbytes_initialize(VALUE self, VALUE rb_data) { const char *pointer = RSTRING_PTR(rb_data); long size = RSTRING_LEN(rb_data); GBytes *bytes; if (RB_OBJ_FROZEN(rb_data)) { /* ゼロコピー */ bytes = g_bytes_new_static(pointer, size); rb_iv_set(self, "source", rb_data); /* GC対策 */ } else { /* コピー */ bytes = g_bytes_new(pointer, size); } G_INITIALIZE(self, bytes); return Qnil; } Red Data Tools - 楽しく実装すればいいじゃんねー Powered by Rabbit 2.2.2$ GBytesはすでに使っていた
class GdkPixbuf::Pixbuf
def to_arrow
# ピクセル値はGLib::Bytes
bytes = read_pixel_bytes
buffer = Arrow::Buffer.new(bytes)
shape = [height, width, n_channels]
Arrow::Tensor.new(Arrow::UInt8DataType.new,
buffer,
shape)
end
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

GBytesはすでに使っていた
class GdkPixbuf::Pixbuf
def to_arrow
# ピクセル値はGLib::Bytes
bytes = read_pixel_bytes
buffer = Arrow::Buffer.new(bytes)
shape = [height, width, n_channels]
Arrow::Tensor.new(Arrow::UInt8DataType.new,
buffer,
shape)
end
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

オブジェクト変換例2
# RelationをArrow形式に
users = User
.where("age >= ?", 20)
.to_arrow
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Relation→Arrow
module ArrowActiveRecord::Arrowable
def to_arrow(batch_size: 10000)
in_batches(of: batch_size).each do |relation|
column_values_set = relation.pluck(*column_names).transpose
data_types.each_with_index do |data_type, i|
column_values = column_values_set[i]
arrow_batches[i] << build_arrow_array(column_values, data_type)
end
end
# ...
Arrow::Table.new(...)
end
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Red Chainer
ChainerのRuby移植
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Chainer
✓ 深層学習フレームワーク
✓ Pythonのみで実装
✓ 移植しやすい
✓ Pythonのみで実装されているから
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Red Chainerサンプル
model = Chainer::Links::Model::Classifier.new(MLP.new(args[:unit], 10))
optimizer = Chainer::Optimizers::Adam.new
optimizer.setup(model)
train, test = Chainer::Datasets::Mnist.get_mnist
train_iter = Chainer::Iterators::SerialIterator.new(train, args[:batchsize])
test_iter = Chainer::Iterators::SerialIterator.new(test, args[:batchsize], repeat: false, shuffle: false)
# ...
横に長い
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Chainerのサンプル
import chainer
import chainer.links as L
model = L.Classifier(MLP(args.unit, 10))
optimizer = chainer.optimizers.Adam()
optimizer.setup(model)
train, test = chainer.datasets.get_mnist()
train_iter = chainer.iterators.SerialIterator(train, args.batchsize)
test_iter = chainer.iterators.SerialIterator(test, args.batchsize,
repeat=False, shuffle=False)
こっちも横に長い
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Pythonでの短く仕方
# 通常
import chainer
model = chainer.links.Classifier(MLP(args.unit, 10))
# Lでショートカット
import chainer.links as L
model = L.Classifier(MLP(args.unit, 10))
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Rubyでの短く仕方
# 通常
model = Chainer::Links::Model::Classifier.new(...)
# Lでショートカット
L = Chainer::Links
model = L::Model::Classifier.new(...)
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

PythonとRubyの違い
✓ Python
✓ ファイル内でだけLが有効
✓ ファイル単位でネームスペース
✓ Ruby
✓ グローバルにLが有効
✓ 微妙！
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Rubyらしく短く
# Rubyのネームスペースの仕組みはモジュール
Module.new do
include Chainer::Links
model = Model::Classifier.new(...)
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

開発したくなった？
✓ 楽しそう！
✓ 一緒に開発しようぜ！
✓ やっぱRubyでデータ扱いたい！
✓ 一緒に開発しようぜ！
✓ レベルアップしたい！
✓ 一緒に開発しようぜ！
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

レベルアップへの道
✓NG集をたくさん覚える
✓よいコードにたくさん触れる
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

よいコード
Red Data Toolsに
たくさんある！
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

一緒に開発
どこからでもオンラインで
✓
✓ GitHubとGitter（チャット）を使用
東京は月一オフラインで
✓
✓
「OSS Gate Red Data Tools」
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2

Join Red Data Tools!
✓ Webサイト
✓ https://red-data-tools.github.io/ja/
✓ Gitter（チャット）
✓ https://gitter.im/red-data-tools/ja
✓ GitHub
✓ https://github.com/red-data-tools/
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2