Text
Page: 1
Red Data Tools
楽しく実装すればいいじゃんねー
須藤功平
株式会社クリアコード
沖縄Ruby会議02
2018-03-10
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 2
Red Data Tools
プロジェクト
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 3
実現したいこと
Rubyで
データ処理
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 4
やっていること
データ処理用の
ツールの開発
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 5
開発例
✓ 各種フォーマットを扱うgem
✓ Apache Arrow, Apache Parquet, CSV, ...
✓ 各種パッケージの用意
✓ deb, RPM, Homebrew, ...
✓ ...
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 6
この話の目的
勧誘
一緒に開発しようぜ！
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 7
勧誘方法
✓ プロジェクトのポリシーを紹介
✓ 一緒に活動したくなる！
✓ 開発の具体例を紹介
✓ 一緒に開発したくなる！
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 8
ポリシー1
Rubyコミュニティーを
超えて協力する
もちろんRubyコミュニティーとも協力する
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 9
Rubyに閉じずに協力
✓ 他の言語は敵ではない
✓ 他の言語がよくなることは
Rubyがなにかを失うことではない
✓ みんなよくなったらいいじゃん
✓ Rubyも他の言語も
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 10
協力例
Apache Arrow
✓ Pythonの人達他と一緒に
C/C++のライブラリーを開発
✓ それぞれでバインディングを開発
✓ それぞれで同じライブラリーを活用
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 11
ポリシー2
非難することよりも
手を動かすことが大事
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 12
非難しない
そんなことを
している
時間はない
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 13
手を動かす
✓ これ、よくないなー
✓ よくすればいいじゃんねー
✓ これがないからなー
✓ 作ればいいじゃんねー
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 14
ポリシー3
一回だけの活発な活動より
小さくても
継続的に活動することが
大事
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 15
一回だけの活発な活動
✓ ○○作ったよ！どーん！
✓ すごい！
✓ …数年後… 今動かないんだよね…
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 16
継続的な活動
✓ ちまちま○○作ってるんだー！
✓ がんばってね！今後に期待！
✓ …数年後… これは…使える！
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 17
継続的な活動のために
✓ がんばり過ぎない
✓ 短距離走ではなくマラソン
✓ 途中で休んだっていい
✓ 1人で抱え込まない
✓ みんなでやれば途中で休みやすい
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 18
ポリシー4
現時点での知識不足は
問題ではない
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 19
知識不足？
✓ 高速な実装の実現
✓ プログラミング・数学などの
高度な知識は便利
✓ 今すごい人でも
最初はなにも知らなかった
✓ 「今知らないこと」は
「始めない理由」にはならない
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 20
私たちは学べる
✓ 知識は身につく
✓ 活動していく中で自然と
✓ 学び方
✓ OSSの既存実装から学習
✓ ドキュメントを読む
✓ 他の人から教えてもらう
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 21
ポリシー5
部外者からの非難は
気にしない
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 22
部外者からの非難
✓ Rubyで頑張ってもアレだよねー
とか
✓ 無視する
✓ 対応している時間はない
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 23
ポリシー6
楽しくやろう！
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 24
楽しむ
使っているのは
Rubyだから！
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 25
ポリシー
✓ Ruby外とも協力
✓ 非難するより手を動かす
✓ 継続的な活動
✓ 知識不足は問題ない
✓ 外からの非難は気にしない
✓ 楽しくやろう！
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 26
開発例
✓ ツールの紹介ではない
✓ 実装の紹介
✓ 開発中におっと思ったやつとか
✓ 紹介したいやつとか
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 27
開発例1
csv
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 28
csv
✓ CSVの読み書きライブラリー
✓ 2003年から標準添付
✓ 2018年からメンテナンスを引取
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 29
digを追加したとき
https://github.com/ruby/csv/pull/15
✓ CSV::Table#dig
✓ CSV::Row#dig
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 30
digの作り方
def dig(index, *indexes)
# ここだけ違う
value = find_value(index)
# ↓は共通
return nil if value.nil?
return value if indexes.empty?
value.dig(*indexes)
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 31
CSV::Rowでのfind_value
row[index] # => field value
digの中ではselfの[]を呼べばよい
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 32
[]の呼び方
def dig(index, *indexes)
# インスタンスメソッドでは
# selfを省略できるからこう？
value = [index]
# ↑は配列リテラル
# ...
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 33
[]の呼び方
def dig(index, *indexes)
# こういうときこそsendで
# メソッド呼び出し
value = send(:[], index)
# 動く
# ...
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 34
[]の呼び方
def dig(index, *indexes)
# row[index]みたいに書けば
# よかった
value = self[index]
# もちろん動く
# ...
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 35
selfの[]の呼び方
✓ 自分も昔悩んだ気がする
✓ 懐かしかったので紹介
✓ みんなで開発🠊気づきやすい
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 36
開発例2
Red Datasets
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 37
Red Datasets
✓ データを簡単に使えるように！
✓ 実験・開発に便利
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 38
例：日本語データ欲しい！
require "datasets"
# 日本語版Wikipediaの記事データ
options = {language: :ja, type: :articles}
dataset = Datasets::Wikipedia.new(options)
dataset.each do |page| # 全ページを順に処理
p page.title
# タイトル
p page.revision.text # 本文
end
# インターフェイスがeachなのがカッコいいんだよ！
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 39
実装方法
1. データのダウンロード
2. データのパース
3. 順にyield
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 40
ダウンロード
require "open-uri"
open("https://...") do |input|
File.open("...", "wb") do |output|
IO.copy_stream(input, output)
end
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 41
途中でエラーになったら？
やり直し
または
再開
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 42
再開
HTTP
range request
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 43
HTTP range request
✓ リクエスト
✓ Range: bytes=#{start}-
✓ レスポンス
✓ 206 Partial Content
✓ Content-Range: bytes ...
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 44
open-uriとrange request
✓ open-uriはrange request未対応
✓ 出力無関係のAPIだからしょうがない
✓ どうなるのがいいだろう？
✓ 今度田中さんに相談しよう
✓ Red Data ToolsはRubyもよくしたい
ポリシー1：コミュニティーを超えて協力
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 45
open-uriでrange request
# 文字列キーはHTTPヘッダーになる
options = {"Range" => "bytes=#{start}-"}
open("...", options) do |input|
# レスポンスが200か206かはわからない
File.open("...", "ab") do |output|
IO.copy_stream(input, output)
end
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 46
大きなデータの扱い
✓ 時間がかかる
✓ あとどのくらいか気になる
✓ ちゃんと動いているよね…？
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 47
あとどのくらい？
プログレスバー
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 48
プログレスバーの実装
n = 40
1.upto(n) do |i|
print("\r|%-*s|" % [n, "*" * i])
sleep(0.1)
end
puts
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 49
sprintfフォーマット
%-*s
✓ %：フォーマット開始
✓ -：左詰め
✓ *：引数で幅を指定
✓ s：対象は文字列
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 50
sprintfフォーマット
"%-*s" % [n, "*" * i]
✓ 幅はn桁
✓ "*" * iを左詰め
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 51
open-uriでプログレスバー
length = nil
progress = lambda do |current|
ratio = current / length.to_f
print("\r|%-10s|" % ["*" * (ratio * 10).ceil])
end
open(uri,
content_length_proc: ->(l) {length = l},
progress_proc: progress) do |input|
# ...
end
puts
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 52
もっとプログレスバー
✓ バックグランド化したら？
✓ 表示して欲しくない
ヒント：プロセスグループ
✓ リダイレクトしているときは？
✓ 表示して欲しくない
ヒント：IO#tty?
✓ プログレスバーの表示幅は？
ヒント：io/console/size
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 53
開発例3
Apache Arrow
Red Arrow
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 54
Apache Arrow
✓ インメモリーデータ分析用
データフォーマット
ほぼ固まってきた
✓ インメモリーデータ分析用
高速なデータ操作実装
徐々に実装が始まっている
✓ 今、すごくアツい！
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 55
Apache Arrowの特徴
データ交換コストが低い
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 56
低データ交換コスト
✓ 複数システムで協力しやすい
✓ Rubyでデータ取得🠊Pythonで分析
✓ 徐々にRubyを使えるところを
増やせる
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 57
Apache Arrowの利用例
✓ Scala
Python
✓ Apache Spark
✓ CPU
GPU
✓ https://github.com/gpuopenanalytics/libgdf
✓ CPU
FPGA
✓ https://github.com/johanpel/fletcher
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 58
Apache ArrowをRubyでも！
✓ バインディングを本体で開発
✓ 本体の開発チームに入った
✓ GObject Introspection(GI)を利用
✓ GIを使うとRuby以外のバインディングも
自動生成できる
ポリシー1：コミュニティーを超えて協力
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 59
Red Arrow
✓ Apache Arrowの
Rubyバインディング
✓ GIベースのバインディングに
Ruby特有の機能をプラス
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 60
Ruby特有の機能例
スライスAPI
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 61
スライス
データの一部を切り出す
(0..10).to_a.slice(2)
# => 2
(0..10).to_a.slice(2..4)
# => [2, 3, 4]
(0..10).to_a.slice(2, 4)
# => [2, 3, 4, 5]
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 62
Red Arrowのスライス
table.slice(2)
# 2行目だけのテーブル
# Array#sliceと違う
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 63
Red Arrowのスライス
table.slice(2..4)
# 2,3,4行目だけのテーブル
# Array#sliceと同じ
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 64
Red Arrowのスライス
table.slice(2, 4)
# 2,4行目だけのテーブル
# Array#sliceと違う
table.slice(2, 4, 6, 8)
# 2,4,6,8行目だけのテーブル
# Array#sliceと違う
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 65
Red Arrowのスライス
table.slice([2, 4])
# 2,3,4,5行目だけのテーブル
# Array#slice(2, 4)と同じ
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 66
Red Arrowのスライス
table.slice([true, false] * 5)
# 0,2,4,6,8行目だけのテーブル
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 67
Red Arrowのスライス
table.slice do |slicer|
slicer.price >= 500
end
# priceカラムの値が500以上の
# 行だけのテーブル
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 68
Red Arrowのスライス
table.slice do |slicer|
(slicer.price >= 500) &
(slicer.is_published)
end
# priceカラムの値が500以上かつ
# is_publishedカラムの値がtrueの
# 行だけのテーブル
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 69
Red Arrowのスライス
Active Recordみたいなfluent intefaceより
もブロック内で式を書く方がRubyっぽいん
じゃないかと思うんだよねー
fluent interfaceはORを書きにくいからさー
Fluent interface:
http://bliki-ja.github.io/FluentInterface/
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 70
ブロック内で条件式
class Arrow::Table
# table.slice {|slicer| ...}の実現
def slice(*slicers)
if block_given?
slicer = yield(Slicer.new(self))
slicers << slicer.evaluate
end
# ...
end
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 71
ブロック内で条件式
class Arrow::Slicer
def initialize(table)
@table = table
end
# slicer.priceの実現
def method_missing(name, *args, &block)
ColumnCondition.new(@table[name])
end
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 72
ブロック内で条件式
class ColumnCondition < Condition
def initialize(column)
@column = column
end
# slicer.price >= 500の実現
def >=(value)
GreaterEqualCondition.new(@column, value)
end
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 73
ブロック内で条件式
class GreaterEqualCondition < Condition
def initialize(column, value)
@column = column
@value = value
end
# slicer.price >= 500を評価
def evaluate
# ホントはC++で実装
@column.collect {|value| value >= @value}
end
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 74
ブロック内で条件式
class Condition
# (slicer.price >= 500) & (...)の実現
def &(condition)
AndCondition.new(self, condition)
end
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 75
条件式のポイント
✓ 遅延評価
✓
各要素毎にブロックを評価
✓ ブロックは一回だけ評価
✓ ブロックで指定した条件は
コンパイルしてC++実装で実行
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 76
Red Arrowと外の世界
✓ ハブになるといいかも！
✓ 各種データと変換可能に
✓ 各種オブジェクトと変換可能に
✓ Ruby間の連携を推進
✓ 今は互換性がないライブラリー
🠊連携できるように！
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 77
データ変換
✓ Arrow::Table.load
✓ データの読み込み
✓ Arrow::Table#save
✓ データの書き出し
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 78
データ変換例
# CSVを読み込んで
table = Arrow::Table.load("a.csv")
# Arrowで保存
table.save("a.arrow")
# Parquetで保存
table.save("a.parquet")
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 79
CSVの読み込み
✓ CSVは広く使われている
✓ CSVなデータを簡単に使えると捗る
✓ 難しいところ
✓ データ定義が緩い
例：カラムの型情報がない
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 80
Red Arrowでの読み込み
✓ 2パスで処理
a. 全部処理して各カラムの型を推定
b. 推定した型でArrowのデータに変換
✓
時間がかかる
✓ 読み込んだデータを別の形式に変換して再利用す
る使い方を想定
だから、まぁ、いいかなぁって
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 81
型の推定
candidate = nil
column.each do |value|
case value
when nil; next # ignore
when "true", "false", true, false; c = :boolean
when Integer; c = :integer
# ...
else; c = :string # わからなかったら文字列
end
candidate ||= c
candidate = :string if candidate != c # 混ざったら文字列
break if candidate == :string # 文字列なら終わり
end
candidate || :string # わからなかったら文字列
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 82
オブジェクト変換
✓ Numo::NArray, NMatrix
✓ 既存の多次元配列オブジェクト
✓ PyCall経由でPyArrow
✓ Rubyでデータ作成🠊Pythonで処理
✓ GDK Pixbuf
✓ 画像オブジェクト
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 83
オブジェクト変換例1
# PNG画像を読み込み
pixbuf = GdkPixbuf::Pixbuf.new(file: "a.png")
# Arrow経由でNumo::NArrayに変換
narray = pixbuf.to_arrow.to_narray
# 不透明に（アルファ値（透明度）を0xffに）
narray[true, true, 3] = 0xff
# Arrow経由でGdkPixbuf::Pixbufに変換
no_alpha_pixbuf = narray.to_arrow.to_pixbuf
# GIF画像として保存
no_alpha_pixbuf.save(filename: "a-no-alpha.gif")
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 84
Pixbuf→Arrow
class GdkPixbuf::Pixbuf
def to_arrow
bytes = read_pixel_bytes # ピクセル値
buffer = Arrow::Buffer.new(bytes)
# 高さ、幅、チャンネル数の3次元配列
# チャンネル数：RGBAだと4チャンネル
shape = [height, width, n_channels]
# バイト列なのでUInt8
Arrow::Tensor.new(Arrow::UInt8DataType.new,
buffer, shape)
end
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 85
ゼロコピーの実現
✓ ゼロコピー
✓ 同じメモリー領域を参照し、
コピーせずに同じデータを利用
✓ 速い！！！
✓ データ
✓ バイト列へのポインター
✓ RubyではRSTRING_PTR(string)
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 86
Stringとゼロコピー
/* pointerの内容をコピー */
rb_str_new(pointer, size);
/* pointerの内容を参照：ゼロコピー */
rb_str_new_static(pointer, size);
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 87
StringとゼロコピーとGC
arrow_data = /* ... */;
/* ゼロコピー */
rb_str_new_static(arrow_data, size);
/* arrow_dataはいつ、だれが開放？ */
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 88
Rubyでゼロコピー
✓
rb_str_new_static()だけ
✓ メモリー管理できない
✓ メモリー管理する何かが必要
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 89
Red Arrowでゼロコピー
✓ GBytesを利用
✓ GBytes
✓ GLib提供のバイト列オブジェクト
✓ リファレンスカウントあり
✓ RubyだとGLib::Bytes
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 90
GLib::Bytes#to_s
static VALUE rgbytes_to_s(VALUE self) {
GBytes *bytes = RVAL2BOXED(self, G_TYPE_BYTES);
gsize size;
gconstpointer data =
g_bytes_get_data(bytes, &size);
/* ゼロコピーでASCII-8BITな文字列を生成 */
VALUE rb_data = rb_enc_str_new_static(
data, size, rb_ascii8bit_encoding());
rb_iv_set(rb_data, "@bytes", self); /* GC対策 */
return rb_data;
}
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 91
GLib::Bytes#initialize
static VALUE rgbytes_initialize(VALUE self, VALUE rb_data) {
const char *pointer = RSTRING_PTR(rb_data);
long size = RSTRING_LEN(rb_data);
GBytes *bytes;
if (RB_OBJ_FROZEN(rb_data)) { /* ゼロコピー */
bytes = g_bytes_new_static(pointer, size);
rb_iv_set(self, "source", rb_data); /* GC対策 */
} else { /* コピー */
bytes = g_bytes_new(pointer, size);
}
G_INITIALIZE(self, bytes);
return Qnil;
}
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 92
GBytesはすでに使っていた
class GdkPixbuf::Pixbuf
def to_arrow
# ピクセル値はGLib::Bytes
bytes = read_pixel_bytes
buffer = Arrow::Buffer.new(bytes)
shape = [height, width, n_channels]
Arrow::Tensor.new(Arrow::UInt8DataType.new,
buffer,
shape)
end
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 93
オブジェクト変換例2
# RelationをArrow形式に
users = User
.where("age >= ?", 20)
.to_arrow
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 94
Relation→Arrow
module ArrowActiveRecord::Arrowable
def to_arrow(batch_size: 10000)
in_batches(of: batch_size).each do |relation|
column_values_set = relation.pluck(*column_names).transpose
data_types.each_with_index do |data_type, i|
column_values = column_values_set[i]
arrow_batches[i] << build_arrow_array(column_values, data_type)
end
end
# ...
Arrow::Table.new(...)
end
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 95
Red Chainer
ChainerのRuby移植
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 96
Chainer
✓ 深層学習フレームワーク
✓ Pythonのみで実装
✓ 移植しやすい
✓ Pythonのみで実装されているから
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 97
Red Chainerサンプル
model = Chainer::Links::Model::Classifier.new(MLP.new(args[:unit], 10))
optimizer = Chainer::Optimizers::Adam.new
optimizer.setup(model)
train, test = Chainer::Datasets::Mnist.get_mnist
train_iter = Chainer::Iterators::SerialIterator.new(train, args[:batchsize])
test_iter = Chainer::Iterators::SerialIterator.new(test, args[:batchsize], repeat: false, shuffle: false)
# ...
横に長い
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 98
Chainerのサンプル
import chainer
import chainer.links as L
model = L.Classifier(MLP(args.unit, 10))
optimizer = chainer.optimizers.Adam()
optimizer.setup(model)
train, test = chainer.datasets.get_mnist()
train_iter = chainer.iterators.SerialIterator(train, args.batchsize)
test_iter = chainer.iterators.SerialIterator(test, args.batchsize,
repeat=False, shuffle=False)
こっちも横に長い
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 99
Pythonでの短く仕方
# 通常
import chainer
model = chainer.links.Classifier(MLP(args.unit, 10))
# Lでショートカット
import chainer.links as L
model = L.Classifier(MLP(args.unit, 10))
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 100
Rubyでの短く仕方
# 通常
model = Chainer::Links::Model::Classifier.new(...)
# Lでショートカット
L = Chainer::Links
model = L::Model::Classifier.new(...)
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 101
PythonとRubyの違い
✓ Python
✓ ファイル内でだけLが有効
✓ ファイル単位でネームスペース
✓ Ruby
✓ グローバルにLが有効
✓ 微妙！
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 102
Rubyらしく短く
# Rubyのネームスペースの仕組みはモジュール
Module.new do
include Chainer::Links
model = Model::Classifier.new(...)
end
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 103
開発したくなった？
✓ 楽しそう！
✓ 一緒に開発しようぜ！
✓ やっぱRubyでデータ扱いたい！
✓ 一緒に開発しようぜ！
✓ レベルアップしたい！
✓ 一緒に開発しようぜ！
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 104
レベルアップへの道
✓ NG集をたくさん覚える
✓ よいコードにたくさん触れる
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 105
よいコード
Red Data Toolsに
たくさんある！
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 106
一緒に開発
どこからでもオンラインで
✓
✓ GitHubとGitter（チャット）を使用
東京は月一オフラインで
✓
✓
「OSS Gate Red Data Tools」
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
Page: 107
Join Red Data Tools!
✓ Webサイト
✓ https://red-data-tools.github.io/ja/
✓ Gitter（チャット）
✓ https://gitter.im/red-data-tools/ja
✓ GitHub
✓ https://github.com/red-data-tools/
Red Data Tools - 楽しく実装すればいいじゃんねー
Powered by Rabbit 2.2.2
