Text
Page: 1
Mroonga
PGroonga
と
初心者向け情報
須藤功平
クリアコード
MySQLとPostgreSQLと日本語全文検索
2016-06-09
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 2
Mroonga・PGroonga
Mroonga（むるんが）
MySQLに
高速日本語全文検索機能を追加する
プロダクト
PGroonga（ぴーじーるんが）
PostgreSQLに
高速日本語全文検索機能を追加する
プロダクト
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 3
使いどころ
Mroonga
速さが欲しい
トランザクションはいらない
PGroonga
機能が欲しい
トランザクションも欲しい
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 4
速い？
速さ：検索1
キーワード：テレビアニメ
（ヒット数：約2万3千件）
InnoDB ngram
InnoDB MeCab
Mroonga:1
pg_bigm
PGroonga:2
Mroonga と PGroonga - Groongaを使って MySQLとPostgreSQLで日本語全文検索
3m2s
6m20s
0.11s
4s
0.29s
Powered by Rabbit 2.1.9
詳細は前回の資料を参照
http://slide.rabbit-shocker.org/authors/kou/mysql-and-
postgresql-and-japanese-full-text-search/
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 5
Mroongaのモード
ストレージモード
ストレージとインデックスに
Groongaを使う
ラッパーモード
ストレージは
既存ストレージエンジンをラップ
全文検索・位置情報 インデックスだけ
Groongaを使う
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 6
Mroongaのモード
MySQL
by Mroongaプロジェクト
InnoDB
データ
インデックス
by Groongaプロジェクト
ストレージ
モード
Mroonga と PGroonga - 初心者向け情報
ラッパー
モード
Powered by Rabbit 2.2.0
Page: 7
ストレージモード
全文検索が速い
それ以外の条件も速い
数値の比較とか
挿入も更新も削除も速い
ソートも速い
トランザクションはない
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 8
ラッパーモード
全文検索が速い
全文検索以外はラップ対象の
ストレージエンジンに依存
トランザクション
ストレージのみ
インデックスには効かない
ロールバックしたらインデックスの再構築が必要
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 9
使い分け
できればストレージモード
ムリならラッパーモード
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 10
ストレージモードの条件
NULLがないこと
あるならテーブルをわけるか
ラッパーモード
トランザクションを使わない
例：追記のみ（ログとか）
例：同時に更新されないようにする
例：スレーブにする（後述）
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 11
オススメの使い方
テーブル定義
デフォルトで使う （いい感じになる）
カスタマイズは慣れてからで十分
検索
IN BOOLEAN MODEを使う （いつもの検索）
*D+プラグマを使う （デフォルトAND）
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 12
テーブル定義
CREATE TABLE items (
title TEXT,
FULLTEXT INDEX (title)
-- ↑COMMENTでカスタマイズしない
) ENGINE=Mroonga
DEFAULT CHARSET=utf8mb4;
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 13
検索
SELECT * FROM items
WHERE
MATCH(title)
-- ↓*D+プラグマ
AGAINST('*D+ 激安 人気'
IN BOOLEAN MODE);
-- ↑IN BOOLEAN MODE
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 14
トランザクション欲しい！
レプリケーションで対応可能
構成
マスター：InnoDB
スレーブ：Mroonga
MySQLはマスターとスレーブで
違うストレージエンジンを使える！
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 15
トランザクションと
レプリケーション
MySQL
トラン
ザクション （マスター）
MySQL
コミットされた順に
直列化されて
（スレーブ）
スレーブに届く
InnoDB
スレーブに
トランザクションは
必要ない！
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 16
レプリケーション手順1
マスターmy.cnf:
[mysqld]
log-bin=mysql-bin
server-id=1
バイナリーログを有効にしてサーバーIDを指定
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 17
レプリケーション手順2
スレーブmy.cnf:
[mysqld]
server-id=2
サーバーIDを指定
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 18
レプリケーション手順3
マスター:
CREATE USER 'repl'@'%' IDENTIFIED BY '1qazXSW@';
GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%';
レプリケーション用ユーザーを作成
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 19
レプリケーション手順4
マスター:
SHOW MASTER STATUS\G
--
File: mysql-bin.000001
--
Position: 855
--
Binlog_Do_DB:
-- Binlog_Ignore_DB:
-- Executed_Gtid_Set:
バイナリーログの情報を確認
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 20
レプリケーション手順5
スレーブ:
CHANGE MASTER TO
MASTER_HOST='192.168.0.9',
MASTER_LOG_FILE='mysql-bin.000001',
MASTER_LOG_POS=855;
START SLAVE USER='repl'
PASSWORD='1qazXSW@';
レプリケーション開始
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 21
レプリケーション手順6
マスター:
CREATE TABLE items (
title text
) DEFAULT CHARSET=utf8mb4;
マスターでテーブル作成
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 22
レプリケーション手順7
スレーブ:
ALTER TABLE items
ENGINE=Mroonga,
ADD FULLTEXT INDEX (title);
スレーブだけMroongaに変更
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 23
レプリケーション手順8
マスター:
INSERT INTO items
VALUES ('データベース管理システム');
マスターでデータ登録
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 24
レプリケーション手順9
スレーブ:
SELECT * FROM items
WHERE MATCH(title)
AGAINST('*D+ データ 管理'
IN BOOLEAN MODE);
-- +--------------------------------------+
-- | title
|
-- +--------------------------------------+
-- | データベース管理システム
|
-- +--------------------------------------+
スレーブで全文検索
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 25
まとめ
できればストレージモード
テーブル定義：デフォルトでOK
検索：IN BOOLEAN MODEと*D+
トランザクション：スレーブ
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 26
PGroongaのいいところ
検索条件を柔軟に指定可能
MySQL：拡張はAGAINST()内で頑張る
PostgreSQL：演算子を追加可能
トランザクション対応
ロールバックも効く
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 27
オススメの使い方
テーブル定義
主キーを指定する
インデックス定義
デフォルトで使う （いい感じになる）
検索
search_path設定→@@演算子を使う
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 28
テーブル定義
CREATE TABLE items (
id integer PRIMARY KEY,
title text
);
スコアー取得時に必要なので主キーを指定
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 29
インデックス定義
CREATE INDEX pgroonga_items_index
ON items
USING pgroonga (id, title);
主キーをインデックス対象にする
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 30
search_pathを設定
-- 現在のセッションのみ有効
SET search_path TO "$user",public,pgroonga,pg_catalog;
-- user1ユーザーのみ有効
ALTER ROLE user1
SET search_path TO "$user",public,pgroonga,pg_catalog;
-- db1データベースでは永続的に有効
ALTER DATABASE db1
SET search_path TO "$user",public,pgroonga,pg_catalog;
pg_catalogの前にpgroongaを入れる
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 31
なぜ設定する必要があるか
PostgreSQLに@@があるから
組み込みの@@より
PGroongaの@@を優先したい
優先しないと
インデックススキャンと
シーケンシャルスキャンで
結果が異なる
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 32
@@演算子で検索
SELECT *,
pgroonga.score(items) AS score
FROM items
WHERE title @@ '激安 人気'
ORDER BY score DESC;
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 33
独自演算子がうれしい例
入力補完
https://github.com/pgroonga/pgroonga/tree/master/
examples/completion
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 34
テーブル作成
CREATE TABLE dictionary (
term text,
readings text[], -- 配列
english text
);
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 35
データ
INSERT INTO dictionary VALUES
('・',
ARRAY['ナカグロ', 'ナカポチ'],
'(n) middle dot ...'),
-- (...),
('踵',
ARRAY['カカト', 'キビス', 'クビス'],
'(n) (uk) heel ...');
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 36
インデックス定義
CREATE INDEX pgroonga_index
ON dictionary
USING pgroonga (
-- ↓前方一致・前方一致RK検索用
term
pgroonga.text_term_search_ops_v2,
-- ↓配列に対する前方一致・前方一致RK検索用
readings pgroonga.text_array_term_search_ops_v2);
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 37
検索：独自演算子+OR
SELECT term, readings, english
FROM dictionary
WHERE term &^ 'nak' OR
-- ↑前方一致検索
readings &^~> 'nak'
-- ↑前方一致RK検索
ORDER BY term LIMIT 10;
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 38
結果例：nak
前方一致RK検索でヒット
term
|
readings
|
english
--------------+----------------------+-------------------
・
| {ナカグロ,ナカポチ} | (n) middle dot ...
ＮａＫ
| {ナック}
| (n) NaK (sodiu...
なくても良い | {ナクテモヨイ
| (exp) (1) (uk) ...
...
|
...
| ...
(10 rows)
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 39
結果例：なか
前方一致RK検索でヒット
term
|
readings
|
english
--------------+----------------------+-------------------
・
| {ナカグロ,ナカポチ} | (n) middle dot ...
泣かされる | {ナカサレル}
| (v1,vi) (1) to ...
泣かせる
| {ナカセル}
| (v1,vt) (1) to ...
...
|
...
| ...
(10 rows)
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 40
結果例：中
前方一致RK検索でヒット
term
|
readings
|
english
--------------+----------------------+-------------------
中
| {ウチ,ジュウ,チュウ} | (n,adj-no) (1) ...
中々
| {ナカナカ}
| (adv,adj-na) ..
中２
| {チュウニ}
| (n) second-year
...
|
...
| ...
(10 rows)
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 41
レプリケーション
PostgreSQL標準機能：×
プラグインはWALを使えない
pglogical：○
詳細：http://www.clear-code.com/blog/2016/3/22.html
PostgreSQL 9.6：たぶん○
プラグインでもWALを使える
正式リリースまでに対応したい
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 42
まとめ
トランザクション対応
テーブル定義：主キーを指定
インデックス定義：デフォルト
検索：search_pathと@@
レプリケーション：pglogical
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 43
相談場所
メーリングリスト
groonga-dev
チャット
https://gitter.im/groonga/ja
Twitter：@groonga
勉強会
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
Page: 44
勉強会
「Groongaで学ぶ全文検索」
全文検索について学ぶ会
内容は参加者が知りたいこと
ほぼ隔週金曜夜開催
次回は6月17日
https://groonga.doorkeeper.jp/events/45556
Mroonga と PGroonga - 初心者向け情報
Powered by Rabbit 2.2.0
