PostgreSQLで高速・高機能な日本語全文検索 - Horimoto Yasuhiro - Rabbit Slide Show

PostgreSQLで
高速・高機能な日本語
全文検索
堀本泰弘株式会社クリアコード
July Tech Festa 2021 winter
2021-01-24
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

自己紹介
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

今日のテーマ
PostgreSQLで
高速・高機能な日
本語全文検索
を実現する
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

今日のテーマ
...の前に
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

全文検索？

全文検索？
全ての文書から特
定の文字列を
検索する
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

全文検索？
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

全文検索？
% grep PGroonga ./*
./docker-compose.yml:
./docker-compose.yml:
./docker-compose.yml:
./docker-compose.yml:
PostgreSQLで高速・高機能な日本語全文検索
PGroonga:
POSTGRES_DB: PGroonga
POSTGRES_PASSWORD: PGroonga
POSTGRES_USER: PGroonga
Powered by Rabbit 3.0.1

全文検索の対象
大量のテキスト
例：Redmineのwiki・チケット
例：チャットログ
例：口コミ
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

PostgreSQLの全文検索
LIKE：組み込み
textsearch：組み込み
pg_trgm：標準添付
pg_bigm：プラグイン
PGroonga：プラグイン
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

PostgreSQLの全文検索
LIKE：組み込み
textsearch：組み込み
pg_trgm：標準添付
pg_bigm：プラグイン
PGroonga：プラグイン
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

参考
pg_trgmとpg_bigmと
PGroongaの比較は以下の記事を
参照
https://groonga.org/ja/blog/
2016/11/30/pgroonga-1.1.9.html
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

PostgreSQLの全文検索
名前
日本語
速度
○
△
LIKE
○
texts ☓
earch
○
PGroo ○
nga
PostgreSQLで高速・高機能な日本語全文検索
機能
☓
△
○
Powered by Rabbit 3.0.1

LIKE
メリット
標準で使える
インデックス作成不要(データ更新が遅
くならない)
データが少なければ十分高速
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

LIKE
デメリット
データ量に比例して遅くなる
類似文書検索、同義語検索等の便利な
機能はない
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

textsearch
メリット
標準で使える
インデックスを作成するので、データ
量が多くても高速
同義語検索、検索結果のランキング、
結果のハイライトなど、便利な機能が
ある
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

textsearch
デメリット
言語毎にモジュールが必要
英語やフランス語のモジュールは組み込み
日本語は別途インストールが必要
日本語のモジュールは現在メンテナンスされて
ない
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

PGroongaを使った全文検索

PGroonga？
読み方
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

PGroonga？
PGroonga
(ぴ−じーるんが)
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

PGroongaとは？
PostgreSQLで
高速・高機能な全
文検索を実現
する拡張
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

PGroongaの特徴
1. 簡単に使える
2. 速い
3. 全言語対応
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

使い方
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

使い方
実際に全文検索
してみましょう
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

実行例：テーブル定義
CREATE TABLE entries (
title text,
content text
);
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

実行例：
インデックス定義
-- 全文検索用インデックス
CREATE INDEX entries_full_text_search
ON entries
--「USING pgroonga」=「PGroongaを使う」
USING pgroonga (title, content);
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

実行例：データ挿入
-- 普通に挿入するだけでよい
INSERT INTO entries
VALUES ('PGroongaで高速全文検索！',
'高速に全文検索したいですね！');
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

実行例：全文検索
SELECT title FROM entries
WHERE
-- &@~で全文検索
-- 「検索」と「高速」をAND検索
title &@~ '検索高速' OR
content &@~ '検索高速';
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

実行例：LIKE
SELECT title FROM entries
WHERE
-- LIKEでもインデックスが効く
--＝アプリを書き換えずに高速化可能
-- ただし&@~より性能が落ちる
title LIKE '%検索%' OR
content LIKE '%検索%';
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

使い方
簡単ですね！
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

速度
安定して速い
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

ベンチマーク

青空文庫の書籍一覧
件数
LIKE
PGroonga
速度[ms] 速度[ms]
11,818件
1.916
0.290
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

日本全国の住所
件数
LIKE
PGroonga
速度[ms] 速度[ms]
149,724件
17.277
0.850
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

Wikipedia日本語版のタイトル
件数
LIKE
PGroonga
速度[ms] 速度[ms]
3,677,375
128.776
0.371
件
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

ベンチマークのデータ
使用したSQLは以下を参照
https://github.com/komainu8/
rabbit-slide-komainu8-july-tech-
festa-2021-winter/tree/master/
benchmark
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

ベンチマークのデータ
追試用スクリプト
https://github.com/komainu8/
rabbit-slide-komainu8-july-tech-
festa-2021-winter/blob/master/
exec-benchmark.sh
使い方はREADME参照
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

機能
全文検索に必要そうな機能は
一通り揃っている
同義語検索
類似文書検索
読みがな検索
入力補完 etc..
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

機能
全文検索に必要そうな機能は
一通り揃っている
同義語検索
類似文書検索
読みがな検索
入力補完 etc..
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
「やきにく」
ってどう書きます
か？
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
やきにく
焼き肉
焼肉
やき肉
ヤキニク
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
当然ですがどれも
「やきにく」と読
みます
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
読みが同じなので、以下は全部同
じものとして扱えます
やきにく
焼き肉
焼肉
やき肉
ヤキニク
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
例えば
「やきにく」で検
索すると
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
「やきにく」Hit!
「焼き肉」Hit!
「焼肉」Hit!
「やき肉」Hit!
「ヤキニク」Hit!
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
異体字
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
「広」と「廣」
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
例えば人名の
検索
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
検索キーワード「広瀬」で
「広瀬」Hit
「廣瀬」Hit
となってほしい
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
通常の検索
検索キーワード「広瀬」で
「広瀬」のみHit
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
読みがな検索なら
検索キーワード「広瀬」で
「広瀬」Hit
「廣瀬」Hit
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
両方ヒット！
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
「広瀬」も
「廣瀬」も
読みが同じ
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

他にも
それっぽい順でソート
キーワードハイライト
キーワードの周辺テキスト表示
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

他にも
電話番号検索
090-1234-5678 と 090 1234 5678、
(090)1234-5678 等
fuzzy検索
typo対策
テクノロジーとテノクロジー
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

まとめ
PGroongaで
高速高機能な
日本語全文検索が
実現できます！
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

より詳しく知りたい人

参考
PGroonga自体の解説
https://www.slideshare.net/kou/
postgresql-conference-japan-2017
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

参考
PHPのマニュアル検索
https://www.slideshare.net/kou/
phpconference2017
Redmineのチケットを検索
https://www.slideshare.net/kou/
redminetokyo12
https://github.com/clear-code/
redmine_full_text_search
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

参考
AWSでPGroongaを使う
https://slide.rabbit-shocker.org/
authors/komainu8/postgresql-
conference-japan-2019/
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

PostgreSQLで
高速・高機能な日本語
全文検索
堀本泰弘株式会社クリアコード
July Tech Festa 2021 winter
2021-01-24
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

自己紹介
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

今日のテーマ
PostgreSQLで
高速・高機能な日
本語全文検索
を実現する
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

今日のテーマ
...の前に
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

全文検索？

全文検索？
全ての文書から特
定の文字列を
検索する
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

全文検索？
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

全文検索？
% grep PGroonga ./*
./docker-compose.yml:
./docker-compose.yml:
./docker-compose.yml:
./docker-compose.yml:
PostgreSQLで高速・高機能な日本語全文検索
PGroonga:
POSTGRES_DB: PGroonga
POSTGRES_PASSWORD: PGroonga
POSTGRES_USER: PGroonga
Powered by Rabbit 3.0.1

全文検索の対象
大量のテキスト
例：Redmineのwiki・チケット
例：チャットログ
例：口コミ
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

PostgreSQLの全文検索
LIKE：組み込み
textsearch：組み込み
pg_trgm：標準添付
pg_bigm：プラグイン
PGroonga：プラグイン
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

PostgreSQLの全文検索
LIKE：組み込み
textsearch：組み込み
pg_trgm：標準添付
pg_bigm：プラグイン
PGroonga：プラグイン
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

参考
pg_trgmとpg_bigmと
PGroongaの比較は以下の記事を
参照
https://groonga.org/ja/blog/
2016/11/30/pgroonga-1.1.9.html
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

PostgreSQLの全文検索
名前
日本語
速度
○
△
LIKE
○
texts ☓
earch
○
PGroo ○
nga
PostgreSQLで高速・高機能な日本語全文検索
機能
☓
△
○
Powered by Rabbit 3.0.1

LIKE
メリット
標準で使える
インデックス作成不要(データ更新が遅
くならない)
データが少なければ十分高速
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

LIKE
デメリット
データ量に比例して遅くなる
類似文書検索、同義語検索等の便利な
機能はない
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

textsearch
メリット
標準で使える
インデックスを作成するので、データ
量が多くても高速
同義語検索、検索結果のランキング、
結果のハイライトなど、便利な機能が
ある
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

textsearch
デメリット
言語毎にモジュールが必要
英語やフランス語のモジュールは組み込み
日本語は別途インストールが必要
日本語のモジュールは現在メンテナンスされて
ない
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

PGroongaを使った全文検索

PGroonga？
読み方
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

PGroonga？
PGroonga
(ぴ−じーるんが)
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

PGroongaとは？
PostgreSQLで
高速・高機能な全
文検索を実現
する拡張
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

PGroongaの特徴
1. 簡単に使える
2. 速い
3. 全言語対応
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

使い方
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

使い方
実際に全文検索
してみましょう
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

実行例：テーブル定義
CREATE TABLE entries (
title text,
content text
);
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

実行例：
インデックス定義
-- 全文検索用インデックス
CREATE INDEX entries_full_text_search
ON entries
--「USING pgroonga」=「PGroongaを使う」
USING pgroonga (title, content);
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

実行例：データ挿入
-- 普通に挿入するだけでよい
INSERT INTO entries
VALUES ('PGroongaで高速全文検索！',
'高速に全文検索したいですね！');
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

実行例：全文検索
SELECT title FROM entries
WHERE
-- &@~で全文検索
-- 「検索」と「高速」をAND検索
title &@~ '検索高速' OR
content &@~ '検索高速';
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

実行例：LIKE
SELECT title FROM entries
WHERE
-- LIKEでもインデックスが効く
--＝アプリを書き換えずに高速化可能
-- ただし&@~より性能が落ちる
title LIKE '%検索%' OR
content LIKE '%検索%';
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

使い方
簡単ですね！
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

速度
安定して速い
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

ベンチマーク

青空文庫の書籍一覧
件数
LIKE
PGroonga
速度[ms] 速度[ms]
11,818件
1.916
0.290
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

日本全国の住所
件数
LIKE
PGroonga
速度[ms] 速度[ms]
149,724件
17.277
0.850
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

Wikipedia日本語版のタイトル
件数
LIKE
PGroonga
速度[ms] 速度[ms]
3,677,375
128.776
0.371
件
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

ベンチマークのデータ
使用したSQLは以下を参照
https://github.com/komainu8/
rabbit-slide-komainu8-july-tech-
festa-2021-winter/tree/master/
benchmark
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

ベンチマークのデータ
追試用スクリプト
https://github.com/komainu8/
rabbit-slide-komainu8-july-tech-
festa-2021-winter/blob/master/
exec-benchmark.sh
使い方はREADME参照
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

機能
全文検索に必要そうな機能は
一通り揃っている
同義語検索
類似文書検索
読みがな検索
入力補完 etc..
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

機能
全文検索に必要そうな機能は
一通り揃っている
同義語検索
類似文書検索
読みがな検索
入力補完 etc..
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
「やきにく」
ってどう書きます
か？
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
やきにく
焼き肉
焼肉
やき肉
ヤキニク
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
当然ですがどれも
「やきにく」と読
みます
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
読みが同じなので、以下は全部同
じものとして扱えます
やきにく
焼き肉
焼肉
やき肉
ヤキニク
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
例えば
「やきにく」で検
索すると
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
「やきにく」Hit!
「焼き肉」Hit!
「焼肉」Hit!
「やき肉」Hit!
「ヤキニク」Hit!
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
異体字
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
「広」と「廣」
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
例えば人名の
検索
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
検索キーワード「広瀬」で
「広瀬」Hit
「廣瀬」Hit
となってほしい
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
通常の検索
検索キーワード「広瀬」で
「広瀬」のみHit
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
読みがな検索なら
検索キーワード「広瀬」で
「広瀬」Hit
「廣瀬」Hit
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
両方ヒット！
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

読みがな検索
「広瀬」も
「廣瀬」も
読みが同じ
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

他にも
それっぽい順でソート
キーワードハイライト
キーワードの周辺テキスト表示
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

他にも
電話番号検索
090-1234-5678 と 090 1234 5678、
(090)1234-5678 等
fuzzy検索
typo対策
テクノロジーとテノクロジー
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

まとめ
PGroongaで
高速高機能な
日本語全文検索が
実現できます！
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

より詳しく知りたい人

参考
PGroonga自体の解説
https://www.slideshare.net/kou/
postgresql-conference-japan-2017
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

参考
PHPのマニュアル検索
https://www.slideshare.net/kou/
phpconference2017
Redmineのチケットを検索
https://www.slideshare.net/kou/
redminetokyo12
https://github.com/clear-code/
redmine_full_text_search
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

参考
AWSでPGroongaを使う
https://slide.rabbit-shocker.org/
authors/komainu8/postgresql-
conference-japan-2019/
PostgreSQLで高速・高機能な日本語全文検索
Powered by Rabbit 3.0.1

0 / 60