PostgreSQLとPGroongaで作るPHPマニュアル高速全文検索システム - Kouhei Sutou

PostgreSQLとPGroongaで
作る
PHPマニュアル
高速全文検索システム
須藤功平
クリアコード
PHPカンファレンス2017
2017-10-08
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

PHPマニュアル
http://php.net/manual/ja/
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

@で検索
@：エラー制御演算子
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

@でnot found
関数・クラス・例外のみ検索対象
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

全文検索あり！
Googleカスタム検索
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

@でnot found
Googleは自然言語向けだから
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

マニュアル検索
自然言語向けと傾向が違う
@：自然言語ではノイズ
特に日本語ではノイズ
@：マニュアルでは重要語
プログラミング言語用の
チューニングが必要
欲しい情報が見つかる！
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

PostgreSQLと全文検索
LIKE：組込機能
textsearch：組込機能
pg_trgm：標準添付
アーカイブには含まれている
別途インストールすれば使える
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

LIKE
少ないデータ
十分実用的
400文字×20万件くらいなら1秒とか
少なくないデータ
性能問題アリ
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

PHPマニュアルのデータ
件数
平均文字数
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
13095
871文字
Powered by Rabbit 2.2.2

PHPマニュアルでLIKE
速度は十分実用的
LIKE '%@%'で約100ms
それっぽい順のソート不可
全文検索ではソート順が重要
ユーザーは先頭n件しか見ない
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

textsearch
インデックスを作るので速い
言語毎にモジュールが必要
英語やフランス語などは組込
日本語は別途必要
日本語用モジュール
公式にはメンテナンスされていない
forkして動くようにしている人はいる
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

pg_trgm
インデックスを作るので速い
注：ヒット件数が増えると遅い
注：テキスト量が多いと遅い
注：1,2文字の検索は遅い（米・日本）
日本語を使うにはひと工夫必要
C.UTF-8を使う
ソースを変更してビルド
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

プラグイン
pg_bigm
pg_trgmの日本語対応強化版
それっぽい順のソート不可
PGroonga
本気の全文検索エンジンを利用
速いし日本語もバッチリ！
それっぽい順のソート可
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

ベンチマーク：pg_bigm
pg_bigm
Elapsed time (sec)
(Lower is better)
3
Data: Japanese Wikipedia
(Many records and large documents)
2.5
N records: About 0.9millions
Average text size: 6.7KiB
Slow
2
1.5
Slow
1
0.5
0
311
14706
20389
N hits
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

ベンチマーク：PGroonga
PGroonga
pg_bigm
Data: Japanese Wikipedia
(Many records and large documents)
2.5
N records: About 0.9millions
Average text size: 6.7KiB
Elapsed time (sec)
(Lower is better)
3
2
1.5
1
0.5
0
311
FastFast
1470620389
N hits
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

PostgreSQLで全文検索システム
PostgreSQLで全文検索
PGroongaがベスト！
PGroonga
高速
日本語対応
それっぽい順でソート可
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

PHP document search
PHP + PostgreSQL + PGroonga
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

基本機能
高速全文検索＋ソート
検索キーワードハイライト
キーワード周辺テキスト表示
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

高度な機能
オートコンプリート
ローマ字対応（seiki→正規表現）
類似マニュアル検索
同義語展開
「@」→「@ OR エラー制御演算子」
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

作り方：ツール
フレームワーク
Laravel
RDBMS
PostgreSQL
高速日本語全文検索機能
PGroonga
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

作り方：インストール
Laravel
省略
PostgreSQL
パッケージで
PGroonga
パッケージで
https://pgroonga.github.io/ja/install/
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

初期化：Laravel
% laravel new php-document-search
% cd php-document-search
% editor .env
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

$初期化：データベース % sudo -u postgres -H \ createdb php_document_search PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム Powered by Rabbit 2.2.2$ 初期化：PGroonga
-- ↓を実行する必要がある
CREATE EXTENSION pgroonga;
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

初期化：PGroonga
-- ↓を実行する必要がある
CREATE EXTENSION pgroonga;
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

$初期化：PGroonga マイグレーションファイル作成 % php artisan \ make:migration enable_pgroonga PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム Powered by Rabbit 2.2.2$ マイグレーション
public function up()
{
DB::statement("CREATE EXTENSION pgroonga;");
// CREATE EXTENSION IF NOT EXISTS ...の方がよい
}
public function down()
{
DB::statement("DROP EXTENSION pgroonga;");
}
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

マイグレーション
public function up()
{
DB::statement("CREATE EXTENSION pgroonga;");
// CREATE EXTENSION IF NOT EXISTS ...の方がよい
}
public function down()
{
DB::statement("DROP EXTENSION pgroonga;");
}
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

モデル作成
マニュアルをモデルにする
名前：Entry
1ページ1インスタンス
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

$モデル作成 % php artisan \ make:model \ --migration \ --controller \ --resource \ Entry PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム Powered by Rabbit 2.2.2$ マイグレーション
Schema::create("entries", function ($table) {
$table->increments("id");
$table->text("url");
$table->text("title");
$table->text("content");
// PGroongaインデックス（デフォルト：全文検索用）
// 主キー（id）も入れるのが大事！
// それっぽい順のソートで必要
$table->index(
["id", "title", "content"], null, "pgroonga");
});
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

マイグレーション
Schema::create("entries", function ($table) {
$table->increments("id");
$table->text("url");
$table->text("title");
$table->text("content");
// PGroongaインデックス（デフォルト：全文検索用）
// 主キー（id）も入れるのが大事！
// それっぽい順のソートで必要
$table->index(
["id", "title", "content"], null, "pgroonga");
});
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

データ登録
1. PHPのマニュアルを
ローカルで生成
PHPのマニュアルの作り方
http://doc.php.net/tutorial/
フィードバックチャンスが
いろいろあったよ！
2. ページ毎にPostgreSQLに挿入
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

$コマンド作成 % php artisan \ make:command \ --command=doc:register \ RegisterDocuments PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム Powered by Rabbit 2.2.2$ $登録コマンド実装（一部） public function handle() { foreach (glob("public/doc/*.html") as $html_path) { $document = new \DOMDocument(); @$document->loadHTMLFile($html_path); $xpath = new \DOMXPath($document); $entry = new Entry(); $entry->url = "/doc/" . basename($html_path); // XPathでテキスト抽出（詳細はソースを参照） $this->extract_title($entry, $xpath); $this->extract_content($entry, $xpath); $entry->save(); } } PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム Powered by Rabbit 2.2.2$ 登録
% php artisan doc:register
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

登録
% php artisan doc:register
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

検索用コントローラー
public function index(Request $request)
{
$query = $request["query"];
$entries = Entry::query()
// ↓はモデルに作る（後述）
->fullTextSearch($query)
->limit(10)
->get();
return view("entry.search.index",
["entries" => $entries,
"query"
=> $query]);
}
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

$検索対象モデル public function scopeFullTextSearch($query, $search_query) { if ($search_query) { return ...; // クエリーがあったら検索 } else { return ...; // なかったら適当に返す（省略） } } PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム Powered by Rabbit 2.2.2$

検索対象モデル：検索
return $query
->select("id", "url")
// それっぽさの度合い
->selectRaw("pgroonga_score(entries) AS score")
// キーワードハイライト
->highlightHTML("title", $search_query)
// キーワード周辺のテキスト（キーワードハイライト付き）
->snippetHTML("content", $search_query)
// タイトルと本文を全文検索（タイトルの方が重要）
->whereRaw("title &@~ ? OR content &@~ ?",
[">($search_query)", $search_query])
// それっぽい順に返す
->orderBy("score", "DESC");
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

$キーワードハイライト public function scopeHighlightHTML($query, $column, $search_query) { return $query // PGroonga提供ハイライト関数 ->selectRaw("pgroonga_highlight_html($column, " . // PGroonga提供クエリーからキーワードを抽出する関数 "pgroonga_query_extract_keywords(?)) " . "AS highlighted_$column", [$search_query]); } PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム Powered by Rabbit 2.2.2$ $検索結果 <div class="entries"> @foreach ($entries as $entry) <a href="{{ $entry->url }}"> <h4> {{-- マークアップ済み！ --}} {!! $entry->highlighted_title !!} <span class="score">{{ $entry->score }}</span> </h4> {{-- 周辺テキストはtext[]（後で補足） --}} @foreach ($entry->content_snippets as $snippet) <pre class="snippet">{!! $snippet !!}</pre> @endforeach </a> @endforeach </div> PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム Powered by Rabbit 2.2.2$ $検索対象モデル：配列 public function getContentSnippetsAttribute($value) { // PostgreSQLは配列をサポートしているがPDOは未サポート // '["...","..."]'という文字列になるのでそれを配列に変換 // ※これは回避策なのでPDOに配列サポートを入れたい！ return array_map( function ($e) { // 「"」が「\"」になっているので戻す return preg_replace('/\\\\(.)/', '$1', $e); }, explode('","', substr($value, 2, -2))); } PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム Powered by Rabbit 2.2.2$ 高速日本語全文検索！
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

高速日本語全文検索！
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

オートコンプリート
必要なもの
候補用テーブル
候補のヨミガナ（カタカナ）
PGroonga!!!
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

$モデル作成 % php artisan \ make:model \ --migration \ --controller \ --resource \ Term PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム Powered by Rabbit 2.2.2$ マイグレーション：カラム
Schema::create("terms", function ($table) {
$table->increments("id");
$table->text("term");
$table->text("label");
$table->text("reading"); // 本当は配列にしたい
$table->timestamps();
// インデックス定義（後述）
});
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

マイグレーション：カラム
Schema::create("terms", function ($table) {
$table->increments("id");
$table->text("term");
$table->text("label");
$table->text("reading"); // 本当は配列にしたい
$table->timestamps();
// インデックス定義（後述）
});
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

マイグレーション
インデックス1
$table->index([
// ヨミガナに対する前方一致RK検索用
// RK：ローマ字・カナ（後述）
DB::raw("reading " .
"pgroonga_text_term_search_ops_v2"),
], null, "pgroonga");
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

マイグレーション
インデックス2
// 候補に対するゆるい全文検索用（中間一致用）
DB::statement(
"CREATE INDEX terms_term_index " .
"ON terms " .
"USING pgroonga (term) " .
// ↓がポイント
// ※LaravelがWITHを未サポートなのでSQLで書いている
// ※回避策なのでLaravelにWITHサポートを入れたい！
"WITH (tokenizer='TokenBigramSplitSymbolAlphaDigit')");
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

データ登録
1. マニュアルから候補を抽出
（手動作成はコスト高すぎ）
例：名詞は候補
例：連続した名詞→1つの候補に
2. ヨミガナも自動で推測
（MeCabを利用）
3. 候補をPostgreSQLに挿入
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

$コマンド作成 % php artisan \ make:command \ --command=terms:register \ RegisterTerms PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム Powered by Rabbit 2.2.2$ 登録コマンド実装（一部）
public function handle()
{
foreach (Entry::query()->cursor() as $entry) {
// processTextの実装はソースを参照
// タイトルから抽出
$this->processText($entry->title);
// 本文から抽出
$this->processText($entry->content);
}
}
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

登録コマンド実装（一部）
public function handle()
{
foreach (Entry::query()->cursor() as $entry) {
// processTextの実装はソースを参照
// タイトルから抽出
$this->processText($entry->title);
// 本文から抽出
$this->processText($entry->content);
}
}
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

登録
% php artisan terms:register
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

前方一致RK検索
日本語特化の前方一致検索
ローマ字・ひらがな・カタカナで
カタカナを前方一致検索できる
gy→ギュウニュウ
ぎ→ギュウニュウ
ギ→ギュウニュウ
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

$候補モデル：検索 public function scopeComplete($query, $search_query) { return $query ->select("label") ->highlightHTML("label", $search_query) // 前方一致RK検索 ->whereRaw("reading &^~ :query OR " . // ゆるい全文検索 "term &@~ :query", ["query" => $search_query]) ->orderBy("label") ->limit(10); } PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム Powered by Rabbit 2.2.2$ $コントローラー public function index(Request $request) { $query = $request["query"]; // モデルに実装した検索処理を呼び出し $terms = Term::query()->complete($query); $data = []; foreach ($terms->get() as $term) { $data[] = [ "value" => $term->label, "label" => $term->highlighted_label, ]; } // JSONで候補を返す return response()->json($data); } PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム Powered by Rabbit 2.2.2$ $UI $("#query").autocomplete({ source: function(request, response) { $.ajax({ url: "/terms/", // コントローラー呼び出し dataType: "json", data: {query: this.term}, success: response }); } }).autocomplete("instance")._renderItem = function(ul, item) { return $("<li>") .attr("data-value", item.value) // 候補には生データを使う .append(item.label) // ハイライトしたデータを表示 .appendTo(ul); }; PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム Powered by Rabbit 2.2.2$ オートコンプリート！
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

オートコンプリート！
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

類似マニュアル検索
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

実現方法
類似検索用インデックスが必要
自然言語に合わせた処理で精度向上
日本語ならMeCabを活用
類似検索用の演算子を使う
類似検索クエリー
→対象マニュアルのテキスト全体
参考：全文検索クエリー
→キーワード
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

$インデックス作成マイグレーションファイル作成 % php artisan \ make:migration \ add_similar_search_index PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム Powered by Rabbit 2.2.2$ $マイグレーション public function up() { // WITHを使っているのでDB::statementを使用 DB::statement( "CREATE INDEX similar_search_index " . "ON entries " . // タイトルと内容を合わせたテキストをインデックス // 理由1：タイトルも重要→対象に加えて精度向上 // 理由2：PostgreSQLが全文検索インデックスと // 区別できるように "USING pgroonga (id, (title || ' ' || content)) " . // ポイント：MeCabを使う "WITH (tokenizer='TokenMecab')"); } PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム Powered by Rabbit 2.2.2$ $類似検索：スコープ public function scopeSimilarSearch($query, $text) { return $query ->select("id", "url", "title") ->selectRaw("pgroonga_score(entries) AS score") // インデックス定義と同じ式↓を指定すること！ // title || ' ' || content // &@*が類似検索の演算子 ->whereRaw("(title || ' ' || content) &@* ?", [$text]) ->orderBy("score", "DESC"); } PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム Powered by Rabbit 2.2.2$ 類似検索：インスタンスメソッド
public function similarEntries()
{
return Entries::query()
// タイトルと内容がクエリー
->similarSearch("{$this->title} {$this->content}")
// 自分自身を除くこと！
->where("id", "<>", $this->id)
// 最も類似している3件のみ取得
->limit(3)
->get();
}
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

類似検索：インスタンスメソッド
public function similarEntries()
{
return Entries::query()
// タイトルと内容がクエリー
->similarSearch("{$this->title} {$this->content}")
// 自分自身を除くこと！
->where("id", "<>", $this->id)
// 最も類似している3件のみ取得
->limit(3)
->get();
}
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

類似検索：使い方
@foreach ($entries as $entry)
<ol> {{-- ↓マニュアル毎に類似文書検索 --}}
@foreach ($entry->similarEntries() as $similarEntry)
<li>
<a href="{{ $similarEntry->url }}">
{{ $similarEntry->title }}
<span class="score">{{ $similarEntry->score }}</span>
</a>
</li>
@endforeach
</ol>
@endforeach
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

同義語展開
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

実現方法
同義語管理テーブルを作成
同義語を登録
同義語を展開して検索
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

$モデル作成 % php artisan \ make:model \ --migration \ --controller \ --resource \ Synonym PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム Powered by Rabbit 2.2.2$ マイグレーション：カラム
public function up() {
Schema::create('synonyms', function ($table) {
$table->increments('id');
$table->text('term');
// 展開対象の語
$table->text('synonym'); // 展開後の語
// 例：term: @, synonym: @
// 例：term: @, synonym: エラー制御演算子
//
「@」→「@ OR エラー制御演算子」
$table->timestamps();
// インデックス定義（後述）
});
}
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

マイグレーション：カラム
public function up() {
Schema::create('synonyms', function ($table) {
$table->increments('id');
$table->text('term');
// 展開対象の語
$table->text('synonym'); // 展開後の語
// 例：term: @, synonym: @
// 例：term: @, synonym: エラー制御演算子
//
「@」→「@ OR エラー制御演算子」
$table->timestamps();
// インデックス定義（後述）
});
}
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

マイグレーション
インデックス
$table->index(
// termで完全一致できるようにする設定
[DB::raw(
"term pgroonga_text_term_search_ops_v2")],
null,
"pgroonga");
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

$同義語登録シーダー作成 % php artisan \ make:seeder \ SynonymsTableSeeder PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム Powered by Rabbit 2.2.2$ シーダー
public function run()
{
$synonyms = [
// @そのもので検索させないならこれはいらない
["term" => "@", "synonym" => "@"],
["term" => "@",
// synonymでは演算子を使える
// ">": 重要度を上げる演算子
"synonym" => ">エラー制御演算子"],
];
DB::table("synonyms")->insert($synonyms);
}
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

シーダー
public function run()
{
$synonyms = [
// @そのもので検索させないならこれはいらない
["term" => "@", "synonym" => "@"],
["term" => "@",
// synonymでは演算子を使える
// ">": 重要度を上げる演算子
"synonym" => ">エラー制御演算子"],
];
DB::table("synonyms")->insert($synonyms);
}
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

動作確認
SELECT pgroonga_query_expand(
'synonyms', -- テーブル名
'term', -- 展開対象語のカラム名
'synonym', -- 展開後の語のカラム名
'@'); -- 展開対象のクエリー
--
pgroonga_query_expand
-- ------------------------------
-- ((@) OR (>エラー制御演算子))
-- (1 row)
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

$検索 whereRaw("title &@~ ? OR content &@~ ?", [">({$search_query})", $search_query]); // ↓クエリーをpgroonga_query_expand()で展開して利用 whereRaw( "title &@~ pgroonga_query_expand(?, ?, ?, ?) OR " . "content &@~ pgroonga_query_expand(?, ?, ?, ?)", ["synonyms", "term", "synonym", ">({$search_query})", "synonyms", "term", "synonym", $search_query]); PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム Powered by Rabbit 2.2.2$ 同義語展開
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

おさらい：基本機能
高速全文検索＋ソート
検索キーワードハイライト
キーワード周辺テキスト表示
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

おさらい：高度な機能
オートコンプリート
ローマ字対応（seiki→正規表現）
類似マニュアル検索
同義語展開
「@」→「@ OR エラー制御演算子」
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

開発者募集！
公式検索システム置き換え！？
必要そう：複数バージョン対応
必要そう：複数言語対応
マニュアルをさらによく！
検索を便利に！→ユーザー増加！
→フィードバックする人も増加！
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

使いたい！
WEICさんが運用予定！
2017年10月中にリリース予定
URL: http://phpdocs.weic.co.jp/
宣伝（運用スポンサーの宣伝枠）
PHPエンジニア大募集！
業務時間内にこれの開発もできる!?
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

PHP document search情報
ソース
https://github.com/kou/php-document-
search
OSS
MITライセンス
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

まとめ
PostgreSQL + PGroonga
高速日本語全文検索サービスを
PHPで簡単に作れる！
開発者募集！
サービス提供予定 by WEIC！
URL: http://phpdocs.weic.co.jp/
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

MySQLでもできる？
MySQL・PostgreSQLだけで作る
高速でリッチな
全文検索システム
db tech showcase Tokyo 2017の資
料
PGroongaの代わりにMroongaを使う
SQLでの書き方だけでPHPの話はない
https://slide.rabbit-shocker.org/authors/kou/db-tech-
showcase-tokyo-2017/
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

PHP+MySQL+Mroonga入門
Groongaではじめる全文検索
https://grnbook-ja.tumblr.com/
著者：北市真
PHP+Mroonga入門の電子書籍
今はまだ無料！
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

PHPの開発へ参加！
PHPの開発に参加しませんか？
例：PDO/LaravelのPostgreSQL関連
例：マニュアル生成まわり
例：PHP document search関連
やりたいけど自分はムリそう…
そんなことはないんですよ！
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

OSS Gate
OSS Gate
OSS開発者を増やす取り組み
OSS Gateワークショップ
OSS開発未経験者を経験者にする
ワークショップ
PHPもOSS！
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2

ワークショップ
このカンファレンス内で開催！
午後にこの部屋で開催（2時間45分）
参加希望者は私に声をかけて！
PHP関連のOSSの開発に
参加する人を増やそう！
今回だけで終わりにしないで
今回を始まりにしたい！
PostgreSQLとPGroongaで作る PHPマニュアル高速全文検索システム
Powered by Rabbit 2.2.2