PostgreSQLでのセマンティックサーチへの挑戦 - Horimoto Yasuhiro - Rabbit Slide Show

PostgreSQLでの
セマンティックサーチへの挑戦
株式会社クリアコード
堀本泰弘
PostgreSQL Conference Japan 2025
阿部智晃
2025-11-21
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

本日のゴール
PostgreSQLで簡単に
セマンティックサーチ
が使えることを
実感してもらう
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

本日の内容
1. キーワード検索とセマンティックサーチの
比較
2. セマンティックサーチを実現するために
3. PostgreSQLでセマンティクサーチ
4. 性能とユースケース
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

本日の内容
1. キーワード検索とセマンティックサーチの
比較
2. セマンティックサーチを実現するために
3. PostgreSQLでセマンティクサーチ
4. 性能とユースケース
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

キーワード検索の利点と課題
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

キーワード検索の利点と課題
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

キーワード検索の利点と課題
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

キーワード検索の利点と課題
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

キーワード検索の利点と課題
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

セマンティックサーチの利点と課題
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

本日の内容
1. キーワード検索とセマンティックサーチの
比較
2. セマンティックサーチを実現するために
3. PostgreSQLでセマンティクサーチ
4. 性能とユースケース
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

セマンティックサーチに必要な技術
1. テキスト -> ベクトルデータへの変換
2. ベクトルデータの類似度の計算
3. ベクトルデータの効率的な検索
4. ベクトルデータの圧縮
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

テキスト -> ベクトルデータへの変換
意味で検索するとは？
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

テキスト -> ベクトルデータへの変換
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

テキスト -> ベクトルデータへの変換
意味をベクトル
として表現できる
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

テキスト -> ベクトルデータへの変換
ベクトルは
距離を計算できる
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータの類似度の計算
どれだけ似ているか
- ベクトル間の距離が近い = 似ている
- ベクトル間の距離が遠い = 似ていない
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータの類似度の計算
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータの類似度の計算
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータの効率的な検索
全てのベクトルと類似
度を計算するのか？
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータの効率的な検索
線形探索は
現実的ではない
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータの効率的な検索
一部のベクトルデータ
だけを検索
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータの効率的な検索（イメージ）
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータの効率的な検索（イメージ）
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータの効率的な検索（イメージ）
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータの効率的な検索（イメージ）
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータの圧縮
自然言語を変換した
ベクトルデータは
大きい
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータの圧縮
次元数：大
▶データサイズ：大
▶メモリーに乗らない
▶ 性能劣化
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータの圧縮
データ量の削減が必要
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

圧縮方法
主な圧縮方法
1. ベクトルの次元を削減
2. ベクトルの量子化
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

圧縮方法
どちらの方法も
圧縮前のベクトルの
特徴をなるべく維持
して圧縮
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

本日の内容
1. キーワード検索とセマンティックサーチの
比較
2. セマンティックサーチを実現するために
3. PostgreSQLでセマンティクサーチ
4. 性能とユースケース
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

PostgreSQLのセマンティクサーチ
セマンティックサーチを使うには？
pgvectorを使う
PGroongaを使う
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

pgvectorとは？
類似したベクトルデータを検索する機能を提
供するPostgreSQLの拡張機能
類似度の計算方法が多数提供されている
インデックスを使用して検索を高速化できる
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

PGroonga（ぴーじーるんが）とは？
全言語対応の超高速全文検索機能を提供する
拡張
PostgreSQLのインデックスとして使える
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

PGroonga（ぴーじーるんが）とは？
PostgreSQLのデータを使って全文検索する
= ゼロETLで利用できる
PostgreSQLの構文をほぼそのまま使える
= 学習コストが低い
4.0.5からセマンティックサーチが使える
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

pgvectorとPGroongaの違い
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

pgvectorとPGroongaの違い
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

テキスト -> ベクトルデータへの変換
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

pgvectorのメリット
ベクトルデータへ変換するサービスは複数あ
るので、用途に合わせた組み合わせができる
ベクトルデータ変換と検索でリソースを分割
できる
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

pgvectorのデメリット
変換したベクトルデータをシステム間でやり
とりする必要がある
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

PGroongaのメリット
ベクトルデータをシステム間でやりとりする
必要がない
RaBitQというアルゴリズムを使って、デー
タサイズを少なくできる
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

PGroongaのデメリット
ベクトルデータへの変換は固定的
ベクトルデータ変換と検索でリソースが同一
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

RaBitQとは？
ベクトルデータの
量子化手法の一つ
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

RaBitQを採用した理由
データ量を大幅に
少なく出来る
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

データ量を大幅に少なく出来る
各32bit浮動少数点数を
1ビットで表現
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

データ量を大幅に少なく出来る
単純にデータサイズは
1/32になる
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

pgvectorとPGroongaでデータ登録と検索

pgvectorのデータ登録と検索
CREATE EXTENSION IF NOT EXISTS vector;
CREATE TABLE contents_for_pgvector (
content text,
content_embedding vector(384)
);
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

pgvectorのデータ登録と検索
INSERT INTO contents_for_pgvector (content, content_embedding)
SELECT 'I am a boy', (pgroonga_language_model_vectorize(
'hf:///groonga/all-MiniLM-L6-v2-Q4_K_M-GGUF',
'I am a boy'));
INSERT INTO contents_for_pgvector (content, content_embedding)
SELECT 'I am a dog', (pgroonga_language_model_vectorize(
'hf:///groonga/all-MiniLM-L6-v2-Q4_K_M-GGUF',
'I am a dog'));
INSERT INTO contents_for_pgvector (content, content_embedding)
SELECT 'I am a king', (pgroonga_language_model_vectorize(
'hf:///groonga/all-MiniLM-L6-v2-Q4_K_M-GGUF',
'I am a king'));
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

pgvectorのデータ登録と検索
SELECT * FROM contents_for_pgvector;
-- I am a boy | [-0.05031514,0.10813845,...,-0.12843993]
-- I am a dog | [-0.03515085,-0.0059523215,...,-0.024966048]
-- I am a king | [-0.030026972,0.057919234,...,-0.09476562]
-- (3 行)
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

pgvectorのデータ登録と検索
SELECT contents_for_pgvector.content,
(contents_for_pgvector.content_embedding <#> query_embedding.query) * -1 AS inner_product
FROM contents_for_pgvector,
(
SELECT CAST(pgroonga_language_model_vectorize(
'hf:///groonga/all-MiniLM-L6-v2-Q4_K_M-GGUF',
'boy') AS vector) AS query
) query_embedding
ORDER BY inner_product DESC;
--
content
|
inner_product
-- -------------+--------------------
-- I am a boy | 0.5909400582313538
-- I am a dog | 0.2753480076789856
-- I am a king | 0.1733587086200714
-- (3 行)
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

PGroongaのインデックス登録
DROP INDEX IF EXISTS pgroonga_content_semantic_search_index;
CREATE INDEX pgroonga_content_semantic_search_index ON contents_for_pgroonga
USING pgroonga (content pgroonga_text_semantic_search_ops_v2)
WITH (plugins = 'language_model/knn',
model = 'hf:///groonga/multilingual-e5-large-Q4_K_M-GGUF');
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

PGroongaのデータ登録と検索
CREATE EXTENSION IF NOT EXISTS pgroonga;
CREATE TABLE contents_for_pgroonga (
content text
);
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

PGroongaのデータ登録と検索
INSERT INTO contents_for_pgroonga VALUES ('I am a boy');
INSERT INTO contents_for_pgroonga VALUES ('I am a dog');
INSERT INTO contents_for_pgroonga VALUES ('I am a king');
SELECT * FROM contents_for_pgroonga;
--
content
-- -------------
-- I am a boy
-- I am a dog
-- I am a king
-- (3 行)
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

PGroongaのデータ登録と検索
SELECT content, pgroonga_score(tableoid, ctid)
FROM contents_for_pgroonga
WHERE content &@* pgroonga_condition('boy');
--
content
|
pgroonga_score
-- -------------+--------------------
-- I am a boy | 0.8671597838401794
-- I am a king | 0.5496522784233093
-- I am a dog | 0.5450347065925598
-- (3 行)
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

PGroongaのデータ登録と検索
PGroongaが内部で保持している
ベクトルデータ
-- [1,1,"I am a boy","mjctvB1JDj5pur67C/ ... ICPMFQi7wSL8q9"],
-- [2,2,"I am a dog","BwGXu4YNUj2Yi5k9j+ ... nDPPL4ijySlqy7"],
-- [3,3,"I am a king","1lklOxiXvj2rSB69VG ... tbvVHmDr1wSFK9"]
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

本日の内容
1. キーワード検索とセマンティックサーチの
比較
2. PostgreSQLでセマンティクサーチ
3. セマンティックサーチを実現するために
4. 性能とユースケース
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

測定環境
GPUなし
PostgreSQL 18
PGroonga mainブランチ
pgvector v0.8.1
IVFFlatインデックス
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

測定に使ったデータ
Wikipediaのタイトル
1,477,194 件
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

測定項目
検索速度
ベクトルデータのサイズ
インデックス作成時間
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

検索速度: PGroonga
検証用のクエリ:
SET enable_seqscan = off;
SELECT COUNT(title) FROM wikipedia
ORDER BY title <&@*> pgroonga_condition('異世界転生して無双したよ')
LIMIT 5;
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

検索速度: pgvector
検証用のクエリ:
SET enable_seqscan = off;
SELECT COUNT(title) FROM wikipedia
ORDER BY embedding <-> '['異世界転生して無双したよ'のベクトル]'
LIMIT 5;
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

検索速度: 結果: PGroonga
5回実行した中央値: 108.868 ms
ベクトルの生成も含む
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

検索速度: 結果: pgvector
5回実行した中央値: 12.166 ms
ベクトルの生成は含まず
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータサイズ
float4の384次元のベクトルデータ:
4バイト * 384 = 1,536バイト
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

PGroongaのベクトルデータ
PGroongaではfloat4の384次元のベクトル
データを量子化
量子化したベクトルデータをバイナリーで保
持
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

PGroongaのインデックス作成時間
PGroongaの場合インデックスの作成時間は
「ベクトル化 + インデックスの作成時間」
ベクトル化がすごく遅い
ただ、GPUの有無や、使う言語モデルによっ
ても大きく速度が変わる
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ユースケース:
PostgreSQLのドキュメントを検索
テーブルを消す
クエリを検索
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

キーワード検索：結果
SELECT title, SUBSTRING(content FROM 0 FOR 10)
FROM jpug_doc_contents
WHERE content LIKE '%テーブル%消す%'
LIMIT 5;
--
title
|
substring
-- -------------------+------------------
-- contrib
| 付録F 追加で提供
-- ddl-priv
| 5.8. 権限
-- ddl-schemas
| 5.10. スキー
-- explicit-locking | 13.3. 明示的
-- extend-extensions | 36.17. 関連
-- (5 rows)
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

セマンティックサーチ：結果
PGroongaだと直接テキストで検索できる
SELECT title, SUBSTRING(content FROM 0 FOR 10)
FROM jpug_doc_contents
ORDER BY content <&@*> pgroonga_condition('テーブルを消す')
LIMIT 5;
--
title
|
substring
-- --------------------+---------------
-- tutorial-table
| 2.3. 新しいテ
-- ddl-basics
| 5.1. テーブル
-- ddl-alter
| 5.7. テーブル
-- sql-delete
| DELETEDEL
-- sql-droptablespace | DROP TABL
-- (5 rows)
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

まとめ
PostgreSQLから簡単に
セマンティックサーチ
を使えるようになりま
した！
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

PostgreSQLでの
セマンティックサーチへの挑戦
株式会社クリアコード
堀本泰弘
PostgreSQL Conference Japan 2025
阿部智晃
2025-11-21
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

本日のゴール
PostgreSQLで簡単に
セマンティックサーチ
が使えることを
実感してもらう
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

本日の内容
1. キーワード検索とセマンティックサーチの
比較
2. セマンティックサーチを実現するために
3. PostgreSQLでセマンティクサーチ
4. 性能とユースケース
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

本日の内容
1. キーワード検索とセマンティックサーチの
比較
2. セマンティックサーチを実現するために
3. PostgreSQLでセマンティクサーチ
4. 性能とユースケース
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

キーワード検索の利点と課題
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

キーワード検索の利点と課題
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

キーワード検索の利点と課題
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

キーワード検索の利点と課題
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

キーワード検索の利点と課題
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

セマンティックサーチの利点と課題
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

本日の内容
1. キーワード検索とセマンティックサーチの
比較
2. セマンティックサーチを実現するために
3. PostgreSQLでセマンティクサーチ
4. 性能とユースケース
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

セマンティックサーチに必要な技術
1. テキスト -> ベクトルデータへの変換
2. ベクトルデータの類似度の計算
3. ベクトルデータの効率的な検索
4. ベクトルデータの圧縮
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

テキスト -> ベクトルデータへの変換
意味で検索するとは？
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

テキスト -> ベクトルデータへの変換
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

テキスト -> ベクトルデータへの変換
意味をベクトル
として表現できる
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

テキスト -> ベクトルデータへの変換
ベクトルは
距離を計算できる
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータの類似度の計算
どれだけ似ているか
- ベクトル間の距離が近い = 似ている
- ベクトル間の距離が遠い = 似ていない
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータの類似度の計算
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータの類似度の計算
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータの効率的な検索
全てのベクトルと類似
度を計算するのか？
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータの効率的な検索
線形探索は
現実的ではない
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータの効率的な検索
一部のベクトルデータ
だけを検索
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータの効率的な検索（イメージ）
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータの効率的な検索（イメージ）
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータの効率的な検索（イメージ）
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータの効率的な検索（イメージ）
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータの圧縮
自然言語を変換した
ベクトルデータは
大きい
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータの圧縮
次元数：大
▶データサイズ：大
▶メモリーに乗らない
▶ 性能劣化
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータの圧縮
データ量の削減が必要
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

圧縮方法
主な圧縮方法
1. ベクトルの次元を削減
2. ベクトルの量子化
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

圧縮方法
どちらの方法も
圧縮前のベクトルの
特徴をなるべく維持
して圧縮
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

本日の内容
1. キーワード検索とセマンティックサーチの
比較
2. セマンティックサーチを実現するために
3. PostgreSQLでセマンティクサーチ
4. 性能とユースケース
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

PostgreSQLのセマンティクサーチ
セマンティックサーチを使うには？
pgvectorを使う
PGroongaを使う
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

pgvectorとは？
類似したベクトルデータを検索する機能を提
供するPostgreSQLの拡張機能
類似度の計算方法が多数提供されている
インデックスを使用して検索を高速化できる
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

PGroonga（ぴーじーるんが）とは？
全言語対応の超高速全文検索機能を提供する
拡張
PostgreSQLのインデックスとして使える
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

PGroonga（ぴーじーるんが）とは？
PostgreSQLのデータを使って全文検索する
= ゼロETLで利用できる
PostgreSQLの構文をほぼそのまま使える
= 学習コストが低い
4.0.5からセマンティックサーチが使える
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

pgvectorとPGroongaの違い
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

pgvectorとPGroongaの違い
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

テキスト -> ベクトルデータへの変換
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

pgvectorのメリット
ベクトルデータへ変換するサービスは複数あ
るので、用途に合わせた組み合わせができる
ベクトルデータ変換と検索でリソースを分割
できる
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

pgvectorのデメリット
変換したベクトルデータをシステム間でやり
とりする必要がある
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

PGroongaのメリット
ベクトルデータをシステム間でやりとりする
必要がない
RaBitQというアルゴリズムを使って、デー
タサイズを少なくできる
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

PGroongaのデメリット
ベクトルデータへの変換は固定的
ベクトルデータ変換と検索でリソースが同一
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

RaBitQとは？
ベクトルデータの
量子化手法の一つ
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

RaBitQを採用した理由
データ量を大幅に
少なく出来る
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

データ量を大幅に少なく出来る
各32bit浮動少数点数を
1ビットで表現
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

データ量を大幅に少なく出来る
単純にデータサイズは
1/32になる
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

pgvectorとPGroongaでデータ登録と検索

pgvectorのデータ登録と検索
CREATE EXTENSION IF NOT EXISTS vector;
CREATE TABLE contents_for_pgvector (
content text,
content_embedding vector(384)
);
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

pgvectorのデータ登録と検索
INSERT INTO contents_for_pgvector (content, content_embedding)
SELECT 'I am a boy', (pgroonga_language_model_vectorize(
'hf:///groonga/all-MiniLM-L6-v2-Q4_K_M-GGUF',
'I am a boy'));
INSERT INTO contents_for_pgvector (content, content_embedding)
SELECT 'I am a dog', (pgroonga_language_model_vectorize(
'hf:///groonga/all-MiniLM-L6-v2-Q4_K_M-GGUF',
'I am a dog'));
INSERT INTO contents_for_pgvector (content, content_embedding)
SELECT 'I am a king', (pgroonga_language_model_vectorize(
'hf:///groonga/all-MiniLM-L6-v2-Q4_K_M-GGUF',
'I am a king'));
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

pgvectorのデータ登録と検索
SELECT * FROM contents_for_pgvector;
-- I am a boy | [-0.05031514,0.10813845,...,-0.12843993]
-- I am a dog | [-0.03515085,-0.0059523215,...,-0.024966048]
-- I am a king | [-0.030026972,0.057919234,...,-0.09476562]
-- (3 行)
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

pgvectorのデータ登録と検索
SELECT contents_for_pgvector.content,
(contents_for_pgvector.content_embedding <#> query_embedding.query) * -1 AS inner_product
FROM contents_for_pgvector,
(
SELECT CAST(pgroonga_language_model_vectorize(
'hf:///groonga/all-MiniLM-L6-v2-Q4_K_M-GGUF',
'boy') AS vector) AS query
) query_embedding
ORDER BY inner_product DESC;
--
content
|
inner_product
-- -------------+--------------------
-- I am a boy | 0.5909400582313538
-- I am a dog | 0.2753480076789856
-- I am a king | 0.1733587086200714
-- (3 行)
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

PGroongaのインデックス登録
DROP INDEX IF EXISTS pgroonga_content_semantic_search_index;
CREATE INDEX pgroonga_content_semantic_search_index ON contents_for_pgroonga
USING pgroonga (content pgroonga_text_semantic_search_ops_v2)
WITH (plugins = 'language_model/knn',
model = 'hf:///groonga/multilingual-e5-large-Q4_K_M-GGUF');
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

PGroongaのデータ登録と検索
CREATE EXTENSION IF NOT EXISTS pgroonga;
CREATE TABLE contents_for_pgroonga (
content text
);
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

PGroongaのデータ登録と検索
INSERT INTO contents_for_pgroonga VALUES ('I am a boy');
INSERT INTO contents_for_pgroonga VALUES ('I am a dog');
INSERT INTO contents_for_pgroonga VALUES ('I am a king');
SELECT * FROM contents_for_pgroonga;
--
content
-- -------------
-- I am a boy
-- I am a dog
-- I am a king
-- (3 行)
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

PGroongaのデータ登録と検索
SELECT content, pgroonga_score(tableoid, ctid)
FROM contents_for_pgroonga
WHERE content &@* pgroonga_condition('boy');
--
content
|
pgroonga_score
-- -------------+--------------------
-- I am a boy | 0.8671597838401794
-- I am a king | 0.5496522784233093
-- I am a dog | 0.5450347065925598
-- (3 行)
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

PGroongaのデータ登録と検索
PGroongaが内部で保持している
ベクトルデータ
-- [1,1,"I am a boy","mjctvB1JDj5pur67C/ ... ICPMFQi7wSL8q9"],
-- [2,2,"I am a dog","BwGXu4YNUj2Yi5k9j+ ... nDPPL4ijySlqy7"],
-- [3,3,"I am a king","1lklOxiXvj2rSB69VG ... tbvVHmDr1wSFK9"]
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

本日の内容
1. キーワード検索とセマンティックサーチの
比較
2. PostgreSQLでセマンティクサーチ
3. セマンティックサーチを実現するために
4. 性能とユースケース
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

測定環境
GPUなし
PostgreSQL 18
PGroonga mainブランチ
pgvector v0.8.1
IVFFlatインデックス
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

測定に使ったデータ
Wikipediaのタイトル
1,477,194 件
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

測定項目
検索速度
ベクトルデータのサイズ
インデックス作成時間
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

検索速度: PGroonga
検証用のクエリ:
SET enable_seqscan = off;
SELECT COUNT(title) FROM wikipedia
ORDER BY title <&@*> pgroonga_condition('異世界転生して無双したよ')
LIMIT 5;
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

検索速度: pgvector
検証用のクエリ:
SET enable_seqscan = off;
SELECT COUNT(title) FROM wikipedia
ORDER BY embedding <-> '['異世界転生して無双したよ'のベクトル]'
LIMIT 5;
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

検索速度: 結果: PGroonga
5回実行した中央値: 108.868 ms
ベクトルの生成も含む
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

検索速度: 結果: pgvector
5回実行した中央値: 12.166 ms
ベクトルの生成は含まず
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ベクトルデータサイズ
float4の384次元のベクトルデータ:
4バイト * 384 = 1,536バイト
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

PGroongaのベクトルデータ
PGroongaではfloat4の384次元のベクトル
データを量子化
量子化したベクトルデータをバイナリーで保
持
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

PGroongaのインデックス作成時間
PGroongaの場合インデックスの作成時間は
「ベクトル化 + インデックスの作成時間」
ベクトル化がすごく遅い
ただ、GPUの有無や、使う言語モデルによっ
ても大きく速度が変わる
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

ユースケース:
PostgreSQLのドキュメントを検索
テーブルを消す
クエリを検索
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

キーワード検索：結果
SELECT title, SUBSTRING(content FROM 0 FOR 10)
FROM jpug_doc_contents
WHERE content LIKE '%テーブル%消す%'
LIMIT 5;
--
title
|
substring
-- -------------------+------------------
-- contrib
| 付録F 追加で提供
-- ddl-priv
| 5.8. 権限
-- ddl-schemas
| 5.10. スキー
-- explicit-locking | 13.3. 明示的
-- extend-extensions | 36.17. 関連
-- (5 rows)
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

セマンティックサーチ：結果
PGroongaだと直接テキストで検索できる
SELECT title, SUBSTRING(content FROM 0 FOR 10)
FROM jpug_doc_contents
ORDER BY content <&@*> pgroonga_condition('テーブルを消す')
LIMIT 5;
--
title
|
substring
-- --------------------+---------------
-- tutorial-table
| 2.3. 新しいテ
-- ddl-basics
| 5.1. テーブル
-- ddl-alter
| 5.7. テーブル
-- sql-delete
| DELETEDEL
-- sql-droptablespace | DROP TABL
-- (5 rows)
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

まとめ
PostgreSQLから簡単に
セマンティックサーチ
を使えるようになりま
した！
PostgreSQLでのセマンティックサーチへの挑戦
Powered by Rabbit 4.0.1

0 / 72