Rabbit Slide Show

Groongaでのタグ検索と表記揺れとの戦い

Description

Text

Page: 1

Groongaでのタグ検索と
表記揺れとの戦い
       
                       
          
                      
                             

Page: 2

自⼰紹介
✓                           
                       
✓      
                          
 
 
✓                                    
 
 
✓                               
✓                  
✓                          
                  
                                  
                      
                             

Page: 3

✓                               
                       
✓                         
✓                           
✓                  
                                    
          
✓                        
✓                    
                                       
                          
                      
                             

Page: 4

Groongaのタグ検索を使っているとろ
✓                    
✓                              
✓                        
✓                         
✓                    
✓                      
              
                      
                             

Page: 5

Groongaのタグ検索のいいところ
✓          
✓                          
                    
✓               
           
      
 
 
    
 
 
                      
           
      
      
         
   
   
                             

Page: 6

Groongaのタグ検索のいいところ
✓           
✓              
✓                  
✓                  
      
 
 
                      
           
                  
        
                             

Page: 7

Groongaのタグ検索のいいところ
✓                        
        
✓                       
                     
✓                   
              
 
     
   
                      
   
         
        
           
     
           
   
  
                             

Page: 8

タグ検索で困ったこと
✓            
                         
   
✓                  
✓                        
                      
                             

Page: 9

KABUSHIKI
KAISHA
                      
                             

Page: 10

KABUSHIKI
KAISYA
                      
                             

Page: 11

KABUSHIKI
GAISHA
                      
                             

Page: 12

KABUSHIKI
KAAISHA
                      
                             

Page: 13

KABSHIKI
KAISHA
                      
                             

Page: 14

KABUHSIKI
KAISHA
                      
                             

Page: 15

KABUSHIKI
DAISHA
                      
                             

Page: 16

KABUSHIKI
KISHA
                      
                             

Page: 17

KABUSHIKI
KEISHA
                      
                             

Page: 18

KABUSHIKI
HAISHA
                      
                             

Page: 19

負けては
いけませ
ん
                      
                             

Page: 20

タグの表記揺れで問題になること
✓            
✓                              
                             
               
✓                            
                             
✓               
✓                                  
       
                      
                             

Page: 21

表記揺れの主な種類
✓              
✓              
✓          
✓                   
✓                  
✓                 
✓           
✓ 誤字/脱字(Typo)
                      
                             

Page: 22

表記揺れ(Typo)の単語を抽出するプラグイ
ン gronoga-term-similar
✓                          
                                            
✓                     
             
✓                        
     
                      
                             

Page: 23

表記揺れ(Typo)の検出⽅法
✓                       
                      
 
✓               
✓                                                         
✓                       
          
✓                     
✓          
                      
                             

Page: 24

Patricia Trieによる前⽅⼀致検索
✓                       
✓                       
                        
        
✓ Da          Da        Da                      
✓           
                         
   
                      
 
 
 
                             

Page: 25

編集距離(Levenshtein distance)
✓                       
✓                        
            
✓                     t            
✓                     a           
✓                     _           
✓                            a   _           
                      
                             

Page: 26

KABUSHIKI
KAISHA
                      
                             

Page: 27

KABUHSIKI
KAISHA
                      
                             

Page: 28

KABUSHIKI
DAISHA
                      
                             

Page: 29

Damerau-Levenshtein distance
✓                        
✓                          
 
✓                       
                    
✓               
✓                            na             
                      
                             

Page: 30

qwerty配置のキーボード距離
✓                        
✓                       
                     
✓                       
              
✓                                     we       
✓                                      e     o 
✓                           
      
                      
                             

Page: 31

多くの⽂書に出現しているタグを選択
(optional)
✓                       
                
✓                          
                   
                                    
                 
✓              
Database = DF:200/Distance:11
                               
                               
                      
                             

Page: 32

表記揺れ(Typo)の検出⽅法
✓                            
✓                                   
✓                                       
✓                        
✓                     
✓                       
                      
✓ Typoの修正候補ぽいのが抽出される
                      
                             

Page: 33

抽出例(DFオプションなし1)
                                        
 
     
                     
                    
                     
                      
                     
                     
     
 
✓                          
                      
                             

Page: 34

抽出例(DFオプションなし2)
                                        
 
     
                   
                   
                  
                    
     
 
✓                    
               
                      
                             

Page: 35

抽出例(DFオプションあり)
                                                         
 
     
                      
                 
                   
                  
     
 
✓                            
                          
                      
                             

Page: 36

タグの表記揺れで問題になること
✓ まとめてグループ集計できない
✓                                  
       
✓             
✓                 
✓                              
✓                    
                      
                             

Page: 37

投⼊タグを書き換えるプラグイン
gronoga-tag-synonym
           
✓            
                                           
✓                          
✓                                        
✓                    
✓                                  
✓                         
✓ Typoのあるタグが集約される
                      
                             

Page: 38

投⼊タグを書き換えるプラグイン
gronoga-tag-synonym
                                           
                 
                                             
                  
                                                      
                                                     
                                                                    
 
     
       
                  
                              
        
       
                  
                              
       
     
   
 
                      
                             

Page: 39

投⼊タグを書き換えるプラグイン
gronoga-tag-synonym
✓                      
✓                              
                             
          
✓                                  
       
✓                       
                
✓                          
                             
                      
                             

Page: 40

投⼊タグを書き換えるプラグイン
gronoga-tag-synonym
✓                  
                
✓                        
✓                  
                
           
✓              
                      
                             

Page: 41

TokenFilterTypoトークンフィルター
gronoga-term-similar
✓                          
                          
    
✓                              
   
                   
         
✓                          
                   
                      
                             

Page: 42

TokenFilterTypoトークンフィルター
gronoga-term-similar
                  
                                            
                                                       
   
                                     
   
                      
                             

Page: 43

Groongaのいいところ
✓                 
✓                      
                      
                             

Page: 44

タグの表記揺れでもうひとつ解決したいこと
あいまい検索
✓                    
                         自動 
            
✓       
✓                       
                      
        
✓                       
             
                      
                             

Page: 45

Thank
you for
your
attension
                      
                             

Page: 46

Thank
you for
your
attention
                      
                             

Other slides