MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS編〜」
21 likes26,817 views
MySQL Casual Talks Vol.4 でのライトニングトークに利用した資料です。 MySQL-5.6.4より「InnoDB FTS」としてInnoDBで全文検索機能が加わりました。 この全文検索機能を利用し、日本語の全文検索エンジンとしての可能性を探ります。 ブログ記事はこちらです。 http://y-ken.hatenablog.com/entry/mysql-casual-talks-vol4-innodb-fts
Ad
More Related Content
What's hot (20)
Similar to MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS編〜」 (20)
Ad
More from Kentaro Yoshida (12)
Ad
MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索 〜InnoDB FTS編〜」
- 1. MySQL-5.6で始める全文検索 ∼InnoDB FTS編∼ MySQL Casual Talks #4 Kentaro Yoshida @yoshi_ken
- 3. 自己紹介 よしけんさん の中の人 研究開発系の インフラエンジニア 興味分野 MySQL, Fluentd, Ruby, KVM, DRBD, Nginx, Redis, MongoDB, etc...
- 5. MySQL-5.6時代の 全文検索プロダクト紹介 （mroonga / InnoDB-FTS / SphinxSE）
- 9. mroonga (groonga) Tritonn (Senna) の後継プロダクト 参照ロックフリー 完全転置索引を採用 MeCabやN-gramでの分かち書きに対応 N-gramおよびCJKに対応
- 10. InnoDB FTS (FullTextSearch) MySQL-5.6.4から正式対応（しかも標準） 参照ロックフリー mroonga (groonga) 同様に完全転置索引を採用 空白区切りの単語のみ検索可能 現状、N-gramおよびCJKには非対応
- 11. Sphinx SE (Search Engine) 概要 by wikipedia http://en.wikipedia.org/wiki/ Sphinx_(search_engine) 日本語解説 by IBM http://www.ibm.com/developerworks/jp/ opensource/library/os-sphinx/? cmp=dw&cpb=dwope&ct=dwrss&cr=dwrss& ccy=jp&csr=120911 storage plugin対応 http://sphinxsearch.com/docs/ current.html#sphinxse-using リアルタイムインデック ス非対応（疑惑） http://www.slideshare.net/conmame/ ss-12117195/9 ベンチマーク http://www.percona.com/files//presentations/ opensql2008_sphinx.pdf http://www.slideshare.net/billkarwin/practical-full- text-search-with-my-sql インストール方法 http://www.howtoforge.com/sphinx-as- mysql-storage-engine-sphinxse 日本語 (CJK) 対応状況 http://www.ivinco.com/blog/using-sphinx- search-engine-with-chinese-japanese-and- korean-language-documents/ MySQL-5.6.10対応状況 http://sphinxsearch.com/bugs/view.php? id=1419
- 12. 全文検索デモ (mroonga) テーブル作成 CREATE TABLE search_with_mroonga ( id INT PRIMARY KEY AUTO_INCREMENT, subject TEXT, content TEXT, FULLTEXT INDEX (subject,content) ) ENGINE = mroonga DEFAULT CHARSET utf8 collate utf8_unicode_ci ;
- 13. 全文検索デモ (mroonga) データ登録 INSERT INTO search_with_mroonga (subject, content) VALUES ( ‘MySQL’, ’MySQL（マイエスキューエル）は、オラクルが開 発するRDBMS（リレーショナルデータベースを管理、運 用するためのシステム）の実装の一つである。’ );
- 14. 全文検索デモ (mroonga) データ検索 SELECT * FROM search_with_mroonga WHERE MATCH(subject,content) AGAINST('+オラクル' IN BOOLEAN MODE);
- 15. 全文検索デモ (InnoDB FTS) テーブル作成 CREATE TABLE search_with_innodb ( id INT PRIMARY KEY AUTO_INCREMENT, subject TEXT, content TEXT, FULLTEXT INDEX (subject,content) ) ENGINE=InnoDB DEFAULT CHARSET utf8 collate utf8_unicode_ci ;
- 16. 全文検索デモ (InnoDB FTS) 分かち書き with CLI echo "MySQL（マイエスキューエル）は、オラクルが 開発するRDBMS（リレーショナルデータベースを管理、 運用するためのシステム）の実装の一つである。" | mecab --output-format-type wakati
- 17. 全文検索デモ (InnoDB FTS) 分かち書き with Ruby # -*- encoding: utf-8 -*- require 'MeCab' wakati = MeCab::Tagger.new('-O wakati') puts wakati.parse('本日も良い天気です')
- 18. 全文検索デモ (InnoDB FTS) データ登録 INSERT INTO search_with_innodb (subject, content) VALUES ( ‘MySQL’, ’MySQL （ マイエスキューエル ） は 、 オラク ル が 開発 する RDBMS （ リレーショナル データ ベース を 管理 、 運用 する ため の システム ） の 実装 の 一つ で ある 。’ );
- 19. 全文検索デモ (InnoDB FTS) データ検索 SELECT * FROM search_with_innodb WHERE MATCH(subject,content) AGAINST('+オラクル' IN BOOLEAN MODE);
- 20. ベンチマーク Oracle公式MySQL-5.6.10にmroonga-3.02を入れ、 mroongaとInnoDB-FTSの性能比較試験を行う 書き込み性能 全文検索性能 利用マシン Intel Xeon L5520 2.27GHz, 16GB Memory CentOS 6.4 (x86_64)
- 22. ベンチマーク search_with_mroonga_ngram CREATE TABLE search_with_mroonga_ngram ( id INT PRIMARY KEY AUTO_INCREMENT, subject TEXT, content TEXT, FULLTEXT (subject,content) ) ENGINE=mroonga DEFAULT CHARSET utf8 collate utf8_unicode_ci ;
- 23. ベンチマーク search_with_mroonga_mecab CREATE TABLE search_with_mroonga_mecab ( id INT PRIMARY KEY AUTO_INCREMENT, subject TEXT, content TEXT, FULLTEXT (subject,content) COMMENT 'parser "TokenMecab"' ) ENGINE=mroonga DEFAULT CHARSET utf8 collate utf8_unicode_ci ;
- 25. ベンチマーク search_with_innodb_ngram CREATE TABLE search_with_innodb_ngram ( id INT PRIMARY KEY AUTO_INCREMENT, subject TEXT, content TEXT, FULLTEXT (subject,content) ) ENGINE=InnoDB DEFAULT CHARSET utf8 collate utf8_unicode_ci ;
- 26. ベンチマーク search_with_innodb_mecab CREATE TABLE search_with_innodb_mecab ( id INT PRIMARY KEY AUTO_INCREMENT, subject TEXT, content TEXT, FULLTEXT (subject,content) ) ENGINE=InnoDB DEFAULT CHARSET utf8 collate utf8_unicode_ci ;
- 28. ベンチ：更新性能 tsvデータの容量 ngramはbi-gramのため、2倍以上の容量となります。 $ ls -sh wikipedia_*.tsv 408M wikipedia_mecab.tsv 798M wikipedia_ngram.tsv 345M wikipedia_plain.tsv
- 29. ベンチ：更新性能 クエリ例 LOAD DATA LOCAL INFILE '/path/to/wikipedia_mecab.tsv' INTO TABLE search_with_innodb_mecab FIELDS TERMINATED BY 't' LINES TERMINATED BY 'n' (id,subject,content);
- 30. ベンチ：更新性能 0 1000 2000 3000 4000 75万件の登録所要時間（秒） 3054.54 329.8 629.57 178.01 mroonga mecab InnoDB FTS mecab mroonga ngram InnoDB FTS ngram
- 31. tsvデータを5万行毎のファイル15個に分割し、 LOAD DATA LOCAL INFILEを立て続けに行った際、 速度がどのように変化していくかを計測しました。
- 32. ベンチ：更新性能 0 100 200 300 400 50k 100k 150k 200k 250k 300k 350k 400k 450k 500k 550k 600k 650k 700k 750k mroonga mecab InnoDB FTS mecab mroonga ngram InnoDB FTS ngram 5万件単位での書き込み所要時間（秒）
- 34. ベンチ：更新性能 0 15 30 45 60 50k 100k 150k 200k 250k 300k 350k 400k 450k 500k 550k 600k 650k 700k 750k mroonga mecab InnoDB FTS mecab 5万件単位での書き込み所要時間（秒）
- 36. ベンチ：全文検索性能 5万件の単語を直列に全文検索する際の所要秒数を 計測し、全文検索性能の比較を行います 単語データは、MeCab-IPA辞書の名詞版（固有名 詞・地域）から5万件を抽出しています $ nkf -w src/mecab-ipadic-2.7.0-20070801/ Noun.place.csv | cut -d"," -f1 | sort | uniq | sort -R | head -n 50000
- 38. ベンチ：全文検索性能 1ワード 0 50 100 150 200 61.638 187.944 55.152 163.824 mroonga mecab InnoDB FTS mecab mroonga ngram InnoDB FTS ngram 75万レコードに対して5万単語を順次SELECTした際の実行所要時間（秒）
- 39. 5万単語を用意して直列に順次検索を行いましたが、 該当件数が0件となる単語が半数ある事を補足します。 search_with_mroonga_mecab: Noresult count: 33658 search_with_innodb_mecab: Noresult count: 24950 search_with_mroonga_ngram: Noresult count: 23129 search_with_innodb_ngram: Noresult count: 35500
- 40. まとめ MySQL-5.6.4 以降で使えるようになった InnoDB FTSは意外と実用的です InnoDB FTSを使うならアプリ側で MeCabを用いた分かち書きをしましょう MySQL単体で全文検索を実現したい場合の mroonga以外の選択肢が、1つ増えました
- 42. 次回予告
- 44. ご清聴ありがとうございました。