mlr-grep - レコード指向grep
3 likes982 views
複数行にわたるログファイルの検索・抽出に便利な「レコード指向grep」コマンドの宣伝
![例えば、こんなデータの
$ cat data.txt
[one]
two
three
[foo]
bar
baz
[hoge]
piyo
huga
} キーワードを含むレコード行
全体を取り出したい。
3](https://image.slidesharecdn.com/mlr-grep-140830221706-phpapp01/85/mlr-grep-grep-3-320.jpg)
![例えば…
} キーワードを含む
$ amlgrep 'ba' …
[foo]
bar
baz
「レコード」全体を出力
8](https://image.slidesharecdn.com/mlr-grep-140830221706-phpapp01/85/mlr-grep-grep-8-320.jpg)
![$ amlgrep h t [--] [FILE]
[one]
two
three
[hoge]
piyo
huga
≒ egrep 'h|t' 。でも少ないキータイプ数
11](https://image.slidesharecdn.com/mlr-grep-140830221706-phpapp01/85/mlr-grep-grep-11-320.jpg)
![$ amlgrep -a h t …
[one]
two
three
≒ egrep 'h.*t|t.*h'
でも、少ないキー(ry
13](https://image.slidesharecdn.com/mlr-grep-140830221706-phpapp01/85/mlr-grep-grep-13-320.jpg)
![$ amlgrep -t --dump foo
gawk -W re-interval -F n -v RS='n(((Mon|
Tue|Wed|Thu|Fri|Sat),?[ t]+)?(Jan|Feb|
Mar|Apr|May|Jun|Jul|Aug|Sep|Oct|Dec),?
[ t]*[0-9]{1,2},?[ t][0-2][0-9]:[0-5]
[0-9](:[0-5][0-9])?(,?[ t]20[0-9][0-9])?|
20[0-9][0-9]-(0[0-9]|11|12)-(0[1-9]|[12]
[0-9]|3[01]))' '-v' 'ORS=' 'oldRT $0 ~ /
foo/ {i++;if(substr(oldRT,1,1)=="n")
{h=substr(oldRT,2)}else{h=oldRT};;gsub(/
foo/,"&",h);print h;gsub(/foo/,
"&");print;if(RT != "")printf "n"}
{oldRT=RT} END{if (i>0){exit 0}else{exit
1}}'
17](https://image.slidesharecdn.com/mlr-grep-140830221706-phpapp01/85/mlr-grep-grep-17-320.jpg)
![レコード区切りを変えるには
✦ --rs '^$'
✦ 空行
✦ --rs '^----'
✦ 4つ(以上)のダッシュで始まる
✦ --rs '^[[:alnum]]'
✦ 行頭に文字がある (ifconfig的な出力)
✦ --timestamp
≒ -rs '^(((Mon|Tue|Wed|Thu|Fri|Sat),?[t]+)?(Jan|Feb|Mar|Apr|May|Jun|
Jul|Aug|Sep|Oct|Dec),?[ t]*[0-9]{1,2},?[ t][0-2][0-9]:[0-5][0-9](:
[0-5][0-9])?(,?[ t]20[0-9][0-9])?|20[0-9][0-9]-(0[0-9]|11|12)-(0[1-9]|
[12][0-9]|3[01]))'
18](https://image.slidesharecdn.com/mlr-grep-140830221706-phpapp01/85/mlr-grep-grep-18-320.jpg)
mlr-grep - レコード指向grep
- 1. レコード指向grep mlr-grep ryo1kato @github @gmail @twitter @facebook
- 2. grepで、複数行のパ ターンを検索したい ! ✦ 複数行ログとか、*.ini とか ✦ ifconfig的な半構造化された出力 2
- 3. 例えば、こんなデータの $ cat data.txt [one] two three [foo] bar baz [hoge] piyo huga } キーワードを含むレコード行 全体を取り出したい。 3
- 4. よくやる方法としては… ✦ grep -A 12 -B 34 -C 56 ✦ pcregrep --multiline ✦ awk -v RS='nn' "/$re/" ✦ perl -e … 4
- 5. だけど… ✦ AWKなら一応、そこそこ簡単に可 能 ✦ pcregrep…正規表現がすごく長 くなる ✦元のレコードの「正しい抜粋」は 難しい (gawkは可能だが困難) ✦ perl … お好きにどうぞ 5
- 6. 更に、こんな便利機能も使いたい… ✦ zgrep ✦ grep -c (--count) ✦ grep -i (--ignore-case) ✦ grep -v (--invert-match) ✦ grep --color 6
- 7. そこで、作りました! ✦mlr-grep ✦Multi-Line Record Grep ✦AWK, Haskell, Python版の３種 ✦ 機能は、ほぼ同じ 7
- 8. 例えば… } キーワードを含む $ amlgrep 'ba' … [foo] bar baz 「レコード」全体を出力 8
- 9. ✦ amlgrep - AWK版 (gawk必須) ✦ 一番早い。RHEL5やで --rs に一部難あり ✦ *.{gz,bz2,xz} を自動で展開して読み込む。 ✦ --color, --count, --invert-match ✦ 複数キーワードのAND, OR ✦ hmlgrep - Haskell版 ✦ AWK版とほぼ同じ機能。ただし *.gz の自動展開は無し ✦ 少し遅い(短い行が多いと1.5~2倍ほど遅い) ✦ pymlgrep - Python版 ✦ 一番遅い(AWK版の4倍位) ✦ 複数キーワードはサポートせず 9
- 10. 便利機能1 複数キーワード 10
- 11. $ amlgrep h t [--] [FILE] [one] two three [hoge] piyo huga ≒ egrep 'h|t' 。でも少ないキータイプ数 11
- 12. 便利機能2 -a, --and 12
- 13. $ amlgrep -a h t … [one] two three ≒ egrep 'h.*t|t.*h' でも、少ないキー(ry 13
- 14. --timestamp ! 日付時刻入りの、 複数行logファイルに 14
- 15. $ cat datetime.log 2014-01-23 12:34:56 log 1 foo bar 2014-01-24 12:34:57 log 2 one two 2014-01-25 12:34:58 log 3 hoge piyo 15
- 16. $ amlgrep -t 'one' … 2014-01-24 12:34:57 log 2 one two 16
- 17. $ amlgrep -t --dump foo gawk -W re-interval -F n -v RS='n(((Mon| Tue|Wed|Thu|Fri|Sat),?[ t]+)?(Jan|Feb| Mar|Apr|May|Jun|Jul|Aug|Sep|Oct|Dec),? [ t]*[0-9]{1,2},?[ t][0-2][0-9]:[0-5] [0-9](:[0-5][0-9])?(,?[ t]20[0-9][0-9])?| 20[0-9][0-9]-(0[0-9]|11|12)-(0[1-9]|[12] [0-9]|3[01]))' '-v' 'ORS=' 'oldRT $0 ~ / foo/ {i++;if(substr(oldRT,1,1)=="n") {h=substr(oldRT,2)}else{h=oldRT};;gsub(/ foo/,"&",h);print h;gsub(/foo/, "&");print;if(RT != "")printf "n"} {oldRT=RT} END{if (i>0){exit 0}else{exit 1}}' 17
- 18. レコード区切りを変えるには ✦ --rs '^$' ✦ 空行 ✦ --rs '^----' ✦ 4つ(以上)のダッシュで始まる ✦ --rs '^[[:alnum]]' ✦ 行頭に文字がある (ifconfig的な出力) ✦ --timestamp ≒ -rs '^(((Mon|Tue|Wed|Thu|Fri|Sat),?[t]+)?(Jan|Feb|Mar|Apr|May|Jun| Jul|Aug|Sep|Oct|Dec),?[ t]*[0-9]{1,2},?[ t][0-2][0-9]:[0-5][0-9](: [0-5][0-9])?(,?[ t]20[0-9][0-9])?|20[0-9][0-9]-(0[0-9]|11|12)-(0[1-9]| [12][0-9]|3[01]))' 18