Prestoクエリログの保存/分析機能の構築 #yjdsnight

Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
2017年3月15日
ヤフー株式会社クエリエンジンチーム曾臻
Prestoクエリログの保存／
分析機能の構築

Agenda
2
1. 自己紹介
2. 現在の課題
3. Prestoログの保存
4. Prestoログの分析
5. アーキテクチャ
6. まとめ

Agenda
3
1. 自己紹介
2. 現在の課題
6. まとめ

１．自己紹介
4
名前：曾臻
所属：ヤフー株式会社 D&Sソリューション
統括本部クエリエンジン
経歴 :
Presto開発・運用
広告システム開発

Agenda
5
1. 自己紹介
2. 現在の課題
6. まとめ

２．現在の課題
6
 Prestoを再起動したらクエリログが消える
 クエリ情報の保存は上限がある
 JVMのMetrics分析が難しい

Agenda
7
1. 自己紹介
2. 現在の課題
6. まとめ

３．Prestoログの保存：クエリログ
8
最初の試み
• SYSTEMコネクターでクエリの履歴を取得
• 定期的にクエリ情報をほかのデータベースに保存
参考：https://prestodb.io/docs/current/connector/system.html
SELECT
*
FROM
system.runtime.queries;

9
データの保存はまだ課題：
• 保存前にクラスターを再起動したら、クエリログが消える
• 頻繁すぎると、クラスターの負担になる
解決方法：
• クエリ実行でトリガーする

10
去年からTeradata、日本テラデータとCoDevを行っている
アメリカ出張でBootcampを実施
Prestoの内部構成、開発手法等を教えてもらった
ハーバード大学も見学（頭が少し良くなった気がする）
日本に戻った後でも活発的に交流している

11
コミュニティのエンジニアと意見を交換
1. EventListenerでクエリログ保存
2. JMXコネクターでJVMのMetrics保存
EventListener: https://prestodb.io/docs/current/develop/event-listener.html
JMX: https://prestodb.io/docs/current/connector/jmx.html

12
PrestoのPluginを開発し、
クエリ情報をJSONファイルに保存

13

14
クエリログの保存：
Frontend
UI
Presto
Coordinator
Presto
Worker
Presto
Worker
Presto
Worker
Object
storage
(2) Run queries and write logs
(3)Use Fluentd plugin
to send logs(1) HTTP requests

３．Prestoログの保存：JMX
15
JVM情報もPresto JMXコネクターを
利用して、簡単に取れた。
しかしどうやって保存？
参考：https://prestodb.io/docs/current/connector/jmx.html

16
JMX情報保存の流れ：
JVM Metrics
→Fluentd plugin + Presto JMX Connector
→ Fluentd s3 plugin
→ 社内Object Storage

17
JMX情報の保存：
Presto
Coordinator
Presto
Worker
Presto
Worker
Presto
Worker
Object
storage
to send logs
(1) JMX Connector（HTTP requests）
select * from "java.lang:type=operatingsystem"

Agenda
18
1. 自己紹介
2. 現在の課題
6. まとめ

４．Prestoログの分析
19

20

21
分析

22
• JSONをObject Storageに保存
• Hive MetastoreでTableを作成
• SQL文で、Slow Query／リソース利
用の分析

Agenda
23
1. 自己紹介
2. 自己紹介現在の課題
6. まとめ

５．アーキテクチャ
24
Frontend
UI
Presto
Coordinator
Presto
Worker
Presto
Worker
Presto
Worker
Object
storage
to send logs
(1-1) SQL Query(HTTP requests)
(1-2)SQL with JMX Connector （HTTP requests）
Hive
metastore

Agenda
25
1. 自己紹介
2. 現在の課題
6. まとめ

６．まとめ
26
１）課題解決
• クエリ保存:Presto plugin 開発
• JMX情報保存:
JMX connector + fluentd plugin活用
２）OSSコミュニティとの交流
• 機能追加が順調にできた
• コミュニティへの還元もしていきたい

Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved.
EOP

Prestoクエリログの保存/分析機能の構築 #yjdsnight

More Related Content

What's hot (20)

Viewers also liked (20)

Similar to Prestoクエリログの保存/分析機能の構築 #yjdsnight (20)

More from Yahoo!デベロッパーネットワーク (20)

Recently uploaded (7)

Prestoクエリログの保存/分析機能の構築 #yjdsnight