![Backgrounds
• 結合演算→集約演算は頻出パタン
– 正規化された関係Rを結合後に集計処理する場合など
• 結合前に集約することで効率化の可能性
– 結合選択率（join
selec'vity）と組（tuple）の重複度が高い
– Hyper
[9]において100x〜1000xの改善を確認
3
SELECT
a.gid,
SUM(b.value),
AVG(b.value)
FROM
a
LEFT
OUTER
JOIN
b
ON
(a.id=
b.id)
GROUP
BY
a.gid](https://image.slidesharecdn.com/20150516icde2015r19-4-150516023209-lva1-app6891/85/20150516-icde2015-r19-4-3-320.jpg)
![Backgrounds
• 90年前半に内部結合演算と集約演算のみに関する
等価性に関する提案 [4][5][6][7][8]
• 本論文では外部結合を含めた5つの結合演算に関
する包括的な等価性を議論
– le_
semijoin
– le_
an'join
– le_
outerjoin
– full
outerjoin
– groupjoin
[11]
4](https://image.slidesharecdn.com/20150516icde2015r19-4-150516023209-lva1-app6891/85/20150516-icde2015-r19-4-4-320.jpg)
20150516 icde2015 r19-4
- 1. Founda'ons of Query Processing R19-‐4: Dynamic Programming: The Next Step Takeshi Yamamuro 20150516@ICDE2015study 1
- 2. Outline • 結合演算（join）と集約演算（group-‐by）で構成される 関係代数式の等価性を包括的に定義 →より効率的な演算順序を探索することが可能に • 新たな等価性で拡大した探索空間に対して効率的 な演算順序の選択方法を議論 →実験から|R|が７までは全列挙が可能，１０までは探索の 枝刈り，それ以上は動的計画法（DP）を前提とした経験的な アプローチを適用することが妥当 2
- 3. Backgrounds • 結合演算→集約演算は頻出パタン – 正規化された関係Rを結合後に集計処理する場合など • 結合前に集約することで効率化の可能性 – 結合選択率（join selec'vity）と組（tuple）の重複度が高い – Hyper [9]において100x〜1000xの改善を確認 3 SELECT a.gid, SUM(b.value), AVG(b.value) FROM a LEFT OUTER JOIN b ON (a.id= b.id) GROUP BY a.gid
- 4. Backgrounds • 90年前半に内部結合演算と集約演算のみに関する 等価性に関する提案 [4][5][6][7][8] • 本論文では外部結合を含めた5つの結合演算に関 する包括的な等価性を議論 – le_ semijoin – le_ an'join – le_ outerjoin – full outerjoin – groupjoin [11] 4
- 5. ex.) 外部結合（outerjoin）の等価性 5 • 外部結合の左関係e1に集約演算をpush-‐down 集約演算Γ → 集約する属性Gと集約関数F（SUMやAVGなど） 関係e1とe2を条件qでfull outerjoin 左関係e1にpush-‐down
- 6. ex.) 外部結合（outerjoin）の等価性 6 • 外部結合の左関係e1に集約演算をpush-‐down ・G+ 1はe1の集約属性G1と結合属性J1の和集合 ・G+ 1と分割されたF1 1○(c1:count(*))を用いて集約処理 * 集約関数Fのdecomposability/splimabilityの定義は論文内Ⅱ-‐A. 2)/3)を参照 集約関数F*のdecomposability/splimabilityを考慮して分割
- 7. ex.) 外部結合（outerjoin）の等価性 7 • 外部結合の左関係e1に集約演算をpush-‐down * 最上位の集約演算の省略条件はⅢ-‐B（Elimina'ng the Top Grouping）を参照 外部結合の結果に対して再度集約処理を実施*
- 8. 包括的な等価性を定義: 式（10）〜（４１） 8 Not Explained
- 9. 演算順序最適化と動的計画法 • 演算順序の解空間O(22|R|-‐1#ccp)に対して動的計画 法を用いて最適解を探索 – ccp(csg-‐cmp-‐pair)*はjoin graphを２つに分割して 構成される部分集合S1とS2 – PostgreSQLの最適化においても|R|<11の条件で は動的計画法を適用 9 * ccpの正確な定義はⅣ-‐BのDefini'on3を参照
- 10. 動的計画法と部分問題独立性 • 結合と集約の順序問題は互いの部分問題が依存 – 最適性原理（Bellman’s Principle of Op'mality）が成り立た ないため，一般的なDPで最適解が得られる保証はない 10 集約演算をpush-‐down
- 11. 動的計画法と部分問題独立性 • 結合と集約の順序問題は互いの部分問題が依存 – 最適性原理（Bellman’s Principle of Op'mality）が成り立た ないため，一般的なDPで最適解が得られる保証はない 11 コスト低 コスト高
- 12. 動的計画法と部分問題独立性 • 結合と集約の順序問題は互いの部分問題が依存 – 最適性原理（Bellman’s Principle of Op'mality）が成り立た ないため，一般的なDPで最適解が得られる保証はない 12 コスト低 コスト高 コストが逆転 後続の結合に影響
- 13. 適用する４つの探索手法 • 最適解を保証するアプローチ – EA-‐All: 全列挙 – EA-‐Prune: EA-‐All + 枝刈り • 経験的なアプローチ – H1: 部分問題で最適な解を1つメモしてDPを適用 – H2: H1 + 集約処理のpush-‐downの影響を考慮 13
- 14. 実験結果 • |R|=3〜20として，10,000パタンのランダムな演算順 序を初期値として探索を実行 14 Fig.16 実行時間 Fig.17 最適解からの乖離