Yarn application-master
Download as PPTX, PDF1 like345 views
This is a slide summarize the section about application master of the book "APACHE HADOOP YARN"
![ResourceRequestの例
Priority Location Capability Num of Container relaxLocality
1 host-A-a 1Core-1GB 1 false
1 host-A-b 1Core-1GB 1 true
1 rack-A 1Core-1GB 2 false
2 * 1Core-1GB 2 true
11
RMAM
Allocated [ContainerA-a-1]
Status of using {ContainerA-b-2: RUNNING}
Available [ContainerA-a-2, ContainerB-b-2]](https://image.slidesharecdn.com/yarn-application-master-160908070849/85/Yarn-application-master-11-320.jpg)
Yarn application-master
- 1. APACHE HADOOP YARN - Application Master編 -
- 3. 今回の内容 Application Master (AM) のライフサイクル ResourceRequest 3
- 4. AMのライフサイクル 4 1. RMがAMを起動，登録 2. AMがRMにコンテナリソースを要求 3. AMが割り当てられたコンテナを起動 4. 割り当てられたコンテナでタスクを実行 5. Applicationが完了時にRMからAMの登録を削除
- 5. AMのライフサイクル 5 1. RMがAMを起動，登録 2. AMがRMにコンテナリソースを要求 3. AMが割り当てられたコンテナを起動 4. 割り当てられたコンテナでタスクを実行 5. Applicationが完了時にRMからAMの登録を削除 NM, AM自体の死活監視はRM コンテナの死活監視はAM
- 10. Requestの決定方法2つ Requestの種類 Static allocation • すべてのコンテナリソース(配置も含め)の要求を ApplicationがSubmitされた時点で決定するもの • ユーザの指定するパラメータ，Applicationの実装に依存 Dynamic allocation • 実行中に動的にリソースの配置を決定する． • ユーザ指定のパラメータ，Applicationの実装， クラスタ内のリソースの空き状況を加味して決定 10
- 11. ResourceRequestの例 Priority Location Capability Num of Container relaxLocality 1 host-A-a 1Core-1GB 1 false 1 host-A-b 1Core-1GB 1 true 1 rack-A 1Core-1GB 2 false 2 * 1Core-1GB 2 true 11 RMAM Allocated [ContainerA-a-1] Status of using {ContainerA-b-2: RUNNING} Available [ContainerA-a-2, ContainerB-b-2]
- 12. ResourceRequestの例 12 RMAM 割り当てに応じて随時更新 Priority Location Capability Num of Container relaxLocality 1 hostA-b 1Core-1GB 1 true 1 rackA 1Core-1GB 1 false 2 * 1Core-1GB 1 true (Locationを必ず守らないといけないか)
- 13. Requestのfall through 優先順位は概ね次の通り 1. ホスト単位 2. ラック単位 3. どれでも(= Applicationが要求しているリソースの総数) 13 Priority Location Capability Num of Container relaxLocality 1 host-A-a 1Core-1GB 1 false 1 host-A-b 1Core-1GB 1 true 1 rack-A 1Core-1GB 2 false 2 * 1Core-1GB 2 true 1 1 2 3
- 15. コンテナの起動 15 AM NM ContainerLaunchContext Container ID Resource 実行コマンド 環境変数 必要なファイルやライブラリ名 StartContainerResponse Launchに成功したコンテナリスト 失敗したコンテナリスト 実行中コンテナの状態 ※停止の場合も同様 起動