Ad
More Related Content
What's hot (20)
Similar to Apache Hadoop 2.8.0 の新機能 (抜粋) (20)
Ad
More from NTT DATA OSS Professional Services (17)
Ad
Apache Hadoop 2.8.0 の新機能 (抜粋)
- 1. Copyright © 2016 NTT DATA Corporation 2016/11/8 株式会社NTTデータ OSSプロフェッショナルサービス 鯵坂 明 Apache Hadoop 2.8.0 の新機能 (抜粋) Apache Hadoop ミートアップ
- 2. 2Copyright © 2016 NTT DATA Corporation 自己紹介 - 鯵坂明 鯵坂 明 (@ajis_ka) NTTデータ システム技術本部 OSSプロフェッショナル サービス Apache HadoopなどOSSのサポート業務を主に担当 Apache Hadoop committer & PMC member コミッタ暦2年 ドキュメント バグ修正 リリース管理など
- 3. 3Copyright © 2016 NTT DATA Corporation 最近のApache Hadoop 2.8.0のリリースが間近 2.7.0 2.7.1 2.7.2 2.7.3 3.0.0-alpha1 trunk branch-2 branch-2.7 20162015 branch-2.8
- 4. 4Copyright © 2016 NTT DATA Corporation 2.8.0で何が変わるのか? 3.0.0よりも、地味な機能が多い 時間が足りないので3つに絞って紹介 重要な機能が網羅されていないことに注意 DataNode Lifeline Protocol (HDFS-9239) OIV: add ReverseXML processor (HDFS-9835) 'yarn top' command (YARN-3348)
- 5. 5Copyright © 2016 NTT DATA Corporation DataNode Lifeline Protocol (HDFS-9239) 課題 NameNodeが高負荷の場合に、DataNodeから送られて くるheartbeatの処理が遅延し、正常に動作している DataNodeが誤ってstale/deadになることがある heartbeatの処理はNamesystemのread lockを取るので、 clientの処理やblock reportの処理がwrite lockを取ってい ると詰まる 解決策 DataNodeが生存しているという情報のみ、heartbeatと は別のプロトコル(DataNode Lifeline Protocol)で送る dfs.namenode.lifeline.rpc-addressを設定すると有効に なる
- 6. 6Copyright © 2016 NTT DATA Corporation OIV: ReverseXML processor (HDFS-9835) OIV: Offline Image Viewer fsimageを、人間が読める形式にdumpするツール offline: NameNodeを動作させる必要がない ReverseXML processor OIVを使ってXMLに変換したfsimageを、NameNodeが 読めるバイナリ形式に戻す editsと違い、fsimageは手で編集できなかったが、この 機能を使えばできる binary -> XML -(手で編集)-> XML -> binary experimental 現状、snapshotの一部には非対応 (HDFS-10506)
- 7. 7Copyright © 2016 NTT DATA Corporation 'yarn top' command (YARN-3348) topコマンドのYARN版 ターミナルの幅を広げていくと、RVCORES, MEM, RMEM, VCORESECS, MEMSECS, %PROGR, TIME, NAMEが追加で表示される 見やすさのため、わざと狭くしている
- 8. Copyright © 2011 NTT DATA Corporation Copyright © 2016 NTT DATA Corporation