spark on yarn (Job history)的配置，主要是yarn处跳转到历史聚合页面

最新推荐文章于 2023-10-20 18:30:23 发布

cihongmo6452

最新推荐文章于 2023-10-20 18:30:23 发布

阅读量476

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：https://my.oschina.net/sniperLi/blog/1543952

本文详细介绍了如何配置YARN的History Server服务，包括修改yarn-site.xml和spark-defaults.conf文件的具体步骤，以及解决无法查看历史作业的问题。通过重启服务和重新运行程序，最终实现了在YARN界面上正常查看历史记录的功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.先开启服务

　　yarn，hdfs，spark

1.先开启服务

　　yarn，hdfs，spark

2.运行程序

3.在yarn上无法观察history

　　同时，http://linux-hadoop3.ibeifeng.com:18080 无法打开使用

　　如果点击logs将会出现下面的情况：

4.因为没有开启服务　

　　1. MR的job History服务启动(不需要启动)
　　　　mr-jobhistory-daemon.sh start historyserver
　　　　http://hadoop-senior01:19888/jobhistory
　　2. Spark的Job History服务启动
　　　　sbin/start-history-server.sh

5.结果