基于Hadoop3.2的搜狗网搜索日志行为分析(16)--安装和配置Spark

jasmine_wxy

已于 2023-04-01 07:33:58 修改

阅读量179

点赞数

CC 4.0 BY-SA版权

分类专栏：基于Hadoop3.2的搜狗网搜索日志行为分析文章标签： spark 大数据 hadoop

于 2023-03-29 16:47:21 首次发布

本文链接：https://blog.csdn.net/jasmine_wxy/article/details/129779544

基于Hadoop3.2的搜狗网搜索日志行为分析专栏收录该内容

20 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了如何在基于Hadoop3.2的环境中安装和配置Spark-3.1.2。从解压安装包到配置环境变量，再到启动Spark和验证安装结果，每个步骤都有清晰的操作指南。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本实验使用的Spark版本为spark-3.1.2-bin-hadoop3.2。

1、解压安装Spark

解压Spark安装包：
tar -zxf /opt/hadoop/s spark-3.1.2-bin-hadoop3.2.tgz -C ~/

2、修改spark-env.sh

将spark的conf目录下的spark-env.sh.template模板文件复制为spark-env.sh：
cp spark-env.sh.template spark-env.sh
然后添加如下内容

export JAVA_HOME=/usr/java/jdk1.8.0_51
export SCALA_HOME=/home/hadoop/scala-2.12.17
export HADOOP_HOME=/home/hadoop/hadoop-3.2.0
export SPARK_HOME=/home/hadoop/spark-3.1.2-bin-hadoop3.2
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_DIST_CLASSPATH=$(/home/hadoop/hadoop-3.2.0/bin classpath)
export SPARK_MASTER_HOST=namenode
export SPARK_MAETER_PORT=7070