hadoop搭建——虚拟机准备_xftp5怎么把jdk传进hadoop-CSDN博客

本文链接：https://blog.csdn.net/qq_53862440/article/details/127832019

本文详细介绍了如何在阿里云环境下配置三台虚拟机Hadoop集群，包括设置静态IP、修改主机名、DNS映射，以及关闭防火墙、安装JDK和Hadoop等步骤，适用于云计算背景下的大数据处理配置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、Alan_Amy“母机”配置

1.1、配置静态 IP

1.1.1、查看Mac地址

vim /etc/udev/rules.d/70-persistent-net.rules

UBSYSTEM=="net",
ACTION=="add",
DRIVERS=="?*",
ATTR{address}=="自己的Mac地址",
ATTR{type}=="1",
KERNEL=="ens*",
NAME="ens33"

1.1.2、修改ip配置文件，设置IP地址

vim /etc/sysconfig/network-scripts/ifcfg-ens33

IPADDR="192.168.6.64"
NETMASK="255.255.255.0"
HADDR="00:0C:29:24:B7:51"
GATEWAY="192.168.6.2"
DNS1="192.168.6.2"

1.1.3、重启网络服务

service network restart

1.1.4、检测IP是否成功

ip addr

1.2、修改主机名

修改3台虚拟机名字为hadoop0

方式一：

分别编辑每台虚拟机的hostname文件，直接填写主机名，保存退出即可

vim /etc/hostname

方式二：

hostnamectl set-hostname ‘修改的名字’

修改完可以通过hostname命令查看主机名

输入命令reboot重启虚拟机使修改生效

1.3、域名映射

编辑虚拟机的hosts文件，进入文件清除文件原有内容，填下以下内容：

 vim /etc/hosts

192.168.6.64 hadoop4
192.168.6.65 hadoop5
192.168.6.66 hadoop6
192.168.6.67 hadoop7

1.4、window映射

C:\Windows\System32\drivers\etc

192.168.6.64 hadoop4
192.168.6.65 hadoop5
192.168.6.66 hadoop6
192.168.6.67 hadoop7

进入该文件夹，编辑hosts文件。

1.5、关闭防火墙

1.5.1关闭防火墙：

systemctl stop firewalld.service

1.5.2、关闭自启动：

systemctl disable firewalld.service

1.6、建立文件夹

在/opt路径下建立文件夹en,rh,software

mkdir + ‘路径与名称’

mkdir /opt/en
mkdir /opt/software

1.7、虚拟机物理机网络ping通

1.7.1、成功ping通

ping 192.168.6.65

1.7.2、请求超时

保证以下三个地方一致即可ping通

A：

1.8、安装Xshell5、Xftp5，建立连接，传输Oracle JDK1.8.0_144安装包和Hadoop-2.7.2 安装包至“/opt/software”文件夹下

1.8.1、Xshell5连接

成功标志

1.8.2、Xftp5连接

通过Xftp5传输文件

通过拖拽即可，成功标志如下：

1.9、安装和配置JDK

1.9.1、如果Linux有自带jdk，卸载，安装自己的

查询原有JDK：

rpm -qa | grep java

卸载JDK:

rpm -e + （查询出的文件名称）--nodeps

rpm -e javapackages-tools-3.4.1-11.el7.noarch --nodeps
rpm -e java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64 --nodeps
rpm -e tzdata-java-2020a-1.el7.noarch --nodeps
rpm -e java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7_8.x86_64 --nodeps
rpm -e java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64 --nodeps
rpm -e python-javapackages-3.4.1-11.el7.noarch --nodeps
rpm -e java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64 --nodeps

1.9.2、解压JDK

tar -zxvf /opt/software/jdk-8u144-linux-x64.tar.gz -C /opt/en/

1.9.3、配置JDK环境变量

拿到JDK的路径：

配置路径：

vim /etc/profile

#JAVA_HOME
export JAVA_HOME=/opt/en/jdk1.8.0_144/
export PATH=$PATH:$JAVA_HOME/bin

刷新修改的文件：

source /etc/profile

测试JDK，成功标志：

1.10、安装和配置Hadoop

1.10.1、解压Hadoop

tar -zxvf /opt/software/hadoop-2.7.2.tar.gz -C /opt/en/

1.10.2、配置Hadoop环境变量

拿到Hadoop的路径：