ubuntu完全分布式搭建CDH集群（Cloudera Manager）

### Ubuntu 完全分布式搭建 CDH 集群（Cloudera Manager） #### 搭建环境概述 本文档旨在详细介绍如何在 Ubuntu 14.04.3 系统下构建一个完整的 Cloudera Manager (CM) 管理的 CDH 集群。该集群将使用三台物理服务器完成搭建过程。 - **主机信息**: - IP 地址: 192.168.0.41 (master) - IP 地址: 192.168.0.40 (slave1) - IP 地址: 192.168.0.42 (slave2) - **操作系统**: Ubuntu 14.04.3 LTS - **JDK 版本**: 1.8.0_144 (推荐 1.7 及以上版本) #### 所需软件包 为了成功搭建 CDH 集群，需要以下软件包: - **Cloudera Manager 安装包**: `cloudera-manager-trusty-cm5.11.0_amd64.tar.gz` - **CDH 集群安装包**: - `CDH-5.10.0-1.cdh5.10.0.p0.41-trusty.parcel` - `CDH-5.10.0-1.cdh5.10.0.p0.41-trusty.parcel.sha` (注意文件名中的 `.sha` 后缀) #### 操作系统环境搭建步骤 1. **网络配置**: - 修改主机名: 使用 `vi /etc/hostname` 分别将各节点的 hostname 改为 `master`、`slave1` 和 `slave2`。 - 更新 `/etc/hosts` 文件以包含所有节点的 IP 地址与主机名映射。 2. **SSH 免密码登录**: - 使用公钥认证机制实现 SSH 免密登录。 - 可参考教程: [SSH免密码登录配置](https://www.cnblogs.com/liubin0509/p/6211909.html) 3. **关闭系统防火墙**: - 使用命令 `ufw disable` 关闭 Ubuntu 的防火墙。 - 如需开启防火墙, 可使用命令 `ufw enable`。 4. **安装 JDK**: - 所有节点均需安装 Java 运行环境。 - 具体安装步骤可参照: [Ubuntu 下安装 JDK](http://blog.sina.com.cn/s/blog_985ae4f40102x1jo.html) 5. **设置 NTP 服务**: - 所有节点均需安装并配置 NTP 服务。 - 使用命令 `sudo apt-get install ntp` 安装 NTP 服务。 - 在 `master` 节点上的 `/etc/ntp.conf` 文件中添加时间服务器信息: ```conf server 0.cn.pool.ntp.org server 0.asia.pool.ntp.org server 3.asia.pool.ntp.org restrict 0.cn.pool.ntp.org nomodify notrap noquery restrict 0.asia.pool.ntp.org nomodify notrap noquery restrict 3.asia.pool.ntp.org nomodify notrap noquery server 127.127.1.0 # local clock fudge 127.127.1.0 stratum 10 ``` - 在 `slave1` 和 `slave2` 节点上的 `/etc/ntp.conf` 文件中添加 `master` 节点的信息: ```conf server 192.168.0.41 prefer ``` 6. **安装 MySQL 数据库**: - 直接使用命令 `sudo apt-get install mysql-server-5.5` 安装 MySQL。 - 创建必要的数据库和用户权限: ```sql createdatabase amon DEFAULT CHARACTER SET utf8; grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'amon'; createdatabase hive DEFAULT CHARACTER SET utf8; grant all on hive.* TO 'hive'@'%' IDENTIFIED BY 'hive'; ``` #### 安装 Cloudera Manager 1. **解压 Cloudera Manager 安装包**: - 将 `cloudera-manager-trusty-cm5.11.0_amd64.tar.gz` 解压到 `/opt` 目录下。 2. **配置 CM Server**: - 在 `/opt/cloudera-manager/cm-host/` 目录下执行 `./cm-host-installer.bin` 并根据提示完成 CM Server 的配置。 3. **部署 CM Agent**: - 在 `/opt/cloudera-manager/cm-host/` 目录下使用 `./cm-agent-installer.bin` 在所有节点上部署 CM Agent。 4. **安装 CDH 集群**: - 上传 `CDH-5.10.0-1.cdh5.10.0.p0.41-trusty.parcel` 文件到 CM Server。 - 在 CM Server 的 Web 界面上激活并分发该 parcel 到所有节点。 5. **配置 CDH 服务**: - 通过 CM 的 Web 界面配置 HDFS、YARN、Hive 等服务。 - 设置各服务的参数，并确保数据目录、日志目录等路径正确。 #### 总结 通过上述步骤, 我们可以成功地在 Ubuntu 14.04.3 上搭建出一个由 Cloudera Manager 管理的 CDH 完全分布式集群。整个过程中需要注意的是, 每个步骤都需要仔细操作, 确保每个环节的设置正确无误, 从而避免后续运行过程中可能出现的问题。此外, 在配置 NTP 和 SSH 免密码登录时也要格外小心, 因为这些设置直接影响集群的稳定性和安全性。