Linux环境下离线安装Cloudera Manager与CDH5指南

"Linux环境下Cloudera Manager的离线安装教程" 在Linux系统中，Cloudera Manager是一款强大的工具，用于简化Hadoop相关组件的安装和管理。它可以在集群环境中自动化安装、配置和管理Hadoop生态系统的组件，如HDFS、YARN、MapReduce等。下面我们将详细介绍如何进行Cloudera Manager 5(CM5)和CDH5的离线安装。 首先，我们需要准备相关软件。Cloudera Manager可以从其官方仓库下载，网址为http://archive-primary.cloudera.com/cm5/cm/5/。同时，CDH5的安装包可以从http://archive.cloudera.com/cdh5/parcels/latest/获取。Java运行环境是必备的，建议使用版本1.7或以上，可以从Oracle官网或其归档下载页面下载。MySQL的JDBC驱动jar包对于连接数据库也必不可少。 下载的文件包括： 1. Cloudera Manager的tar.gz包，例如`cloudera-manager-el6-cm5.5.3_x86_64.tar.gz` 2. CDH5的parcel文件，例如`CDH-5.3.9-1.cdh5.3.9.p0.8-el6.parcel`，注意其对应的SHA1校验和文件 3. MySQL的JDBC驱动jar包，解压后包含相应的jar文件 安装前的主机规划很重要，这里我们假设有一组5台主机，每台主机都有一个特定的名称和IP地址，如： - nn1.hadoop.com (192.168.0.10) - nn2.hadoop.com (192.168.0.11) - dn1.hadoop.com (192.168.0.12) - dn2.hadoop.com (192.168.0.13) - dn3.hadoop.com (192.168.0.14) 在实际操作中，至少需要两台主机以确保高可用性，但为了更全面的功能和稳定性，通常推荐更多。 离线安装步骤如下： 1. **JAVA环境配置**：在所有主机上安装Java，并设置好环境变量。这一步骤可以通过参考其他Java安装指南完成。 2. **Cloudera Manager服务器安装**：在其中一台主机（例如nn1.hadoop.com）上解压Cloudera Manager的tar.gz包，并按照官方文档的指引进行安装。 3. **Parcel配置**：将CDH5的parcel文件复制到Cloudera Manager服务器，并解压缩。然后，使用`cloudera-manager-daemons`服务将解压后的文件分发到其他节点。不要忘了修改SHA1校验和文件的名字以适应Cloudera Manager的期望。 4. **配置hosts文件**：在所有主机上，更新hosts文件，添加集群内所有主机的名称和IP映射，以便彼此通信。 5. **启动Cloudera Manager**：在服务器上启动Cloudera Manager，通过Web界面进行集群的配置。在这里，你可以添加主机、配置网络、选择安装的CDH组件以及指定数据存储路径等。 6. **部署CDH**：在Cloudera Manager界面上，选择CDH5并开始部署。系统会自动处理安装、配置和初始化的过程。 7. **配置JDBC驱动**：如果需要使用MySQL数据库，将MySQL的JDBC驱动jar包上传到集群中的每个节点，并在Cloudera Manager中配置数据库连接。 8. **验证安装**：安装完成后，通过Cloudera Manager监控界面检查各服务的状态，确保所有组件都正常运行。 离线安装Cloudera Manager和CDH5在没有网络的环境中非常有用，它允许你在多台主机上快速搭建和管理Hadoop集群，同时避免了在线下载大型软件包可能带来的问题。请根据实际情况调整上述步骤，确保与你的网络环境和硬件配置相符。