
Hadoop
angelasp
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
安装hadoop 提示: Unable to determine local hostname -falling back to “localhost“
具体原因还是主机名称没有修改1、输入:hostnamectl或者hostname查看主机名2、root 用户 vim /etc/sysconfig/network添加NETWORKING=yesHOSTNAME=hadoop01克隆虚拟机只需修改HOSTNAME3、vi /etc/hostname 修改主机名4、vim /etc/hosts配置IP 与主机名5、修改完成后reboot重启 生效本地Windows/system32/ drivers\etc\host原创 2022-01-13 17:09:14 · 1851 阅读 · 0 评论 -
Apache Ranger大数据权限管理框架编译及安装
Apache Ranger是HDP体系统中安全管理的重要一环。它提供了具体资源(如HBase中的具体表)权限管控、访问监控、数据加密的功能原创 2021-12-29 15:34:33 · 1359 阅读 · 0 评论 -
hadoop使用start-all.sh启动总是提示输入密码的解决办法
1、问题描述:start-all.sh启动设置ssh免密登陆还总是提示输入密码:已经配置了ssh免密码登陆,当是每次输入start-all.sh还是总是提示输入密码!!!2、解决办法:这个是文件权限的问题配置ssh免密码登陆的方法:cd ~/.ssh/ssh-keygen -t rsa ====一直回车cat ./id_rsa.pub >> ./authorized_keys在输入以下命令:chown hadoop: /home/hadoop/.ssh..原创 2021-12-26 18:17:00 · 4089 阅读 · 0 评论 -
一张“神图”看懂单机/集群/热备/磁盘阵列(RAID)
单机部署(stand-alone):只有一个饮水机提供服务,服务只部署一份集群部署(cluster):有多个饮水机同时提供服务,服务冗余部署,每个冗余的服务都对外提供服务,一个服务挂掉时依然可用热备部署(hot-swap):只有一个桶提供服务,另一个桶stand-by,在水用完时自动热替换,服务冗余部署,只有一个主服务对外提供服务,影子服务在主服务挂掉时顶上磁盘阵列RAID(Redundant Arrays of independent Disks)RAID0:存储性能高的磁盘阵列,..转载 2021-05-18 14:44:08 · 381 阅读 · 0 评论 -
Hadoop:为什么RAID-0不行?
摘要:在Hadoop邮件列表中,经常看到有人在问“为什么Hadoop更青睐使用一组单独的硬盘(JBOD)而不使用通过RAID-0磁盘阵列管理的一组硬盘?”来自Hortonworks的两位专家第一次明确解释了这个问题。在Hadoop邮件列表中,一个经常出现的问题是“为什么Hadoop更青睐使用一组单独的硬盘(JBOD)而不使用通过RAID-0磁盘阵列管理的一组硬盘?”注:在Hadoop集群中,有一个建议:在配置时,将每个磁盘都分开。有人形象地将之称为“JBOD(Just a Box of Disks)原创 2021-05-18 14:24:53 · 443 阅读 · 0 评论 -
CentOS 7 安装 CDH 5.16.2 离线安装
一.前期环境准备所有机器都要操作的,都要进行的环境准备。安装sshpass 主要的节点,或者是主节点,或者是主要的跳转到其他节点的服务器,需要安装yum install -y sshpass可以自动带密码登录,其他服务器。yum list | grep sshpasssshpass -p '密码' ssh -o stricthostkeychecking=no slave-4sshpass -p '密码' scp -rp software/ root@slave-4:/roo...原创 2020-07-20 16:18:41 · 928 阅读 · 3 评论 -
spark报错:warn util.utils::service ‘sparkUI‘ can not bind on part 4040.Attempting port 4041.4042等错误
spark报错:warn util.utils::service 'sparkUI' can not bind on part 4040.Attempting port 4041. 4042等错误网上说的原因如下:问题1 spark-shell里面又单独的设置了spark的context,因为spark-shell里已经有一个context对象了,所以你新建创建的数据无法使用问题2 主要就是数据库的端囗都已经被占满了,而且无法释放? 但是我发现哪里有数据库的事最后解决方法如下:..原创 2020-07-09 16:07:37 · 1606 阅读 · 0 评论 -
安装Linux centos7 CDH5主机运行状况不良完美解决方案
官方参考文档参考官网说明:https://docs.cloudera.com/documentation/enterprise/releasenotes/topics/cm_rn_known_issues.html查看官方文档:解决办法翻译过来就是:删除agent目录下面的cm_guid文件,并重启失败节点的agent服务恢复。cm_guid文件的内容大概是uuid,用于唯一标示agent隶属于哪一个server。如图cd到每台主机的目录/var/lib/cloudera...原创 2020-06-11 16:33:35 · 393 阅读 · 0 评论