hadoop
关注
分享
扫一扫
浪里白虎
计算机学院的一位小同学
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hadoop——WordCount研究心得
先上hadoop自带wordcount源码： import java.io.IOException; import java.util.Iterator; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import or...原创 2020-03-12 22:32:38 · 619 阅读 · 0 评论 -
MapReduce运行机制
mapreduce作业执行涉及4个独立的实体： 客户端（client）：编写mapreduce程序，配置作业，提交作业，这就是程序员完成的工作； JobTracker：初始化作业，分配作业，与TaskTracker通信，协调整个作业的执行； TaskTracker：保持与JobTracker的通信，在分配的数据片段上执行Map或Reduce任务，TaskTracker和JobTracker的不同有...原创 2020-03-12 21:36:00 · 299 阅读 · 0 评论 -
hadoop常见错误
异常1： Failing this attempt.Diagnostics: [2020-03-08 21:42:10.626]Exception from container-launch. Container id: container_1583674791011_0001_02_000001 Exit code: 1 [2020-03-08 21:42:10.709]Container e...原创 2020-03-08 21:52:17 · 2215 阅读 · 4 评论 -
自学Jsoup后捣鼓出来的小型java爬虫
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://ma...原创 2020-03-12 22:39:39 · 133 阅读 · 0 评论 -
hadoop启动后发现namenode没有启动，但是排除了格式化过度的问题
hadoop启动后发现namenode没有启动，网上说的格式化过度的问题我是没有的，因为我只格式化过一次。之后查看日志 vim /opt/hadoop/logs/namenode对应的log文件 发现 2020-03-03 23:16:21,868 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics sy...原创 2020-03-03 23:59:22 · 387 阅读 · 0 评论 -
hadoop上传不了文件之后发现-Configured Capacity: 0 (0 B)
hadoop上传不了文件之后发现-Configured Capacity:为0。没有空间了。但是我的电脑空空如也，所以我 hdfs dfsadmin -report 查看hdfs是否真的有空间分配出去，但是Configured Capacity: 0 (0 B).上网百度之后，发现说是多次格式化导致容量分配为0.不过我只格式化过一次。所以问题肯定不在这，我又看了许多文章，发现也有说是host出错了...原创 2020-03-03 23:50:00 · 2042 阅读 · 0 评论