
大数据
文章平均质量分 94
大数据
行秋
这一生想成为神,下一世想变成石头。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop下利用Java API实现Kmeans算法
1. 自己编写程序随机创建1000000个点,每个点是一个d维向量,每个向量值[1,100]其中d是任意指定。例如d为5的数据格式如下: 2.0, 3.0, 3.1, 2.8,1.9 4.2, 3.1, 2.9, 3.1, 4.2 ……. ……. 1.1, 9.8, 6.5, 20.1, 90.2 把数据写到HDFS中2.制定参数k实现Hadoop环境下对上面生成的1000000个点进行Kmeans聚类...原创 2021-10-26 10:06:07 · 1277 阅读 · 6 评论 -
Java API实现HDFS有关目录与文件的相关功能
HDFS常用操作JavaAPI实现HDFS以下功能。1.在HDFS中创建一个新目录;2.从本地拷贝文件到新创建的目录中;3.将HDFS中指定文件的内容输出到终端中;4.显示一个指定目录下所有文件;5.完成指定目录下指定类型文件的合并6.在HDFS中,将文件从源路径移动到目的路径。7.删除HDFS中指定的文件;实验环境:IDEA项目如下:代码如下:1.在HDFS中创建一个新目录;import org....原创 2021-10-24 23:34:07 · 12174 阅读 · 1 评论 -
大数据——HDFS相关概念和常用命令
hadoop fs -ls <path>:显示<path>指定的文件的详细信息hadoop fs -mkdir <path>:创建<path>指定的文件夹hadoop fs -cat <path>:将<path>指定的文件的内容输出到标准输出(stdout)hadoop fs -copyFromLocal <localsrc> <dst>:将本地源文件<localsrc>复制到路径<原创 2020-08-13 20:39:22 · 528 阅读 · 0 评论 -
大数据——四种数据库(MySQL,HBase,MongoDB,Redis)操作实例总结
大数据——MySQL数据库操作实例大数据——HBase数据库操作实例大数据——MongoDB数据库操作实例大数据——Redis数据库操作实例PS:四种数据库的Java客户端所需的jar包原创 2020-05-20 10:45:16 · 5124 阅读 · 0 评论 -
大数据——Redis数据库操作实例
问题描述:Student 键值对:1. 根据上面给出的键值对,用Redis的哈希结构设计出上述表格;(键值可以用student.zhangsan,student.lisi来表示两个键值属于同一个表格) a) 设计完之后,用hgetall命令分别输出zhangsan和lisi的成绩信息,并截图; b) 用hget命令查询zhangsan 的Computer成绩,给出截图。 c) 修改lisi的Math成绩,改为95,给出截图。2. 根据上面已经设计出的stu...原创 2020-05-20 00:08:40 · 7303 阅读 · 0 评论 -
大数据——MongoDB数据库操作实例
问题描述:student文档如下:1. 根据上面给出的文档信息,用MongoDB模式设计student集合。 a) 设计完后,用find指令浏览集合的相关信息,给出截图。 b) 查询zhangsan 的Computer成绩,给出截图。 c) 修改lisi的Math成绩,改为95,给出截图。2. 根据上面已经设计出的student集合,用MongoDB的JAVA客户端编程; a) 添加数据:name: scofield,English:45 Ma...原创 2020-05-19 23:20:33 · 10377 阅读 · 2 评论 -
大数据——HBase数据库操作实例
问题描述: Student学生表 name score English Math Computer zhangsan 69 86 77 lisi 55 100 8 1. 根据上面给出的表格,用Hbas...原创 2020-05-19 22:33:26 · 13773 阅读 · 0 评论 -
大数据——MySQL数据库操作实例
问题描述: Student学生表 Name English Math Computer zhangsan 69 86 77 lisi...原创 2020-05-19 22:04:22 · 5650 阅读 · 3 评论 -
启动Hadoop时出现localhost: namenode running as process 2896. Stop it first.
问题描述在启动Hadoop时,出现如下信息,Hadoop无法正常启动。原因分析说明在启动Hadoop的时候已有Hadoop节点在运行,所以在启动之前你需要在重新启动hadoop之前要先stop掉所有的hadoop服务。 然后恢复正常启动。解决执行stop-all.sh关掉Hadoop所有服务。然后重启Hadoop就OK了。...原创 2020-04-08 21:17:35 · 23816 阅读 · 0 评论