
零基础大数据通关
文章平均质量分 85
在这个数字化飞速发展的时代,大数据技术成为了推动各行各业创新与变革的关键力量。对于零基础的学习者来说,从基础概念到实操上手,再到项目落地,每一步都充满了挑战与机遇。本栏目《零基础大数据通关》正是为这样的学习者量身打造的指南。
东皋长歌
进一步有进一步的欢喜
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Flink输出算子
执行完之后可以去kafka后台查看,会多一个topic(flink-test),并且可以让下游消费者去消费。需要在项目的根目录下创建目录output。执行之后,数据会被写入文件。原创 2024-11-11 19:34:31 · 466 阅读 · 0 评论 -
SpringBoot+ClickHouse集成
前面已经完成ClickHouse的搭建,创建账号,创建数据库,保存数据库等,接下来就是在SpringBoot项目中集成ClickHouse。原创 2024-11-05 17:48:34 · 759 阅读 · 0 评论 -
ClickHouse创建账号和连接测试
在之前搭建ClickHouse的时候,把账户相关的去掉了,所以登录和连接的时候是不需要账号密码的,但是实际项目中,肯定是需要根据需要创建账号。原创 2024-11-05 15:29:19 · 864 阅读 · 0 评论 -
Flink安装和Flink CDC实现数据同步
3) 在架构方面,Apache Flink 是一个非常优秀的分布式流处理框架,因此 Flink CDC 作为Apache Flink 的一个组件具有非常灵活的水平扩展能力。5) 另外,在生态方面,这里指的是上下游存储的支持。CDC 的全称是 Change Data Capture ,在广义的概念上,只要是能捕获数据变更的技术,我们都可以称之为 CDC。实时消费日志,流处理。编写以上脚本,命名为flinkCdc2Mysql.sql,上传到flink的sql目录下,这里的sql是我新建的,你可以自己指定。原创 2024-11-05 10:26:48 · 1013 阅读 · 0 评论 -
ClickHouse安装
一,ClickHouse介绍ClickHouse 是一个开源的列式数据库管理系统(Column-Oriented DBMS),由俄罗斯的 Yandex 公司开发。它最初是为 Yandex 的 Metrica 分析服务设计的,用于处理大规模的数据分析任务。ClickHouse 能够提供快速的数据查询性能,即使在处理非常大的数据集时也能保持高效。:ClickHouse 针对读取操作进行了优化,能够以极高的速度处理复杂的查询。:与传统的行式存储不同,列式存储可以更有效地压缩数据,并且在进行聚合查询时效率更高。原创 2024-11-04 18:32:40 · 417 阅读 · 0 评论 -
Hadoop安装和测试
bin 目录:存放对 Hadoop 相关服务(hdfs,yarn,mapred)进行操作的脚本。保存退出,记得也需要source一下/etc/profile,使系统重新加载一下配置文件。- etc 目录:Hadoop 的配置文件目录,存放 Hadoop 的配置文件。进到/etc/alternatives目录,再次ll找到真实引用。进到/usr/bin 使用ll命令,找到java命令真实的引用。1,在/data目录创建test目录放测试文件和输出文件。有如下图的输出,就是安装成功了。原创 2024-06-17 18:12:42 · 1007 阅读 · 0 评论