
clickhouse
文章平均质量分 76
clickhouse
浊酒南街
纵使疾风起,人生不言弃。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
ClickHouse数据类型
➢ Datetime 接受年-月-日 时:分:秒的字符串比如 ‘2019-12-16 20:50:10’➢ Decimal128(s),相当于 Decimal(38-s,s),有效位数为 1~38。➢ Decimal64(s),相当于 Decimal(18-s,s),有效位数为 1~18。T 可以是任意类型,包含数组类型。➢ Decimal32(s),相当于 Decimal(9-s,s),有效位数为 1~9。日期类型,用两个字节存储,表示从 1970-01-01 (无符号) 到当前的日期值。原创 2023-04-07 15:22:00 · 563 阅读 · 0 评论 -
ReplicatedMergeTree
Replicated 副本的意思,副本的目的主要是保障数据的高可用性,即使一台 ClickHouse 节点宕机,那么也可以从其他服务器获得相同的数据;第一个参数是分片的 zk_path 一般按照: /clickhouse/table/{shard}/{table_name} 的格。➢ 在hadoop202的/etc/clickhouse-server/config.d目录下创建一个名为metrika.xml。副本只能同步数据,不能同步表结构,所以我们需要在每台机器上自己手动建表。原创 2023-04-17 21:07:27 · 458 阅读 · 0 评论 -
分片及Distributed 表引擎
副本虽然能够提高数据的可用性,降低丢失风险,但是每台服务器实际上必须容纳全量数据,对数据的横向扩容没有解决。要解决数据水平切分的问题,需要引入分片的概念。通过分片把一份完整的数据进行切分,不同的分片分布到不同的节点上,再通过 Distributed 表引擎把数据拼接起来一同使用。Distributed 表引擎本身不存储数据,是一种中间件,通过分布式逻辑表来写入、分发、路由来操作多台节点不同分片的分布式数据。原创 2023-04-18 21:06:57 · 240 阅读 · 0 评论 -
SQL 操作
基本上来说传统关系型数据库(以 MySQL 为例)的 SQL 语句,ClickHouse 基本都支持;原创 2023-04-17 21:06:57 · 99 阅读 · 0 评论 -
ClickHouse入门
ClickHouse 是俄罗斯的 Yandex 于 2016 年开源的列式存储数据库(DBMS),使用C++语言编写,主要用于在线分析处理查询(OLAP),能够使用 SQL 查询实时生成数据分析报告。原创 2023-04-07 14:45:16 · 192 阅读 · 0 评论 -
Clickhouse 之TTL
TTL 即 Time To Live, MergeTree 提供了可以管理数据或者列的生命周期的功能,TTL用于设置值的生命周期,它既可以为整张表设置,也可以为每个列字段单独设置。原创 2023-04-07 21:28:58 · 1796 阅读 · 0 评论 -
ReplacingMergeTree
ReplacingMergeTree 是 MergeTree 的一个变种,它存储特性完全继承 MergeTree,只是多了一个去重的功能。如果表经过了分区,去重只会在分区内部进行去重,不能执行跨分区的去重。所以 ReplacingMergeTree 能力有限, ReplacingMergeTree 适用于在后台清除重复的数据以节省空间,但是它不保证没有重复的数据出现。ReplacingMergeTree() 填入的参数为版本字段,重复数据保留版本字段值最大的。◼ 认定重复的数据保留,版本字段值最大的。原创 2023-04-07 23:50:37 · 574 阅读 · 0 评论 -
Clickhouse之表引擎
写入后的某个时刻(大概 10-15 分钟后), ClickHouse 会自动执行合并操作(等不及也可以手动通过 optimize 执行),把临时分区的数据,合并到已有分区中。order by 是 MergeTree 中唯一一个必填项,甚至比 primary key 还重要,因为当用户不设置主键的情况,很多处理会依照 order by 的字段进行处理(比如后面会讲的去重和汇总)。ClickHouse 中的主键,和其他数据库不太一样, 它只提供了数据的一级索引,但是却不是唯一约束。一般保存少量数据的小表,原创 2023-04-07 21:06:45 · 294 阅读 · 0 评论 -
SummingMergeTree
对于不查询明细,只关心以维度进行汇总聚合结果的场景。如果只使用普通的MergeTree 的话,无论是存储空间的开销,还是查询时临时聚合的开销都比较大。ClickHouse 为了这种场景,提供了一种能够“预聚合”的引擎 SummingMergeTree。原创 2023-04-17 21:06:26 · 127 阅读 · 0 评论