大数据之初识Doris

前言

Doris由百度大数据部研发，之前叫百度Palo，于2017年开源，2018年贡献到 Apache 社区后，更名为Doris。

一、Doris简介

Apache Doris是一个现代化的基于MPP（大规模并行处理）技术的分析型数据库产品，MPP技术即将同一个任务并行的分散到多个服务器和节点上，每个节点计算完成后，在将各自的结果汇总在一起得到最终的结果，与Hadoop相似，效率很高，亚秒级内即可查询出结果。

二、核心特性

• 基于MPP（大规模并行处理）架构的分析型数据库
• 性能卓越，PB级别数据毫秒/秒级响应
• 支持标准SQL语言，兼容MySQL协议
• 向量化执行器
• 高效的聚合表技术
• 新型预聚合技术Rollup
• 高性能、高可用、高可靠
• 极简运维，弹性伸缩

三、Doris特点

• 性能卓越
  TPC-H、TPC-DS性能领先，性价比高，高并发查询，100台集群可达10w QPS，流式导入单节点50MB/s，小批量导入毫秒延迟
• 简单易用
  高度兼容MySQL协议；
  支持在线表结构变更高度集成，不依赖于外部存储系统
• 扩展性强
  架构优雅，单集群可用水平扩展到200台以上
• 高可用性
  多副本，元数据高可用

四、整体架构

Doris主要整合了Google Mesa数据模型，Apache Impala和Apache ORCFile的技术：
（1）Mesa可用满足我们许多存储的需求，但是其本身不提供SQL查询引擎
（2）Impala是一个非常好的MPP SQL查询引擎，但是缺少完美的分布式存储引擎