Piepis的博客

实时数仓（Real-time Data Warehouse）和传统离线数仓（Batch Data Warehouse）在数据处理方式、架构、应用场景等方面存在明显区别。当前的 OLAP 数据库替换和用户行为分析项目，可能需要结合实时计算（Flink）+ 离线数据分析（Presto / Hive），来满足不同业务需求。融合层：通过 Presto、ClickHouse 混合查询实时+离线数据。离线层：提供大规模数据统计（如年度报表）。实时层：提供秒级数据查询（如监控报警）。(2) 实时数仓架构。

背景 随着网络迅速发展，大数据的处理呈现出非常明显的实时化趋势。在实时化的大趋势底下，了解并熟悉Flink常用的三大典型应用场景，对于我们理解并使用Flink具有很大的帮助。 事件驱动型应用 事件驱动表示一个事件会触发另一个或者是很多个后续的事件，然后这一系列事件会形成一些信息，基于这些信息需要做一定的处理。 通俗讲，事件驱动型应用是一类具有状态的应用，会根据事件流中的事件触发计算、更新状态或进行外部系统操作。 常见于实时计算业务中，比如：实时推荐，金融反欺诈，实时规则预警等。 常见的事件驱动型场景举例

什么是Apache Flink？ Apache Flink是一个框架和分布式处理引擎，用于对无限制和有限制的数据流进行有状态的计算。Flink被设计为可在所有常见的集群环境中运行，以内存速度和任何规模执行计算。 追本溯源- Flink的昨天 Flink 起源于 Stratosphere 项目，Stratosphere 是在 2010~2014 年由 3 所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目。 2014 年 4 月，Stratosphere 的代码被复制并捐献给了 Apache 软件基

怎样理解批流一体/流批融合 从 用户，运行，运维三个角度来看： 用户： 当前用户在解决流计算和批计算总是将其分开，开发出两套api。流批一体需要解决的首要问题就是用一套逻辑来描述流与批业务。 运行：当前作业总是流批二选一，要么是流作业，要么是批作业。流批统一后，流批选择是计算优化后的结果，同一个作业在不同的阶段呈现出流批两种特性。 运维：当前架构需要运维多个架构，需要维护多个组件，多个系统。流批统一后，一个引擎就可以解决。 ...