什么是全量数据、增量数据？如何统一一套系统？

一、什么是全量数据、增量数据？

1.全量数据

2.增量数据

二、如何统一一套系统

1.为什么需要统一一套系统来处理全量数据和增量数据？

2.如何实践？

一、什么是全量数据、增量数据？

全量数据和增量数据是在数据库系统迁移时的概念。

1.全量数据：

        当前需要迁移的数据库系统的全部数据。

2.增量数据：

        在数据库系统迁移过程中，新产生的数据即为增量数据，这些数据直接保存到数据库系统。

***        在典型的大数据业务场景下，全量数据采用批处理来完成，实时增长的数据采用流式计算来完成。

二、如何统一一套系统

1.为什么需要统一一套系统来处理全量数据和增量数据？

        全量数据和增量数据的处理方式不同，批处理和流处理的计算引擎不同时，这可能意味着需要两套代码，增加了额外的成本。

2.如何实践？

        开源的数据引擎能同时实现流处理和批处理的计算引擎有 spark 和 flink。

        Spark是通过批处理来模拟流处理的（微批处理），有一定的技术局限性。

        Flink则是真正的流处理，定义了有界流和无界流，批处理工作在有界流，流处理工作在无界流，从长远来看，Flink是一个很好的选择。