Spring Cloud Data Flow流式和批式数据处理框架Local模式运行.docx

数据处理有两种模式，分别是Streaming流式处理和Batch批次处理。Streaming是长时间一直存在的，你数据来了我就处理，没来我就等着，基于消息驱动。Batch是处理时间较短的，启动一次处理一次，处理完就退出任务，需要去触发任务。 一般地，我们会基于Spring Cloud Stream框架来开发Streaming应用，而基于Spring Cloud Task或Spring Batch框架来开发Batch应用。完成开发后，可以打包成两种形式： （1）Springboot式的jar包，可以放在maven仓库、文件目录或HTTP服务上； （2）Docker镜像。 对于Stream，有三个概念是需要理解的： （1）Source：消息生产者，负责把消息发送到某个目标； （2）Sink：消息消费者，负责从某个目标读取消息； （3）Processor：联合Source和Sink，它从某个目标消费消息，然后发送到另一个目标。