大数据测试(二)数据应用模块及常见实现方案

①数据生产链路

数据生产分成两部分：

第一部分：离线数据生产。

常见实现方案：

1、若干互相依赖的大任务；

2、每个大任务负责数据清洗、加工、处理；

3、大任务将处理后数据落宽表，以供后续任务处理

第二部分：实时数据生产。

常见实现方案：

1、从上游获取海量实时数据流；

2、自身业务内快速完成数据流处理；

3、将数据流转发出去；

②各类报表数据

常见报表如：

1、实时数据类报表，如小时报表

2、离线数据类报表，如 T-1类报表

3、分析预测类报表

常见实现方案：

业务实现上，一般服务底层调用ES搜索引擎等，以便快速拿到数据；

ES搜索引擎则依赖底层宽表

③大屏管理

• 结合丰富的交互功能和实时性，让数据开口说话
• 能够多方位、多角度、全景展现各项指标，实时监控，动态数据一目了然

ps: 曾经参与过的大促活动使用，如双十一大屏，双十二大屏

常见实现方案：

业务实现上，一般服务底层调用ES搜索引擎等，以便快速拿到数据；

④、算法模块

算法目标：验证需求与业务目标的相关性，即验证一个算法的效果最终能否达到业务预期

常见实现方案：直接调用第三方提供的能力；