学术大讲堂
今天我将介绍大范围高精度栅格可视化方案。它是结合大数据技术解决实际应用问题的一个典型例子,我们给它起了个大标题,叫做“如何应用大数据技术秒杀一个貌似不可能的任务”。
看着有点标题党的味道,其实这里我们想强调的是,我们设计和实现这个方案时,一开始直接调用HBASE检索,看着要检索的数据量,多达数百万,还真是觉得不可能几秒内完成任务。所以对于这个技术难题,或者说是省公司的业务需求,提出来以后很长时间以来我们迟迟没有解决。
直到今年上半年,我们一点点地分析和优化,应用分布式处理的思路去逐步搭建了一个自主研发的可视化专用集群,才很好解决了问题。而在这个过程中,我们一方面对Map-Reduce原理、分布集群的管理等hadoop技术框架有了更深刻的理解,另一方面,也对大数据分布式技术所能提供的算力之强大,有相当震撼的感受。
我们所面临的任务,概括来说就是“基于电子地图的移动网络覆盖质量可视化”。这里面需要用到的最关键最核心的数据,就是“基于位置的网络信号强度”。
拿到数据后,我们要进行可视化展现。如果数据量少的话,那么,最直接的展现就是打点:在图上什么位置,指标是多少,就用不同的色系去着色。就像这张图,就是我们生产系统上对网络院旁边的华南师范大学校园的路测数据打点可视化。
当数据量多了之后,打点就解决不了问题了,大量的点会重叠在一起,看不出问题来,所以就引入我们今天要讨论的主角:栅格化展现,也就是在栅格内取数据的统计均值。
另外,关于可视化数据的