注:数据尽可能模拟现场,环境亲手搭建,测试结果真实有效,转载请注明版权所有—作者:周源(网名 源神)
医疗Presto和GreenPlum选型测试报告
- 测试背景
本次测试针对现有Oracle(12c)、Hive(3.1.0)、SparkSQL(2.3.2)、Presto(0.229)、TiDB(3.0.8)、GreenPlum(6.1.0) 基础性能测试。我们采用单大表和多表关联,分别对比不同组件在查询性能方面的测试
模拟医疗现场患者数据和就诊记录,oracle表情况如下:
|
表名 |
行数 |
数据量 |
患者数据 |
ORG_PATIENT_INFO_BIG |
158,220,288 |
10,048M |
就诊记录1 |
INP_MR_PAGE_BIG1 |
44,083,200 |
24,230M |
就诊记录2 |
INP_MR_PAGE_BIG2 |
88,166,400 |
48,460M |
注:因oracle存储磁盘空间有限,目前只创建3张大表数据
本次测试方案的大数据Ambari 2.7.3版本,操作系统为CentOS 7.4,基础硬件配置信息如下表:
服务器IP |
服务器域名 |
核心数 |
内存 |
单块磁盘空间 |
**.**.**.8 |
host8 |
24 |
128G |
279G |
**.**.**.5 |
host5 |
40 |
128G |
1.7T |
**.**.**.6 |
host6 |
40 |
128G |
1.7T |
**.**.**.7 |
host7 |
40 |
128G |
1.7T |
Oracle部署信息:
服务器IP |
服务器域名 |
核心数 |
内存 |
磁盘空间 |
**.**.**.46 |
host46 |
24 |
64G |
251G |
Hive部署信息:
服务器IP |
服务器域名 |
Hive Metastore |
HiveServer2 |
Hive Clients |
**.**.**.5 |
host5 |
√ |
√ |
√ |
**.**.**.6 |
host6 |
√ |