基于GeoScene Pro的开源数据治理与二维制图规范化处理智能工具箱

内容导读

本文描述的是一个基于GeoScene Pro4.0+/ArcGIS3.1+ Pro平台的开源数据治理与二维制图规范化处理智能工具箱(免费试用，文末有获取方式)，旨在解决GIS应用中数据转换、检查、治理和制图数据规范化处理方面的问题。

工具箱结合了Geoscene/ArcGIS Pro平台和Python环境，利用开源工具和包，提供了一个全面的数据治理与制图规范化处理解决方案。该工具箱涵盖了数据转换、检查和治理、制图数据规范化处理等方面，满足了从数据生产到最终地图成品全过程的需求。

通过自动化工具实现数据检查、修复和制图效果优化，减轻了手动操作的负担，提高了数据处理和地图制作的效率。

工具箱的创新点：

（1）综合性的数据处理与制图工具集：涵盖了数据检查和治理、制图数据规范化处理两个方面，满足了从数据源到最终地图成品全过程的需求。

（2）自动化与智能化处理：通过自动化工具实现数据检查、修复和制图效果优化，减轻了手动操作的负担。

（3）高性能与用户友好性：工具箱支持并行计算，处理大规模数据时具备高效性能，并提供易于使用的界面。

（4）重写与开源实现：部分工具是对现有GIS产品中的功能进行了重写，以提高效率和弥补存在的缺陷；绝大多数工具功能是开源实现的，便于技术交流和持续改进。

若您觉得文章内容对你有用，请转发分享。

内容很长，若只关注工具箱的，可直接到文末获取。

但为了能完整的介绍工具箱，还是将很多内容放到了这一篇文章中，请谅解。

关于工具箱中工具的使用问题，可在本账号下系列文章中找到答案（如：工具使用方法和参数含义），也可直接私信小编反馈问题和获取支持。

一、需求与背景

在地理信息系统（GIS）领域，规范的数据处理和高质量的地图配图是确保数据分析和可视化展示效果的关键。特别是在国土空间规划编制审批体系建设中，面对不同规划层级和类型的海量数据，需要一套高效、精准的数据处理方案来保证数据的质量和时效性。

本研究致力于开发一套全面的数据治理与制图规范化处理工具箱，以提高数据处理效率、确保数据质量，并增强规划辅助功能。

旨在为国土空间规划提供高效的数据处理和制图解决方案。该工具箱通过集成大量开源技术和方案，显著提高了数据处理的效率和质量，优化了地图配图效果，为国土空间规划的多个环节提供了强有力的支持。

NO.1 问题分析

在GIS中，数据质量和一致性直接影响空间分析和决策。然而，当前在数据检查、治理和制图规范化处理方面仍存在以下问题：

数据治理： 多样化的数据来源导致格式和属性字段不一致，特别是在大规模数据处理中，现有工具难以实现高效自动化的检测与修复。

制图数据规范化： 现有制图工具在处理不同显示比例尺、POI抽稀、路网和水网连通性检查等问题时，功能有限，效率低下，影响了地图的精度和美观性。

NO.2 需求分析

市场迫切需要一个能够全面解决数据治理和制图规范化问题的综合工具箱。具体需求包括：

数据质量检查与修复： 结合人工智能和自动化技术，工具箱应包括数据库初始化、图层合并、流向分析、中心线提取、悬挂点修复等功能，自动检测并修复常见数据质量问题。

制图数据规范化： 对于制图效果要求越来越精细，市场需要一个能够自动调整数据展示效果的工具箱。通过POI抽稀、路网和水网连通性检查、建筑物2.5D效果生成等功能，确保地图的美观和准确性，减少后期调整工作量。

NO.3 制图综合（Cartographic Generalization）

GIS技术的广泛应用，各行业对高精度数据和高质量地图的需求不断增长。当前市场缺乏一个能够同时满足数据质量检查与制图规范化处理的综合工具。开发一个集数据规范化、质量控制和制图效果优化于一体的工具箱，不仅填补市场空白，还将极大提高数据处理和地图制作的效率。

随着数据处理和制图复杂性的提升，市场迫切需要一种自动化、智能化的解决方案。开发综合性质检工具箱，通过先进技术手段，提高数据治理和制图规范化处理的效率，不仅能满足当前需求，还具有很大的市场机会和发展潜力。

二、总体框架

本研究的成果基于GeoScene Pro 4.0的Python工程环境，开发了一套包含数据检查和治理辅助工具集（21个工具）、制图数据处理规范化处理工具集（11个工具）以及mdb数据转出工具集（4个工具）共36个工具的智能工具箱。这些工具充分利用了开源包和方案，以克服传统工具在运行效率上的限制，并扩展了功能。具体包括：

数据检查和治理辅助工具集：用于数据质量检查和自动修复，辅助数据治理或生成衍生数据，确保数据的准确性、完整性和一致性。

制图数据处理辅助工具集：优化制图数据的处理，提升地图配图效果。

三、应用情况

这些工具集已经在省级规模的数据上进行了验证和完善，证明了它们能够有效应对复杂的数据情况。它们不仅解决了数据治理方面的难题，还实现了数据规范化和制图效果优化的新功能，极大地提高了项目实施效率和用户体验。具体来说：

数据检查和治理辅助工具集：通过自动化的数据质量检查和修复功能，显著提高了数据的准确性、完整性和一致性，有效减少了数据治理过程中的人工干预，加快了数据准备的周期。

制图数据处理辅助工具集：通过优化制图数据的处理流程，提升了地图的配图效果，实现了更为精细和美观的制图成果，增强了最终用户的体验。

这些工具集的应用不仅提高了数据处理和制图工作的效率，而且为国土空间规划编制审批体系建设提供了有力的技术支撑，使得整个规划过程更加高效、准确和可靠。

四、mdb数据转换工具

将个人地理数据库(mdb)转出为文件地理数据库(gdb)或shapefile格式。

应用场景与功能：

地理数据的存储和交换是一个常见的需求。个人文件地理数据库（MDB）是一种常见的地理数据存储格式，但是在实际应用中，有时需要将MDB文件转换为gdb或shp格式，以便在不同的GIS软件中使用。

 随着ArcMap退出历史的舞台，ArcGIS Pro不再支持mdb数据库，在Pro中如何实现mdb转出为其他格式，虽然别扭，但却是很有必要的。

五、数据检查与治理工具

5.1  初始化地理数据库

按分层属性结构表，创建地理数据库，统一数据库结构。

应用场景与功能：

 在数据处理工作中，当数据分层和图层属性结构设计完成后，需要按照数据分层命名和图层属性结构创建地理数据库库体。规范的库体结构，对后续的数据合并，数据查询，数据分发等使用有着重要的意义。

工具通过读取数据分层命名和图层字段属性的表格，初始化数据库库体。数据库库体可通过编辑存储图层属性结构的表格来进行调整，确保在规范化约束数据库库体的基础上，实现库体结构的便捷拓展。

工具原型界面示例：

工具执行结果示例：

5.2 导出图层字段属性信息表

获取图层的属性结构信息，并可通过编辑修改后，结合“初始化地理数据库工具”，创建新的地理数据库。

应用场景与功能：

  在“初始化地理数据库”工具中，有一个参数为：“输入Excel表”，要求表格中的图层字段属性项需要按工具的帮助文档中的示例进行组织，此外，总有一些特别的需求，需要你将要素类图层的字段属性输出。

工具通过遍历GDB中的所有要素类，读取要素图层的字段属性信息，按“输出类型”组织字段信息，并将其保存到Excel表格中（.xlsx）。

工具原型界面示例：

工具执行结果示例：

tableInfo.xlsx	tabstructInfo.xlsx

5.3 指定路径下同名图层合并

严格按数据库结构或自动解析适应图层属性结构，对指定目录下的所有空间矢量数据，按图层名，全部或部分合并为一个图层。

应用场景与功能：

对于数据管理人员，经常碰到数据汇总入库，或将作业单位提交的成果数据按项目作业范围、按行政区划范围等将多个同名图层合并到一起，按数据内容进行分类组织，存放到地理数据库中。

指定路径下同名图层合并工具，支持的功能：

（1）对指定目录下的要素类，按同名图层（忽略图层名大小写）进行合并。合并的过程中，对字段类型、几何错误以及空值进行处理。

（2）支持严格模式和非严格模式；严格模式下，默认所有同名图层字段属性项相同；非严格模式下，会对同名（忽略图层名大小写）图层的字段（忽略大小写）进行分析，优化和拓展字段属性项，以确保数据合并能正确执行；

（3）“非严格模式”，将解决影响数据合并规则的因子：

a) 忽略字段名存在大小写,合并或追加时会自动解决；如：feature，Feature；

b) 忽略图层名存在大小写；如：LCRA，Lcra ；

c) 同名字段类型不一致；如：string，date ；

d) 同名字段长度不一致；

e) 同名字段精度不一致；

f) 同名字段是否必填不一致；

g) 同名字段是否包含空值不一致；

（4）“严格模式”，此时，会忽略图层名称大小写问题。但同名图层下的字段属性，需保持一致，否则可能出现数据合并失败。

（5）在输出目录下，输出数据合并日志文本。

工具原型界面示例：

工具执行结果示例：