[发明专利]交通行业一种基于大数据技术的数据治理系统及方法

说明书

本申请提出交通行业一种基于大数据技术的数据治理系统及方法，该系统包括数据安全模块、数据集成模块、数据治理模块、数据开发模块、数据服务模块、分析建模模块、运维监控模块和数据应用模块，各个模块根据不同用户需求可独立或者任意组合使用；该系统考虑了交通行业多运营商、有数据隔离安全需求的情况，在数据安全、数据集成、数据治理、数据开发、数据服务、分析建模、运维监控和数据应用方面给出对交通行业的针对性数据治理方案，能够对交通行业数据进行有效治理，提高数据处理效率、保障数据安全和质量，降低治理成本。

技术领域

本申请涉及数据处理技术领域，尤其涉及交通行业一种基于大数据技术的数据治理系统及方法。

背景技术

数据是重要的资产，合理地使用数据能为企业带来巨大的价值。

目前，数据治理方面主要存在以下缺陷：

(1)由于数据治理的侧重点和视角不同，国内外相关行业对数据治理项目的整体架构方式也不尽相同，目前并没有交通行业数据的个性化数据治理解决方案；

(2)当数据质量出现问题，不能及时地警报通知，只能先发现后治理再进行任务返工，影响数据产出和决策；

(3)数据的泄露会对企业造成很大的风险，在数据安全方面的考虑欠缺，导致系统无法满足数据安全需求。

发明内容

本申请实施例的主要目的在于提出交通行业一种基于大数据技术的数据治理系统及方法，考虑到交通行业多运营商、有数据隔离安全需求的情况，在数据安全、数据集成、数据治理、数据开发、数据服务、分析建模、运维监控和数据应用方面给出对交通行业的针对性数据治理方案，能够对交通行业数据进行有效治理，提高数据处理效率、保障数据安全和质量，降低治理成本。

为实现上述目的，本申请实施例的第一方面提出了一种交通行业数据治理系统，所述系统包括：

数据安全模块、数据集成模块、数据治理模块、数据开发模块、数据服务模块、分析建模模块、运维监控模块和数据应用模块，各个模块根据不同用户需求可独立或者任意组合使用；

所述数据安全模块用于根据用户需求进行模块部署管理、用户层级管理、各个层级权限管理及项目管理，所述项目管理包括对项目基本信息、项目配置人员、项目角色和项目数据权限进行管理；

所述数据集成模块用于通过数据接入、数据同步和调度配置将交通行业数据源集成到一起，以支持数据安全访问；

所述数据治理模块用于对交通行业数据进行元数据管理、数据资产管理、数据指标管理和数据质量管理；

所述数据开发模块用于通过离线开发和实时计算开发的方式根据项目需求进行交通行业数据开发；

所述数据服务模块用于配置不同项目下的接口集和所述接口集下的接口及对所述接口进行应用授权管理；

所述分析建模模块用于对所述交通行业数据进行模型开发、模型部署和模型评价；

所述运维监控模块用于监控当前系统任务的运行情况和实例运行概况；

所述数据应用模块用于对所述交通行业数据进行商业智能分析和算法应用。

在一些实施例，所述用户层级管理包括：

构建用户层级，所述用户层级包括超级管理员、系统管理员、项目管理员和普通用户；

设置并管理各个用户层级对应的权限。

在一些实施例，元数据包括业务元数据和技术元数据，所述元数据管理包括：