[发明专利]一种大数据运营管理系统

说明书

本发明公开了一种大数据运营管理系统，属于大数据技术领域，包括：采集模块，第一数据库，共享模块，监测模块，处理模块，分类模块，第二数据库；上述技术方案的有益效果在于：通过数据治理、数据管理和数据的长效运营来支持数据的智能化应用和数据资产管理，支持市或区级数据资产大盘，实现数据资源管理业务过程全生命周期监控，对于夯实城市大脑的数据基础，推动智慧城市建设具有重大意义。

技术领域

本发明涉及大数据技术领域，尤其涉及一种大数据运营管理系统。

背景技术

智慧城市是注重以万物互联、数据驱动、智能创新为特征的融合化发展。新型智慧城市作为城市整体发展战略之一，强调对城市整体数据价值的挖掘应用和新兴技术的创新应用。而“城市大脑“作为城市级平台，在发展需求下应运而生，成为智慧城市基础设施的核心组成，更是向新型智慧城市全面发展的必要条件。

“城市大脑”通过汇集政府、企业、社会的城市多源数据资源，动态精准地感知城市运行体征，实时监测城市的运行状态，涵盖政务服务、交通运行、生态环境、社会治理、医疗教育等各个领域，形成城市大脑“数据湖”。城市大脑的思考过程可以概括为“治理数据，驱动数据，产生智慧”。数据是城市大脑的核心资源，以科学统筹规划布局，基于已建的市级公共数据共享交换平台，推动大数据资源平台的进一步建设，包括：实现全市数据的完整归集与整合，共建共享五大市级数据域；加强数据质量和安全建设，实现数据全生命周期管理；实现数据智能，使数据贴近和服务于业务，支撑委办局应用，提升数据价值。

为满足“城市大脑”的各项功能，需要一种大数据运营管理系统，该系统通过数据治理、数据管理和数据的长效运营来支持数据的智能化应用和数据资产管理，支持市或区级数据资产大盘，实现数据资源管理业务过程全生命周期监控，对于夯实城市大脑的数据基础，推动智慧城市建设具有重大意义。

发明内容

根据现有技术中存在的上述问题，现提供一种大数据运营管理系统，通过数据治理、数据管理和数据的长效运营来支持数据的智能化应用和数据资产管理，支持市或区级数据资产大盘，实现数据资源管理业务过程全生命周期监控，对于夯实城市大脑的数据基础，推动智慧城市建设具有重大意义。

上述技术方案具体包括：

一种大数据运营管理系统，应用于城市级大数据运营管理，其中，所述大数据运营管理系统连接多个外部数据源，所述大数据运营管理系统包括：

采集模块，用于从所述外部数据源采集原始数据；

第一数据库，连接所述采集模块，用于存储采集到的原始数据

共享模块，连接所述第一数据库，用于根据预先设置的多种数据共享服务方式，将所述原始数据共享至对应的多个外部共享渠道中；

监测模块，连接所述第一数据库，用于对所述原始数据进行数据检查和纠正，以保证所述原始数据的准确性；

处理模块，连接所述第一数据库，用于对所述原始数据进行清洗转换并对所述原始数据中的敏感信息进行脱敏处理；

分类模块，连接所述处理模块，用于根据数据的属性对所述处理模块处理后的数据进行数据分类；

第二数据库，连接所述分类模块，用于对分类后的数据采用分布式文件系统进行存储。

优选地，其中，所述第一数据库包括ODS原数据层和SRC近源数据层。

优选地，其中，所述第二数据库包括DM专题数据层、DWA主题数据层、DWD基础数据层。

优选地，其中，所述数据的属性包括：数据来源、数据类型、关键字段；

所述分类模块包括：

第一分类单元，用于根据所述关键字段将所述处理模块处理后的数据进行第一种类划分；