[发明专利]一种大数据运营管理系统

权利要求书

1.一种大数据运营管理系统，应用于城市级大数据运营管理，其特征在于，所述大数据运营管理系统连接多个外部数据源，所述大数据运营管理系统包括：

采集模块，用于从所述外部数据源采集原始数据；

第一数据库，连接所述采集模块，用于存储采集到的原始数据

共享模块，连接所述第一数据库，用于根据预先设置的多种数据共享服务方式，将所述原始数据共享至对应的多个外部共享渠道中；

监测模块，连接所述第一数据库，用于对所述原始数据进行数据检查和纠正，以保证所述原始数据的准确性；

处理模块，连接所述第一数据库，用于对所述原始数据进行清洗转换并对所述原始数据中的敏感信息进行脱敏处理；

分类模块，连接所述处理模块，用于根据数据的属性对所述处理模块处理后的数据进行数据分类；

第二数据库，连接所述分类模块，用于对分类后的数据采用分布式文件系统进行存储；

所述数据的属性包括：数据来源、数据类型、关键字段；

所述分类模块包括：

第一分类单元，用于根据所述关键字段将所述处理模块处理后的数据进行第一种类划分；

所述第一种类包括：经济发展状况数据、居民幸福数据、中小企业经营数据、城市交通数据；

第二分类单元，用于根据所述数据来源和所述数据类型将所述处理模块处理后的数据进行第二种类划分；

所述第二种类包括：一网通办、公共安全、市场监督、公共信用、城市管理、社会治理、城乡建设。

2.根据权利要求1所述的大数据运营管理系统，其特征在于，所述第一数据库包括ODS原数据层和SRC近源数据层。

3.根据权利要求1所述的大数据运营管理系统，其特征在于，所述第二数据库包括DM专题数据层、DWA主题数据层、DWD基础数据层。

4.根据权利要求1所述的大数据运营管理系统，其特征在于，所述采集模块包括：

结构化数据采集单元，用于采集存储于标准数据库中的所述外部数据；

半结构化数据采集单元，用于采集所述外部数据中的文件数据资源；

非结构化数据采集单元，用于采集所述外部数据中的非结构化数据；

消息数据采集单元，用于采集所述外部数据中的来自消息队列的消息数据。

5.根据权利要求4所述的大数据运营管理系统，其特征在于，所述文件数据资源包括文件格式数据和日志格式数据。

6.根据权利要求1所述的大数据运营管理系统，其特征在于，所述处理模块进一步包括：

清洗转换单元，用于对所述外部数据进行清洗转换处理；

脱敏单元，用于对所述外部数据中的敏感数据进行脱敏处理。

7.根据权利要求6所述的大数据运营管理系统，其特征在于，所述清洗转换处理包括：字段映射、数据翻译、字段拆分、字段合并、字段运算、数据范围过滤、字段过滤和数据条件过滤。

8.根据权利要求6所述的大数据运营管理系统，其特征在于，所述脱敏处理包括：替换、重排、加密、截断、掩码和日期偏移取整。

9.根据权利要求1所述的大数据运营管理系统，其特征在于，所述数据共享服务方式包括：SQL数据服务，数据表共享数据服务和ESB数据总线服务。