[发明专利]一种城市大脑智能大数据系统

权利要求书

1.一种城市大脑智能大数据系统，其特征在于，包括：

大数据分析模块、AI算法模型模块、大数据可视化模块和大数据管理模块；其中，所述大数据分析模块用于数据进行数据整理、数据挖掘、多维分析和生成分析报告；所述AI算法模型模块为数据仓库中的分析过程提供算法支持，通过X-SQL语句算法，根据历史SQL语句，自动生成新的业务场景下所需的SQL语句；大数据可视化模块用于对经大数据分析模块分析后的数据进行展示；所述大数据管理模块用于提供大数据平台管理功能。

2.根据权利要求1所述的城市大脑智能大数据系统，其特征在于，所述大数据分析模块包括：

数据采集模块，负责收集各种数据源的数据，包括各业务单元的数据，城市物联网数据，并将这些数据转换为文件或者消息向后传递；

数据清洗模块，负责数据的清洗、格式和内容的处理和转换、数据分级分拣、加载至数据仓库；

数据仓库模块，用于数据有组织的进行集中存储，负责数据的存取和管理；

元数据管理模块，负责记录和约束数据仓库中数据的含义和格式，控制着数据的生命周期和数据质量；

作业流调度模块，负责分析作业的管理和定时调度，包括作业的增删改查、查看修改历史、设置调度定时和执行引擎。

3.根据权利要求1所述的城市大脑智能大数据系统，其特征在于，所述大数据管理模块包括：数据质量校验模块，运维监控模块，身份认证模块，数据权限管理模块，应用管理模块；

所述数据质量校验模块，用于通过制定数据评测标准对数据进行检测，评估数据的质量问题；

所述运维监控模块，用于实时监控大数据平台所有组件的运行状况以及系统资源占用情况；

所述身份认证模块，用于提供城市各部门以及企业账户的统一管理，实现严格的权限控制；

所述数据权限管理模块，用于为大数据平台数据划分权限等级，指定数据所有者、使用者，提供严格的权限控制；

所述应用管理模块，用于对大数据平台中各个组件应用进行统一管理，提高管理效率。

4.根据权利要求2所述的城市大脑智能大数据系统，其特征在于，所述数据采集模块接入结构化、半结构化以及非结构化不同类别数据，物联网数据通过程序定时请求接口获取数据并存储到数据库中；城市各部门的非结构化文件分批次分类型存放到hdfs文件系统中。

5.根据权利要求2所述的城市大脑智能大数据系统，其特征在于，所述数据清洗模块通过Kettle组件对各类数据进行初步清洗，将数据清洗成符合格式要求的数据，同时清除脏数据，保证数据分析的正确性。

6.根据权利要求2所述的城市大脑智能大数据系统，其特征在于，所述数据仓库模块分为4层，分别为原始数据层、明细数据层、汇总数据层、应用数据层；各层分析所需的SQL语句语句由AI算法模型模块自动产生，这些语句完成数据仓库的分析工作，之后SQL语句再经过反复验证更新达到符合要求的准确度，最终完成大数据分析。

7.根据权利要求2所述的城市大脑智能大数据系统，其特征在于，所述作业流调度模块由Azkaban组件完成，可实现可视化的任务流调度、管理、以及报警功能。

8.根据权利要求3所述的城市大脑智能大数据系统，其特征在于，所述应用管理模块采用自研的大数据管理平台，能够实现对Hadoop、Kafka基础大数据平台组件的管理；所述数据质量校验模块通过griffin组件制定数据评测标准，并设置监测周期，可以实现周期性的检验数据的规范性，并提供直观的折线图进行展示；所述运维监控模块使用普罗米修斯组件，可以实时监控大数据平台的运行状况以及系统资源占用情况，并且提供多种风格的仪表盘展示方式，为大数据平台健康运行提供保障；身份认证模块提供城市各部门以及企业账户的统一管理，实现严格的权限控制，确定可以访问的资源、何种方式访问操作。