[发明专利]一种用于源网荷多元数据处理的系统

权利要求书

1.一种用于源网荷多元数据处理的系统，所述系统，包括：

数据传输及交换模块，所述数据传输及交换模块用于对平台间的数据传输及交换；

数据处理模块，所述数据处理模块用于对平台的多种类型的数据进行处理；

数据存储模块，所述数据存储模块用于对平台的实时数据及非实时数据进行存储；

数据计算模块，所述数据计算模块用于对平台存储的数据进行批量计算、内存计算及流计算；

数据分析及挖掘模块，所述数据分析及挖掘模块包括多个类型的数据分析模型，并对数据分析模型进行统一的算法库管理，所述数据分析模型对不同类型的数据进行分析及挖掘；

支撑引擎模块，所述支撑引擎模块提供规则引擎及对平台发生的复杂事件进行处理；

数据管理模块，所述数据管理模块用于对平台存储的数据进行数据目录、标签、数据模型及数据质量的管理，及主数据的管理；

安全管理模块，所述安全管理模块用于对平台的安全管理；

平台管理模块，所述平台管理模块用于对平台的配置调度管理；

平台服务模块，所述平台服务模块用于对平台服务的调度管理。

2.根据权利要求1所述的系统，所述数据传输及交换模块，包括：

数据交换单元，用于平台间的数据发送与交换，针对数据模型，进行数据运算前的转换；

数据传输单元，用于对平台内部的数据传输；所述传输包括：同/异构数据源之间的数据迁移。

3.根据权利要求1所述的系统，所述数据处理模块，包括：

关系数据处理单元，用于对关系型数据的数据查询、数据转换及过滤处理，以及对关系数据库中每个数据库的数据进行整合；

时序数据处理单元，用于对时序数据库的数据查询，事件戳管理，及过滤筛选；对时序数据库中的数据进行整合；

文件数据处理单元，用于对平台接收的文件数据进行解析整理，并将解析整理的文件进行分类存储及汇总统计。

4.根据权利要求1所述的系统，所述数据存储模块包括：实时数据存储模块及非实时数据存储模块；

所述实时数据存储模块包括：实时数据存储单元及时序数据存储单元；

所述实时数据存储单元用于实时数据的存储及读取；

所述时序数据存储单元用于存储和管理时间序列数据；

所述非实时数据存储模块，包括：关系数据库存储单元，内存数据库存储单元，列式数据库存储单元，查询引擎单元，文件系统单元；

所述关系数据库存储单元用于关系数据库的数据存储、访问和管理；

所述内存数据库存储单元用于内存数据库的数据存储、访问和管理；

所述列式数据库存储单元用于列式数据库数据存储、访问和管理；

所述查询引擎单元用于对实时数据毫秒级查询响应，自定义汇总查询数据的条件，对时序数据库中的数据进行告诉查询及文本数据关键字查询；

所述文件系统单元用于平台中分布式文件的存储、访问、查询和管理。

5.根据权利要求1所述的系统，所述数据计算模块，包括：

批量计算单元，对大数据进行批量计算，包括批量进行数据加载，对加载的数据进行计算及解析；

内存计算单元，对数据进行内存计算，对内存数据库的数据加载加载数据，对内存数据库中的数据进行计算及解析；

流计算单元，对数据流进行计算，包括对数据进行流计算加载，数据分有限级计算，及流计算的结果解析。

6.根据权利要求1所述的系统，所述数据分析及挖掘模块包括：

模型算法库单元，提供存储通用模型算法，存储专业模型算法，存储优化模型算法，和存储平台的定制化模型算法；

统计分析单元，提供统计分析算法，对平台数据经行聚合，获取统一分析结果，分析历史数据，获取趋势分析结果；

多维分析单元，进行多维度的数据分析，获取多维度分析结果，根据多维度分析结果，进行模型定义；

自助式分析单元，自定义数据分析流程，自定义数据分析参数配置，自定义分析规则；

数据挖掘单元，对数据挖掘的模型进行分析及评估；

数据可视化单元，自定义数据可视化的展示效果。