[发明专利]一种面向行业大数据多样性应用的混合型处理系统及处理方法

权利要求书

1.一种面向行业大数据多样性应用的混合型处理系统，其特征在于，包括分布式数据采集子系统、基于内存计算架构的混合型分布式存储和并行计算子系统、一体化资源和系统管理平台；其中，

所述分布式数据采集子系统，用于从外部系统采集数据；

所述基于内存计算架构的混合型分布式存储和并行计算子系统，用于对所采集的数据进行存储和计算；

所述一体化资源和系统管理平台，用于对所存储和计算的数据进行管理；

所述基于内存计算架构的混合型分布式存储和并行计算子系统，包括大数据存储子系统和大数据处理子系统；其中，

所述大数据处理子系统，包括内存计算引擎，其中，

所述内存计算引擎，用于在无共享集群中提供分布式内存抽象，并对采集的所述数据进行并行流水化和线程轻量级处理。

2.如权利要求1所述的系统，其特征在于：

所述大数据存储子系统包括分布式文件子系统、数据库；

所述分布式文件子系统，用于直接存储数据，并存储所述数据库；

所述数据库包括结构化关系数据库、NoSQL数据库和内存数据库；

所述结构化关系数据库，用于存储结构化数据；

所述NoSQL数据库，用于存储半结构化或非结构化数据；

所述内存数据库，用于存储经常使用或需要加速处理的数据。

3.如权利要求2所述的系统，其特征在于：

所述分布式数据采集子系统，还用于对所采集的数据进行第一预处理；

所述第一预处理是指，将所采集的数据分为结构化数据、半结构化或非结构化数据，并将所述结构化数据发送给所述结构化关系数据库，将所述半结构化或非结构化数据发送给所述NoSQL数据库；

还用于进行第二预处理；

所述第二次预处理是指，将所采集的数据中经常使用或需要加速处理的数据发送给所述内存数据库。

4.如权利要求3所述的系统，其特征在于，所述大数据存储子系统还包括：

同步子系统，用于将所述内存数据库中经常使用或需要加速处理的数据中变化的数据同步到结构化关系数据库或NoSQL数据库；

所述同步方式为：实时同步、日志同步、定期同步；

所述同步子系统还用于根据所述变化的数据的可靠性级别选择不同的同步方式。

5.如权利要求1所述的系统，其特征在于：

所述大数据处理子系统，还包括基于所述内存计算引擎的批处理引擎、交互处理引擎和流处理引擎；

所述批处理引擎，用于对密集型数据以离线方式进行并行计算处理；

所述交互处理引擎，用于对需要快速响应的应用层标准SQL请求进行处理；

所述流处理引擎，用于对连续、实时达到的流数据进行处理；

其中，

所述批处理引擎，还包括图计算引擎，所述图计算引擎，用于对所述数据为图的数据进行批处理。

6.如权利要求1所述的系统，其特征在于：

所述一体化资源和系统管理平台，包括：集中式Web控制台和分布式集群资源管理子系统；

所述集中式Web控制台，用于提供对采集、存储和处理子系统的安装、部署和配置的功能，提供对系统计算、存储和网络资源及各子系统的运行情况的监控功能，以及提供对系统和数据的认证、授权、加密的安全管理功能；

所述分布式集群资源管理子系统，用于采用统一的调度方式在各子系统间进行资源分配；

还用于提供分布式服务监控系统集群节点的变化，记录系统关键信息。

7.一种面向行业大数据多样性应用的混合型处理方法，其特征在于：

从外部系统采集数据；

对所采集的数据进行预处理，并对预处理后的数据进行存储和计算；

对所存储和计算的数据进行管理；

在对预处理后的数据进行存储和计算中，在无共享集群中提供分布式内存抽象，并对所述预处理后的数据并行流水化和线程轻量级处理。