[发明专利]一种面向行业大数据多样性应用的混合型处理系统及处理方法

摘要

本发明公开了一种面向行业大数据多样性应用的混合型处理系统及方法，该系统包括：分布式数据采集子系统，用于从外部系统采集数据；存储和并行计算子系统，用于对所采集的数据进行存储和计算；一体化资源和系统管理平台，用于对所存储和计算的数据进行管理；其中，存储和并行计算子系统，包括大数据存储子系统和大数据处理子系统；其中，大数据处理子系统，包括内存计算引擎，其中，内存计算引擎，用于在无共享集群中提供分布式内存抽象，并对采集的数据进行并行流水化和线程轻量级处理。本发明能够满足行业大数据多样性业务应用需求，通过内存计算引擎加速能够将大数据处理性能提高10倍以上，通过一体化管理平台能够保障系统的易用性、可靠性及可扩展性。

主权项

一种面向行业大数据多样性应用的混合型处理系统，其特征在于，包括分布式数据采集子系统、基于内存计算架构的混合型分布式存储和并行计算子系统、一体化资源和系统管理平台；其中，所述分布式数据采集子系统，用于从外部系统采集数据；所述基于内存计算架构的混合型分布式存储和并行计算子系统，用于对所采集的数据进行存储和计算；所述一体化资源和系统管理平台，用于对所存储和计算的数据进行管理；所述基于内存计算架构的混合型分布式存储和并行计算子系统，包括大数据存储子系统和大数据处理子系统；其中，所述大数据处理子系统，包括内存计算引擎，其中，所述内存计算引擎，用于在无共享集群中提供分布式内存抽象，并对采集的所述数据进行并行流水化和线程轻量级处理。