[发明专利]一种实现软硬件结合的面向应用的大数据系统及方法

权利要求书

1.一种实现软硬件结合的面向应用的大数据系统，其特征在于，包括：硬件层、基础平台层、平台增强层；其中，

硬件层，用于根据应用场景以及系统需求对硬件进行定制，并对基础平台层提供硬件支撑；

基础平台层，用于根据大数据平台搭配能力以及应用场景的策略，选择一个或者几个大数据平台；

平台增强层，用于根据基础平台层选择的所述大数据平台提供相应的大数据平台工具；

其中，所述应用场景为用户应用需求或用户应用场景。

2.根据权利要求1所述的系统，其特征在于，所述大数据平台搭配能力以及应用场景的策略包括：

批处理查询分析对应平台：映射规约平台MapReduce，内存计算引擎平台Spark，数据仓库工具Hive，数据仓库工具Shark；

交互式查询分析对应平台：交互式数据分析系统Dremel，实时查询开源项目Impala，内存数据库；

高并发单表简单查询场景对应平台：分布式的、面向列的开源数据库Hbase；

流式计算场景对应平台：流式计算平台Storm，流式计算平台Spark streaming；

复杂查询场景对应平台：大规模并行处理数据库，内存数据库。

3.根据权利要求1所述的系统，其特征在于，所述系统还包括业务增值层，用于根据用户应用场景提供与行业应用结合的大数据开发工具包；

所述与行业应用结合的大数据开发工具包包括：金融行业开发工具包、电信行业开发工具包、公安行业开发工具包。

4.根据权利要求1所述的系统，其特征在于，所述硬件层具体用于：

对硬件的网络性能进行定制，包括：根据所述应用场景选择节点间的网络互连类型；

对硬件的存储性能进行定制，包括：节点的硬盘配置、是否使用SSD卡及内存的大小；

对硬件的计算资源进行定制，包括：确定CPU个数、核数及主频要求。

5.根据权利要求1所述的系统，其特征在于，所述大数据平台工具包括：运维监控、数据导入导出、集群管理、数据挖掘、工作流管理、安全增强及权限管理、数据可视化、备份与容灾。

6.一种实现软硬件结合的面向应用的大数据方法，其特征在于，包括：

根据应用场景以及系统需求对硬件进行定制，并提供硬件支撑；

根据大数据平台搭配能力以及应用场景的策略，选择一个或者几个大数据平台；

根据基础平台层选择的所述大数据平台提供相应的大数据平台工具；

其中，所述应用场景为用户应用需求或用户应用场景。

7.根据权利要求6所述的方法，其特征在于，所述大数据平台搭配能力以及应用场景的策略包括：

批处理查询分析对应平台：映射规约平台MapReduce，内存计算引擎平台Spark，数据仓库工具Hive，数据仓库工具Shark；

交互式查询分析对应平台：交互式数据分析系统Dremel，实时查询开源项目Impala，内存数据库；

高并发单表简单查询场景对应平台：分布式的、面向列的开源数据库Hbase；

流式计算场景对应平台：流式计算平台Storm，流式计算平台Spark streaming；

复杂查询场景对应平台：大规模并行处理数据库，内存数据库。

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：根据用户应用场景提供与行业应用结合的大数据开发工具包；

所述与行业应用结合的大数据开发工具包包括：金融行业开发工具包、电信行业开发工具包、公安行业开发工具包。

9.根据权利要求6所述的方法，其特征在于，所述根据应用场景以及系统需求对硬件进行定制，包括：

对硬件的网络性能进行定制，包括：根据所述应用场景选择节点间的网络互连类型；

对硬件的存储性能进行定制，包括：节点的硬盘配置、是否使用SSD卡及内存的大小；

对硬件的计算资源进行定制，包括：确定CPU个数、核数及主频要求。

10.根据权利要求6所述的方法，其特征在于，所述大数据平台工具包括：运维监控、数据导入导出、集群管理、数据挖掘、工作流管理、安全增强及权限管理、数据可视化、备份与容灾。