[发明专利]基于GPU、Hadoop/Spark混合计算框架的网络流量分析方法

摘要

本发明提供了一种基于GPU、Hadoop/Spark混合计算框架的网络流量分析方法。该方法主要包括：构建GPU计算分析框架和Hadoop/Spark计算分析框架，选择GPU或者Hadoop/Spark计算分析框架来处理实时或者离线的网络流量。GPU计算分析框架部署在装有GPU的单机节点上，Hadoop/Spark计算框架为分布式处理系统，部署在服务器集群中，当GPU的可用内存的大小大于或者等于两倍的网络流量数据的大小时，则优先采用GPU计算分析框架来处理实时或者离线的网络流量。本发明通过构建GPU计算分析框架和Hadoop/Spark计算分析框架GPU计算分析框架，选择GPU或者Hadoop/Spark计算分析框架GPU计算分析框架来处理实时或者离线的网络流量，可以有效地应对高速网络流量的实时或者离线统计分析处理，便于运营、维护、管理人员回溯分析数据。

主权项

1.一种基于GPU、Hadoop/Spark混合计算框架的网络流量分析方法，其特征在于，包括：构建GPU计算分析框架和Hadoop/Spark计算分析框架，选择GPU或者Hadoop/Spark计算分析框架来处理实时或者离线的网络流量；采用GPU计算分析框架来处理实时网络流量的处理过程包括：步骤1、将输入流传输来的数据按照时间条件进行过滤，去除冗余的数据，按照用户设定的时间力度将过滤后的数据分片，创建GPU缓存，将分片后的数据拷贝到GPU缓存中存储；步骤2、采用Map算子抽取GPU缓存中存储的数据，按用户指定的集合和设定的hash策略给抽取过的每条数据记录生成对应的group ID(标识)，将数据连同group ID一起传递给GPU聚合算子计算；步骤3、GPU聚合算子包括用来处理聚合操作的一系列GPU kernel算子，GPU聚合算子将数据分发到不同的GPU kernel算子进行聚合处理；步骤4、Reduce算子将聚合处理后的具有相同group ID的数据聚合汇总到一起，拷贝到目标地址；步骤5、将所述目标地址中缓存的数据复制回CPU缓存。