[发明专利]MR作业处理方法、装置、电子设备及存储介质

权利要求书

1.一种MR作业处理方法，其特征在于，包括：

获取源数据，所述源数据包括源地址段、源IP、目的IP、总入流量、总出流量；

在map阶段，将源地址段、源IP作为key，目的IP、总入流量、总出流量作为value进行分组，得到分组结果；

在reduce阶段，对源地址段、源IP以及目的IP相同的总入和/或总出流量进行归并；

所述在reduce阶段，对源地址段、源IP以及目的IP相同的总入和/或总出流量进行归并包括：

分别获取具有同一源地址段和源IP的所有目的IP归并后的总入和/或总出流量；

获取归并后的前K个值最大的总入和/或总出流量；

将归并后的前K个值最大的总入和/或总出流量，以及，所述前K个值最大的总入和/或总出流量对应的目的IP作为所述源地址段和源IP的流量记录结果；

所述获取归并后的前K个值最大的总入和/或总出流量包括：

在reduce阶段，自定义链表；

将所述链表作为reduce阶段的输出，获取归并后的前K个值最大的总入和/或总出流量；

所述自定义链表包括：

自定义链表SortedLink类；

自定义一个泛类型LinkE，同时在LinkE中声明一个E data和LinkEnext，实现LinkE时指定E为DataNode类，所述DataNode类包含IP和流量两个对象和一个比大小方法；

在调用SortedLink类的insert方法时，将当前的IP和流量放入DataNode类，与现有的首链表内容进行对比。

2.一种MR作业处理装置，其特征在于，包括：

获取模块，用于获取源数据，所述源数据包括源地址段、源IP、目的IP、总入流量、总出流量；

分组模块，用于在map阶段，将源地址段、源IP作为key，目的IP、总入流量、总出流量作为value进行分组，得到分组结果；

归并模块，用于在reduce阶段，对源地址段、源IP以及目的IP相同的总入和/或总出流量进行归并；

所述归并模块包括：

获取子模块，用于分别获取具有同一源地址段和源IP的所有目的IP归并后的总入和/或总出流量；

确定子模块，用于确定归并后的前K个值最大的总入和/或总出流量；

处理子模块，用于将归并后的前K个值最大的总入和/或总出流量，以及，所述前K个值最大的总入和/或总出流量对应的目的IP作为所述源地址段和源IP的流量记录结果；

所述确定子模块包括：

自定义单元，用于在reduce阶段，自定义链表；

确定单元将所述链表作为reduce阶段的输出，确定归并后的前K个值最大的总入和/或总出流量；

所述自定义单元包括：

第一自定义子单元，用于自定义链表SortedLink类；

第二自定义子单元，用于自定义一个泛类型LinkE，同时在LinkE中声明一个Edata和LinkEnext，实现LinkE时指定E为DataNode类，所述DataNode类包含IP和流量两个对象和一个比大小方法；

对比子单元，用于在调用SortedLink类的insert方法时，将当前的IP和流量放入DataNode类，与现有的首链表内容进行对比。

3.一种电子设备，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1所述的MR作业处理方法中的各个步骤。

4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1所述的MR作业处理方法中的各个步骤。