[发明专利]一种通信特征抽取、流量产生方法及装置

摘要

本发明提出一种通信特征抽取、流量产生方法及装置，涉及计算机通信技术领域，该装置包括：应用特征获取模块，用于通过分析Map/Reduce类应用的通信特征数据，建立通信模型，并将获取到的数据输入到所述通信模型，将生成结果，其中所述通信模型由阶段分割模型与阶段流量模型组成。应用实现模块，用于根据所述结果与所述通信模型，生成Map列表，并根据所述Map列表与数据速率请求信息，获得数据速率计算函数，通过数据速率计算函数获得数据速率；流量产生引擎模块，用于根据所述数据速率，获得产生的流量。本发明在通信信息统计方面，通过对目标应用的分析，降低特征参数的维度，因此所需计算存储资源成本较低，实现容易、适用于应用场景。

主权项

1.一种通信特征抽取、流量产生装置，面向Map/Reduce类应用，其特征在于，包括：应用特征获取模块，用于通过分析Map/Reduce类应用的通信特征数据，建立通信模型，并将获取到的数据输入到所述通信模型，将生成结果，其中所述通信模型由阶段分割模型与阶段流量模型组成；应用实现模块，用于根据所述结果与所述通信模型，生成Map列表，并根据所述Map列表与数据速率请求信息，获得数据速率计算函数，通过数据速率计算函数获得数据速率；流量产生引擎模块，用于根据所述数据速率，获得产生的流量；所述阶段分割模型为：m＝f₁(lnV)，其中f₁为以lnV为变量的线性函数，与lnV成正比；r＝f₂(lnV)，其中f₂为以lnV为变量的线性函数，与lnV成正比；T₁＝f₃(V/n,m/n)，其中f₃为以V/n与m/n为变量的二元线性函数，与V/n成正比，与m/n成正比；T₂＝f₄(V/n,m/n)，其中f₄为以V/n与m/n为变量的二元线性函数，与V/n成正比，与m/n成正比；T₃＝f₅(V/n,m/n，r/n)，其中f₅为以V/n、m/n与r/n为变量的二元线性函数，与V/n成正比，与m/n成反比，与r/n成正比；T₄＝f₆(V/n,r/n)，其中f₆为以V/n与r/n为变量的二元线性函数，与V/n成正比，与r/n成反比；T₅＝f₇(V/n,r/n)，其中f₇为以V/n与r/n为变量的二元线性函数，与V/n成正比，与r/n成反比；其中V为初始数据总量、r为Reduce任务的数量、n为计算节点的数量、m为Map任务的数量，Input子阶段执行时间长度为T₁,Map子阶段执行时间长度为T₂，Shuffle子阶段执行时间长度为T₃，Reduce子阶段执行时间长度为T₄，Output子阶段结束时间长度为T₅；若通信子阶段中Shuffle子阶段通信总量为d，Shuffle子阶段进行通信的进程的部署策略为f₈(m,r,n)，Shuffle子阶段进行通信的均匀通信数据速率函数为f₉(d，L,T₃)，则所述阶段流量模型为：d＝kV，其中k为常数，V为初始数据总量；f₈(m,r,n)为m个Map任务与r个Reduce任务均匀随机地分布在n个计算节点上；f₉(d,L,T₃)为两通信节点在Shuffle子阶段中任务总数据量d在T₃时间间隔内均匀通信数据速率。