[发明专利]基于自适应网络编码的异构无线链路并发传输控制方法

权利要求书

1.一种基于自适应网络编码的异构无线链路并发传输控制方法，其特征在于，所述控制方法包括以下步骤：

S1，基于A3C构建自适应编码决策模型，定义A3C强化学习参数，强化学习参数至少包括路径状态集、编码动作集和用于衡量动作执行好坏的奖励函数；

S2，对全局代理的神经网络参数θ_c和θ_a进行迭代优化，采用优化参数后的自适应编码决策模型获取最优编码策略，确定编码分组大小N和编码分组内数据包冗余大小R，N和R均是大于1的整数值；

S3，定义两个编码矩阵：原始数据包的编码矩阵C_p和冗余编码矩阵C_r，根据编码分组大小和编码分组内冗余数据包大小，从相应的编码矩阵选择编码系数，编码生成N+R个编码数据包；

S4，针对编码生成N+R个编码数据包，基于路径质量对数据包进行分发：在每一次调度分发时，衡量每条路径的质量，选取质量最优的路径将编码的数据包调度到该路径的缓存中；

步骤S1中，所述定义模型参数的过程包括以下步骤：

S11，设定路径状态集St为：

S_t＝{Bw_t，Buffer_t，(N，R)，T，T_t，Pl_t}

式中，Bw_t＝{Bw_t，1，Bw_t，2，...，Bw_t，I}，Bw_t，i表示t时刻路径i的带宽大小，I表示链路总数；Buffer_t表示t时刻视频缓存，(N，R)表示过去时刻选择的编码分组大小N和R；T表示当前分组传输时延；T_t＝{T_t，1，T_t，2…，T_t，I}，T_t，i表示t时刻路径i的下载时延；Pl_t＝{Pl_t，1，Pl_t，2，...，Pl_t，I}，Pl_t，i表示t时刻路径i的丢包率，1≤i≤I；

S12，设定动作集a_t为：

a_t＝{N，R}

式中，N表示编码分组大小，R表示分组内冗余数据包大小，N和R都是整数值；

S13，定义状态转移概率

S14，定义奖励函数r_t：

式中，表示最大化吞吐量，其中Bw_t，i表示t时刻路径i的带宽大小；α是重新缓冲的惩罚因子，rebuf表示重新缓冲的时间；β表示时延惩罚因子，T＝MAX(T_t，i)_(1≤i≤I)表示总的下载时延；γ表示缓冲区惩罚因子，

B₁，B₂是缓冲区上下限阈值，θ为缓冲区调节因子，0≤θ≤1；

步骤S2中，对全局代理的神经网络参数θ_c和θ_a进行迭代优化的过程包括：

S201，输入全局代理的神经网络参数θ_c和θ_a、全局最大的迭代次数M，令全局迭代次数m＝1；

S202，初始化时间t＝0；

S203，初始化起始状态s_t＝s₀；初始化神经网络参数增量dθ_c＝0，dθ_a＝0；将全局代理的神经网络参数赋值给局部代理θ′_c＝θ_c，θ′_a＝θ_a；s₀表示t＝0时的网络状态；

S204，设t＝1；

S205，基于策略π(a_t|s_t；θ′_a)，执行动作a_t，从视频播放环境中获得奖励值r_t和新的状态s_t+1；

S206，令t＝t+1，m＝m+1；重复步骤S205，直至t＝N+1；

S207，计算状态s_N的值函数

S208，令i＝N-1；

S209，更新θ_a的增量更新θ_c的增量式中，表示优势函数，即运用策略π(θ_a)所获奖励与预期奖励的差值；H(.)表示正则化熵值，以保证决策代理充分地探索环境空间，γ表示折扣因子，0＜γ＜1；

S210，令i＝i-1，重复步骤S209，直至i＝0；

S211，更新全局代理的网络参数θ_a←θ_a+wdθ_a，θ_c←θ_c-αdθ_c；其中，w表示Actor网络的更新步长，a表示Critic网络的更新步长；

S212，令m＝m+1，重复步骤S23至S211，直至m＞M，输出迭代后的网络参数θ_c和θ_a。