[发明专利]一种面向视频会诊的NDN网络自适应转发方法

权利要求书

1.一种面向视频会诊的NDN网络自适应转发方法，其特征在于：包括以下步骤：

S1、将每个路由节点看做一个智能体Agent，使用深度强化学习中的深度确定性策略梯度方法，建立学习模型；

S2、路由节点实时收集当前每个接口的网络状态，并将这些信息输入学习模型用于训练得到该路由节点上每个接口的兴趣包的转发概率；

S3、根据步骤S2训练得出的每个接口的兴趣包的转发概率，兴趣包选择转发概率最优的接口进行转发；

S4、随着兴趣包的转发，对网络参数进行更新，等待下一次兴趣包的转发。

2.根据权利要求1所述的一种面向视频会诊的NDN网络自适应转发方法，其特征在于：所述步骤S1的具体方法为：

S1.1、分别使用随机参数ω^Q和ω^μ初始化当前网络的Critic网络和Actor网络，并同时分别使用与ω^Q和ω^μ对应相等的和初始化目标网络的Critic网络和Actor网络；

S1.2、初始化经验池B和噪声初始化转发接口的转发概率；

S1.3、将路由器中每个接口的吞吐量延迟和错误率作为智能体Agent的输入，从而构成Agent的状态空间，在时刻t所对应的状态空间S_t表示为：其中表示该路由节点共有个可用于兴趣包转发的接口，对收集到的信息进行训练，其输出的动作为该路由节点上所对应每个接口的兴趣包的转发概率，这些动作集合构成动作空间，在时刻的动作空间a_t表示为：a_t＝[p_t(F₁),p_t(F₂),…,p_t(F_N),p_t(F_L)]，其中p_t(F_i)表示第i个接口的转发概率，p_t(F_L)表示所需丢弃兴趣包的概率。

S1.4、依据当前的输入得到t时刻所要执行的动作；

S1.5、使用α公平函数作为每个接口的效用函数；

S1.6、通过步骤S1.5计算出每个接口的效用值后，将所有接口的效用汇总得出该路由节点的总效用，总效用函数U_all为：其中U(x_L,y_L,z_L)表示所需丢弃兴趣包的效用，智能体Agent在t时刻的回报函数r_t为：

S1.7、根据步骤S1.6中的回报函数，将t时刻的样本(s_t,a_t,r_t,s_t+1)存储到经验池B中；

S1.8、智能体Agent从经验池B中采样M个样本进行训练，通过不断地迭代优化网络参数，使得目标回报最大化。

3.根据权利要求2所述的一种面向视频会诊的NDN网络自适应转发方法，其特征在于：所述步骤S1.5中α为α＝1，则每个接口的效用函数为U(x_f,y_f,z_f)＝U(x_f)-βU(y_f)-γU(z_f)，其中x_f,y_f和z_f分别代表路由节点中第f个接口的吞吐量、延迟和错误率；β和γ分别代表吞吐量、延迟和错误率三者之间的相对重要性。

4.根据权利要求3所述的一种面向视频会诊的NDN网络自适应转发方法，其特征在于：所述和设置为1，该节点中接口f的效用函数表示为：U(x_f,y_f,z_f)＝logx_f-logy_f-logz_f。