[发明专利]一种基于控制论和数据驱动的自适应分流决策方法

权利要求书

1.一种基于控制论和数据驱动的自适应分流决策方法，其特征在于，包括以下步骤：

步骤S1、搭建智能体播放器系统；所述智能体播放器系统输入包括采集的视频帧数据集、网络数据集和系统决策的缓冲区占用长度，输出对应的网络状态参数；

步骤S2、将步骤S1中输出的网络状态参数输入至机器学习模型进行训练，获取最优动作选择策略，即为各路径分流比例，并按照所述比例进行对应数量的视频数据分发；具体采用基于A3C算法的自适应分流决策模型，步骤如下：

所述决策模型的输入为s_t＝(s_t,1,s_t,2,...,s_t,n)，其中s_t,i表示第i条链路在第t个调度周期的状态；s_t,i由多个状态参数构成，具体表示如下：

s_t,i＝(x_t,i,w_t,i,d_t,i,u_t,i,b_t)

其中x_t,i表示在第t个调度周期，第i条链路的平均吞吐量；w_t,i表示在第t个调度周期，第i条链路的平均拥塞窗口大小；d_t,i表示在第t个调度周期，第i条链路的平均往返时延；u_t,i表示在第t个调度周期，第i条链路累积未确认的数据包的数量；b_t表示在第t个调度周期，当前客户端缓冲区占用长度；

所述决策模型将网络即时数据保存下来，作为离线神经网络训练数据集，同时将更新后的网络参数及时同步到策略网络中；设定确定性策略μ(s_t):S→A；其中S,A分别表示状态集合和动作集合；基于给定状态s_t，算法映射相应动作空间a_k＝μ(s_t)；所述动作空间由各条链路的分流比组成的向量来表示，具体如下：

a_k＝(p₁,p₂,...,p_n)

其中a_k表示在第t个调度周期时，第k个动作包含的决策内容；p_i表示第i条链路的数据包分流比，并且当调度器根据所述确定性策略执行动作a_k之后，在调度周期t+1结束时，系统状态转移到s_t+1，同时获得奖赏r(s_t，a_k)如下：

r(s_t,a_k)＝V_t^throughput-αV_t^RTT-βV_t^lost

其中，表示所有n个链路的总吞吐量，表示该调度周期中所有数据包的平均往返时延，表示该调度周期中丢失的数据包总数量，α和β是影响因子，取值范围为0～1；

所述模型输出为各动作空间的出现概率，表示如下：

其中表示动作a_k出现的概率；

步骤S3、根据步骤S2所得各路径分流比例，计算得到满足缓冲区动态变化模型的合适的视频码率范围；所述缓冲区动态变化模型具体如下：

缓冲区动态变化速率表示如下：

b_k(t)＝b_k-1(t)+d_c(t)-c

其中，b_k(t)表示在当前时间t下载第k个视频块时的缓冲区变化速率，b_k-1(t)表示第k-1个视频块下载完成时的缓冲区变化速率，d_c(t)表示聚合链路当前网络下载速率，即缓冲区的输入速率，c表示视频的播放速率，即缓冲区的输出速率，为常数；将上式对时间t进行积分，可得：

B_k＝B_k-1+[d_c(t)-c]△t

其中B(.)表示不同时刻的缓冲区占用长度，△t表示从第k个视频块下载开始到完成时的时间间隔；当第k个视频块完全下载的时间为视频数据在各条子路径和聚合路径传输时间之和的最大值时，即可保证视频数据完全到达而不发生丢包情况；此时：

其中p_i表示第i条路径的分流比，R_k(t)表示第k个视频块的码率，T表示视频块的时间，d_i(t)和d_c(t)分别表示第i条子路径和聚合链路下载第k个视频块时的速率；

避免缓冲区上溢需要满足B_k≤q_max且d_c(t)c，其中q_max表示客户端设置的缓冲区长度阈值；传输第k个视频块时决策时刻请求的码率R_k(t)满足：

各终端下载时间t满足：

其中，B_T为各终端用于缓存的空间，d_m(t)为下载速率最快的子路径；则各路径已下载的缓存长度则为：

此时各条子路径总的缓存区长度为：

考虑子路径和聚合链，总缓冲区长度B_tot为：

因此为了不使播放端缓冲区上溢，视频码率R_k(t)需要满足下式：

同理，为了不使播放端缓冲区下溢，任意时刻的缓冲区占用都应该不低于客户端设置的缓冲区长度阈值q_min，即满足B_k≥q_min且d_c(t)c；此时视频码率R_k(t)满足下式：

步骤S4、根据缓冲区阈值和缓冲区占用设计控制系统；所述控制系统通过选择满足步骤S3中要求的视频码率范围，使缓冲区占用符合预定的变化轨迹范围；具体设计系统如下：

所述控制系统的输入为缓冲区阈值q，预设的缓冲区占用长度变化区间为B_k(t)∈[q_min,q_max]；所述控制系统传递函数G_c(s)的输入为预设缓冲区变化范围和实际缓冲区占用长度之间的误差，表示为e(t)＝q-B_k(t)，输出即为应选择的视频传输码率，表示为R(t)；

然后用量化器将控制器输出的视频码率离散化，由缓冲区变化因子f(B_k)映射为已编码码率中的值，输出离散后的视频码率

在选择合适的视频码率后将视频码率作为积分器的输入；积分器1/s表示时域积分环节，对视频码率R'(t)进行时域积分从而得到控制系统的输出，即缓冲区占用长度B_k(t)。

2.根据权利要求1所述的一种基于控制论和数据驱动的自适应分流决策方法，其特征在于，所述步骤S4中控制系统输入到输出的等量关系如下：

控制系统的传递函数为：

所述比例差分控制器的传递函数为：

其中k_p为比例参数，k_d为微分参数；可得控制系统的传递函数为：