[发明专利]一种基于强化学习的无线视频低时延抗干扰传输方法

权利要求书

1.一种基于强化学习的无线视频低时延抗干扰传输方法，其特征在于包括以下步骤：

步骤1：网络初始化及参量定义：

令θ₁＝h₁h₂...h_i,i≥0，θ₁初始值为构造一个网络权重为θ₁的神经网络A；令θ₂＝f₁f₂...f_i,i≥0，θ₂初始值为构造一个网络权重为θ₂的神经网络C；记通信信道系统可用信道为N个，所用通信信道为第c个；设视频发送方和接收方通信时的信号发射功率为p，最大信号发射功率为均匀量化为M个等级；设传输的视频编码码率为R，最小视频编码码率为R，最大视频编码码率为即均匀量化为X个等级；设策略空间集设视频接收方通过反馈信道Y将由算法学习得到的视频传输策略反馈给视频发送方；设B为给定误码率阈值，L为给定通信时延阈值；

步骤2：在第k时隙，视频接收方利用导频信息并通过信道估计获得第k时隙的信噪比及RSSI信息，分别记为r^(k)和g^(k)，记录上一时隙通信信道c^(k-1)；令系统观测状态s^(k)＝[r^(k),g^(k),c^(k-1)]；

步骤3：将s^(k)输入所述神经网络A，网络输出各个策略的长期效益值，即Q值，采用Softmax回归模型对各个策略的Q值进行归一化处理，得到策略的概率分布π(s^(k),A,θ₁)，根据π(s^(k),A,θ₁)进行采样得到视频传输策略a＝[a₁,a₂,a₃]，并将视频传输策略a所对应的概率取对数得到的数值记为

步骤4：视频接收方通过反馈信道Y将由步骤3得到的视频传输策略a反馈给视频发送方，视频发送方收到视频传输策略a后立即改变视频的视频编码码率、传输信道和功率；视频接收方等待t秒，并计算t秒内的BER，记为b，计算t秒内平均数据包时延，记为l；

步骤5：按下式计算视频传输策略a的即时收益u：

其中，w为时延指标权重，z₁、z₂为常数，B为误码率阈值；

步骤6：将步骤2得到的s^(k)输入所述神经网络C，将网络的输出记为V^(k)；视频接收方根据步骤2得到s^(k+1)，并将s^(k+1)作为所述神经网络C的输入，将此时的网络输出记为V^(k+1)；令所述神经网络C评判所述神经网络A生成的策略得分为I：

I＝u+γV^(k+1)-V^(k)

其中，γ为算法的长期效益折扣因子；

步骤7：对第k时隙所述神经网络A的权重参数θ₁和所述神经网络C的权重参数θ₂进行更新操作；

计算损失值F(θ₁):

通过反向传播算法计算损失值F(θ₁)对所述神经网络A每一个参数的梯度，记为采用深度学习模型优化算法Adam算法，根据梯度更新深度所述神经网络A的权重参数θ₁；

计算损失值F(θ₂)：

F(θ₂)＝I²

通过反向传播算法计算损失值F(θ₂)对深度所述神经网络C每一个参数的梯度，记为采用深度学习模型优化算法Adam算法，根据梯度更新深度所述神经网络C的权重参数θ₂；

步骤8：重复步骤2～7，直到误码率b＜B且通信时延l＜L。