[发明专利]策略估计网络的训练方法及装置、传输方法、设备及介质

权利要求书

1.一种策略估计网络的训练方法，采用演员评论家网络结构的强化学习模型实现，所述方法包括：

获取车辆与多个路边单元之间的信道状态数据；

将所述信道状态数据输入所述策略估计网络以确定传输策略；

基于所述信道状态数据和所述传输策略，确定传输时间数据；

以所述传输时间数据作为约束条件，确定优化策略；以及

基于所述优化策略训练所述策略估计网络；

其中，所述传输策略包括路边单元选择、视频层数以及分配的带宽大小。

2.根据权利要求1所述的方法，其中：

所述传输时间数据包括当前时间周期的时延、第一估计时间以及第二估计时间，其中，所述第一估计时间包括从当前时间周期到回合结束期间的累计传输估计时间，所述第二估计时间包括从下一时间周期到回合结束期间的累计传输估计时间；

所述约束条件包括基于所述时延、第一估计时间以及第二估计时间之间数值关系的约束条件。

3.根据权利要求2所述的方法，其中，所述以所述传输时间数据作为约束条件，确定优化策略包括通过线性优化确定优化策略：

所述线性优化的约束条件包括所述时延、第一估计时间以及第二估计时间之间的数值关系以及各个动作的取值范围；

所述线性优化的目标函数包括以下一个或多个：视频质量最高、选择的接收节点与车辆之间距离最短以及分配的带宽最少。

4.根据权利要求3所述的方法，其中，所述线性优化的目标函数包括：

基于所述信道状态数据和所述传输策略确定的从当前时间周期到回合结束期间的累计视频质量的估计值到达最大。

5.根据权利要求1所述的方法，其中，所述基于所述优化策略训练所述策略估计网络包括：

以所述优化策略与所述传输策略之间的均方差作为损失函数，训练所述策略估计网络。

6.一种传输方法，包括：

获取车辆与多个路边单元之间的信道状态数据；

将所述信道状态数据输入如权利要求1～5任一项所述的训练方法训练得到的策略估计网络以确定传输策略；

基于所述传输策略传输数据。

7.一种策略估计网络的训练装置，采用演员评论家网络结构的强化学习模型实现，所述装置包括：

获取模块，被配置为获取车辆与多个路边单元之间的信道状态数据；

第一确定模块，被配置为将所述信道状态数据输入所述策略估计网络以确定传输策略；

第二确定模块，被配置为基于所述信道状态数据和所述传输策略，确定传输时间数据；

第三确定模块，被配置为以所述传输时间数据作为约束条件，确定优化策略；以及

训练模块，被配置为基于所述优化策略训练所述策略估计网络；

其中，所述传输策略包括路边单元选择、视频层数以及分配的带宽大小。

8.一种电子设备，其特征在于，包括存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现权利要求1～6任一项所述的方法步骤。

9.一种可读存储介质，其上存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1～6任一项所述的方法步骤。