[发明专利]面向交互视频传输质量提升的混合学习方法、装置及设备

说明书

本发明实施例提供了面向交互视频传输质量提升的混合学习方法、装置及电子设备，方法包括：针对当前传输时隙，获取上一传输时隙的传输参数及包间延迟序列；将上一传输时隙的传输参数输入码率预测深度强化学习模型，确定第一备选传输码率；基于包间延迟序列所表示的包间延迟趋势确定网络状态标识值；确定当前传输时隙的网络状态阈值；如果网络状态标识值不大于当前传输时隙的网络状态阈值，基于第一备选传输码率发送数据包；如果网络状态标识值大于当前传输时隙对应的网络状态阈值，基于传输码率调整规则、上一传输时隙的传输码率及传输参数确定第二备选传输码率，基于第二备选传输码率发送数据包。采用本发明实施例可以提高视频通话的质量。

技术领域

本发明涉及通信技术领域，特别是涉及一种面向交互视频传输质量提升的混合学习方法、装置及设备。

背景技术

随着通信技术的迅速发展，视频通话已经成为人们生活中不可或缺的一部分。然而，在视频通话的过程中，由于视频通话的传输码率不合适导致通话质量下降的情况时有出现，例如，当视频通话的传输码率不合适时会出现视频卡顿、视频图像模糊等问题。为了提高视频通话的通话质量，确定合适的视频通话的传输码率的方法应运而生。

目前，合适的视频通话传输码率是通过码率预测模型确定的。具体来说，在确定当前传输时隙合适的传输码率时，电子设备可以获取上一传输时隙的丢包率、包间延迟、吞吐量及传输码率等传输参数，然后将上一传输时隙的传输参数输入码率预测模型，确定当前传输时隙合适的传输码率，进而发送端可以按照确定的传输码率向接收端发送视频数据。其中，传输时隙即为发送端发送视频数据的时间段。

上述码率预测模型为采用trial-and-error(试错法)进行学习的在线强化学习模型。例如，当通过码率预测模型确定的传输码率不合适时会导致通话质量急剧下降，在这种情况下，可以通过丢包率、包间延迟、吞吐量等传输参数计算奖励函数值，然后基于奖励函数调整码率预测模型的参数，以避免码率预测模型再次出现确定的传输码率不合适的情况。但在实时视频通话的过程中，采用上述码率预测模型预测传输码率的方式无法避免预测的传输码率不合适、不鲁棒等情况出现，这会造成视频通话的通话质量较低。

发明内容

本发明实施例的目的在于提供一种面向交互视频传输质量提升的混合学习方法、装置及电子设备，以确定合适的传输码率，提高通话质量。具体技术方案如下：

第一方面，本发明实施例提供了一种面向交互视频传输质量提升的混合学习方法，所述方法包括：

针对视频通话的当前传输时隙，获取上一传输时隙的传输参数及包间延迟序列，其中，所述包间延迟序列为所述当前传输时隙之前接收端所接收到的预设数量的数据包中相邻数据包之间的包间延迟对应的序列；

将所述上一传输时隙的传输参数输入码率预测模型，确定所述当前传输时隙的备选传输码率，作为第一备选传输码率，其中，所述码率预测模型为基于各个传输时隙对应的奖励函数值调整模型参数得到的强化学习模型，所述每个传输时隙对应的奖励函数值为根据该传输时隙的传输参数确定的，所述码率预测模型包括传输参数与备选传输码率之间的对应关系；

基于所述包间延迟序列所表示的包间延迟趋势，确定所述当前传输时隙对应的网络状态标识值；

基于所述网络状态标识值及所述上一传输时隙对应的网络状态阈值，确定所述当前传输时隙对应的网络状态阈值，其中，所述网络状态阈值的初始值为基于历史通话的包间延迟确定的；

如果所述网络状态标识值不大于所述当前传输时隙对应的网络状态阈值，基于所述第一备选传输码率向接收端发送数据包；

如果所述网络状态标识值大于所述当前传输时隙对应的网络状态阈值，基于预设的传输码率调整规则、所述上一传输时隙的传输码率及所述上一传输时隙的传输参数，确定所述当前传输时隙的备选传输码率，作为第二备选传输码率，并基于所述第二备选传输码率向接收端发送数据包，其中，所述传输码率调整规则为降低传输码率的规则。