[发明专利]基于强化学习的对抗性视频时刻检索方法、装置、计算机设备和存储介质

权利要求书

1.一种基于强化学习的对抗性视频时刻检索方法，其特征在于，包括：

S1：输入完整视频v和查询语句q作为强化学习代理的环境信息；

S2：提取所述环境信息的查询语句特征f_q、全局视频特征f_g、位置特征I^t和与所述位置特征I^t对应的局部视频特征f_I^t构成当前的视频时刻片段的状态s^t＝[f_q,f_g,I^t,f_I^t]，其中，t为时间步骤，位置特征I^t为初始的时序边界I^t；

S3：所述强化学习代理根据所述状态s^t作出在所述时序边界I^t移动的动作a^t,获取执行所述动作a^t的奖励r^t以及根据所述奖励r^t输出若干个更新的时序边界I^t+1和与所述时序边界I^t+1对应的局部视频特征f_I^t+1，重新构成当前的视频时刻片段的状态s'，此时，所述时序边界I^t+1为更新后当前的视频时刻候选片段；

S4：通过贝叶斯个性化排序方法对所述时序边界I^t和所述查询语句q进行匹配，输出匹配分值，并将所述匹配分值作为奖励r^t返回所述强化学习代理；

S5：所述强化学习代理和所述贝叶斯个性排序方法通过对抗学习相互增强，直到收敛，得到对应所述查询语句q的视频时刻片段I＝(I_s，I_e)，其中，I_s为视频起始时刻，I_e为视频结束时刻；

在步骤S4中，包括：

S41：所述查询语句q包括标记的真实视频时刻τ＝(τ_s、τ_e)，提取所述查询语句q、时序边界I^t和真实视频时刻τ的特征，其中，τ_s为标记的真实视频起始时刻，τ_e为标记的真实视频结束时刻；

S42：通过预设公共空间以及所述查询语句q的特征、时序边界I^t的特征和所述真实视频时刻τ的特征获取所述查询语句q的映射函数、时序边界I^t的映射函数以及所述真实视频时刻τ的映射函数；

S43：通过元素级乘法、元素级加法和全连接获取所述查询语句q的映射函数和所述时序边界I^t的映射函数结合函数以及所述查询语句q的映射函数和所述真实视频时刻τ的映射函数结合函数；

S44：根据所述查询语句q的映射函数和所述时序边界I^t的映射函数结合函数以及根据所述查询语句q的映射函数和所述真实视频时刻τ的映射函数结合函数，输出更新的时序边界I^t中接近所述真实视频时刻τ的匹配分值。

2.根据权利要求1所述的基于强化学习的对抗性视频时刻检索方法，其特征在于，在步骤S3中，还包括：通过深度确定性策略梯度算法更新所述强化学习代理以输出若干个更新的时序边界I^t+1，所述深度确定性策略梯度算法由评论家网络、演员网络、评论家网络参数滞后网络以及演员网络参数滞后网络构成，所述评论家网络根据所述奖励r^t判断所述动作a^t是否为最优动作，所述演员网络用于执行所述最优动作以获得更新的时序边界l^t+1，所述评论家网络参数滞后网络以及所述演员网络参数滞后网络通过软更新方法更新各自滞后网络的参数。