[发明专利]视频数据处理方法、装置、程序产品、计算机设备和介质

权利要求书

1.一种视频数据处理方法，其特征在于，所述方法包括：

获取样例对和样本关联对；一个样例对包含一个第一视频片段和一个第一文本，所述样例对按照包含的第一视频片段与第一文本间的内容差异被分为正样例对和负样例对；一个样本关联对包含一个第二文本和该第二文本在样本视频数据中所属的第二视频片段；所述样本视频数据具有视频描述标签；

调用生成网络对所述样例对进行特征对比学习，得到学习偏差；所述学习偏差用于减小所述正样例对中的第一视频片段与第一文本间的特征差异，并用于增大所述负样例对中的第一视频片段与第一文本间的特征差异；

调用所述生成网络对所述样本关联对进行预测处理，得到所述样本视频数据的样本视频描述信息，并基于所述视频描述标签获取所述生成网络针对所述样本视频描述信息的预测偏差；

根据所述学习偏差和所述预测偏差修正所述生成网络的网络参数，得到训练好的生成网络；所述训练好的生成网络用于生成视频数据的视频描述信息。

2.如权利要求1所述的方法，其特征在于，所述正样例对包含的第一视频片段的视频内容与所述正样例对包含的第一文本描述的内容相同；所述负样例对包含的第一视频片段的视频内容与所述负样例对包含的第一文本描述的内容不同。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述样本视频数据的样本音频数据，并对所述样本音频数据进行文本转换处理，得到样本文本数据；

对所述样本文本数据进行文本分割处理，得到所述样本文本数据包含的至少一个第二文本。

4.如权利要求3所述的方法，其特征在于，所述至少一个第二文本中的任一个表示为目标文本；所述方法还包括：

获取所述目标文本在所述样本音频数据中对应的音频片段；

获取所述音频片段在所述样本视频数据中的起始播放时刻和终止播放时刻；

根据所述起始播放时刻和所述终止播放时刻从所述样本视频数据中，切割得到所述目标文本所属的第二视频片段；

根据所述目标文本和所述目标文本所属的第二视频片段构建所述样本关联对。

5.如权利要求1所述的方法，其特征在于，所述调用生成网络对所述样例对进行特征对比学习，得到学习偏差，包括：

调用所述生成网络生成所述正样例对中第一视频片段的第一视频特征和所述正样例对中第一文本的第一文本特征；

调用所述生成网络生成所述负样例对中第一视频片段的第二视频特征和所述负样例对中第一文本的第二文本特征；

基于所述第一视频特征、所述第一文本特征、所述第二视频特征和所述第二文本特征，获取所述生成网络针对所述样例对的所述学习偏差。

6.如权利要求1所述的方法，其特征在于，所述调用所述生成网络对所述样本关联对进行预测处理，得到所述样本视频数据的样本视频描述信息，包括：

调用所述生成网络生成所述样本关联对中第二文本的第三文本特征和所述样本关联对中第二视频片段的第三视频特征；

获取所述样本关联对中第二文本包含的至少一个分词，并获取每个分词的词嵌入特征；

调用所述生成网络基于所述第三文本特征、所述第三视频特征和所述每个分词的词嵌入特征，预测所述样本视频描述信息。

7.如权利要求6所述的方法，其特征在于，所述调用所述生成网络生成所述样本关联对中子文本的第三文本特征和所述样本关联对中子文本的关联视频片段的第三视频特征，包括：

获取所述样本关联对中第二文本的文本嵌入特征和所述样本关联对中第二视频片段的视频嵌入特征；

调用所述生成网络基于所述文本嵌入特征生成所述第三文本特征，并调用所述生成网络基于所述视频嵌入特征生成所述第三视频特征。