[发明专利]视频数据处理方法、装置、程序产品、计算机设备和介质在审
申请号: | 202210741685.X | 申请日: | 2022-06-28 |
公开(公告)号: | CN115115984A | 公开(公告)日: | 2022-09-27 |
发明(设计)人: | 曾雅文;黎功福;王艺如 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06V20/40 | 分类号: | G06V20/40;G06V10/774;G06V10/80;G06V10/82;G06F16/783;G06N3/04;G06N3/08 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 唐宇鑫 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 数据处理 方法 装置 程序 产品 计算机 设备 介质 | ||
本申请公开了一种视频数据处理方法、装置、程序产品、计算机设备和介质,该方法包括:获取样例对和样本关联对;样例对按照包含的视频片段与文本间的内容差异被分为正样例对和负样例对;样本关联对包含文本和该文本在样本视频数据中所属的视频片段;样本视频数据具有视频描述标签;调用生成网络对样例对进行对比学习得到学习偏差;调用生成网络基于样本关联对预测样本视频数据的样本视频描述信息,基于视频描述标签和样本视频描述信息得到预测偏差;根据学习偏差和预测偏差训练生成网络,得到训练好的生成网络。采用本申请,可提高训练得到的生成网络的准确性,进而采用训练好的生成网络也可以准确地生成视频数据的视频描述信息。
技术领域
本申请涉及计算机技术领域,尤其涉及一种视频数据处理方法、装置、程序产品、计算机设备和介质。
背景技术
在视频检索类应用中,用户通常可以输入检索信息来检索相关的视频,后台则可以对用户输入的检索信息与视频库中视频的标题信息进行匹配,若匹配成功(如检索信息与视频的标题信息间的文本相似度较高),则可以向用户推送所具有的标题信息与用户输入的检索信息相匹配的视频。
但是,若视频的视频内容与视频的标题信息所描述的内容之间并不相符,则用户通过检索信息也并不能检索到准确的视频,因此,如何准确地生成视频数据的相关描述信息(用于与用户输入的检索信息进行匹配)成为一个亟待解决的问题。
发明内容
本申请提供了一种视频数据处理方法、装置、程序产品、计算机设备和介质,可提高训练好的生成网络的准确性,进而采用训练好的生成网络可以准确地生成视频数据的视频描述信息。
本申请一方面提供了一种视频数据处理方法,该方法包括:
获取样例对和样本关联对;一个样例对包含一个第一视频片段和一个第一文本,样例对按照包含的第一视频片段与第一文本间的内容差异被分为正样例对和负样例对;一个样本关联对包含一个第二文本和该第二文本在样本视频数据中所属的第二视频片段;样本视频数据具有视频描述标签;
调用生成网络对样例对进行特征对比学习,得到学习偏差;学习偏差用于减小正样例对中的第一视频片段与第一文本间的特征差异,并用于增大负样例对中的第一视频片段与第一文本间的特征差异;
调用生成网络对样本关联对进行预测处理,得到样本视频数据的样本视频描述信息,并基于视频描述标签获取生成网络针对样本视频描述信息的预测偏差;
根据学习偏差和预测偏差修正生成网络的网络参数,得到训练好的生成网络;训练好的生成网络用于生成视频数据的视频描述信息。
本申请一方面提供了一种视频数据处理装置,该装置包括:
获取模块,用于获取样例对和样本关联对;一个样例对包含一个第一视频片段和一个第一文本,样例对按照包含的第一视频片段与第一文本间的内容差异被分为正样例对和负样例对;一个样本关联对包含一个第二文本和该第二文本在样本视频数据中所属的第二视频片段;样本视频数据具有视频描述标签;
学习模块,用于调用生成网络对样例对进行特征对比学习,得到学习偏差;学习偏差用于减小正样例对中的第一视频片段与第一文本间的特征差异,并用于增大负样例对中的第一视频片段与第一文本间的特征差异;
预测模块,用于调用生成网络对样本关联对进行预测处理,得到样本视频数据的样本视频描述信息,并基于视频描述标签获取生成网络针对样本视频描述信息的预测偏差;
训练模块,用于根据学习偏差和预测偏差修正生成网络的网络参数,得到训练好的生成网络;训练好的生成网络用于生成视频数据的视频描述信息。
可选的,正样例对包含的第一视频片段的视频内容与正样例对包含的第一文本描述的内容相同;负样例对包含的第一视频片段的视频内容与负样例对包含的第一文本描述的内容不同。
可选的,上述装置还用于:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210741685.X/2.html,转载请声明来源钻瓜专利网。