[发明专利]视频分类方法、装置、计算机设备及存储介质在审
申请号: | 202310287019.8 | 申请日: | 2023-03-22 |
公开(公告)号: | CN116229329A | 公开(公告)日: | 2023-06-06 |
发明(设计)人: | 杨志雄;雷鑫华;杨延展;李永会 | 申请(专利权)人: | 抖音视界有限公司 |
主分类号: | G06V20/40 | 分类号: | G06V20/40;G06V10/764;G06V10/75 |
代理公司: | 北京中知法苑知识产权代理有限公司 11226 | 代理人: | 赵吉阳 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 分类 方法 装置 计算机 设备 存储 介质 | ||
本公开提供了一种视频分类方法、装置、计算机设备及存储介质,其中,该方法包括:获取待检测视频、和所述待检测视频的非内容属性信息;对所述待检测视频进行特征提取,生成与所述待检测视频内容匹配的多种模态的特征数据;以及基于分类任务的任务内容,对所述非内容属性信息进行编码,生成属性特征数据;基于所述多种模态的特征数据和所述属性特征数据,确定所述待检测视频在所述分类任务下的分类结果。
技术领域
本公开涉及计算机技术领域,具体而言,涉及一种视频分类方法、装置、计算机设备及存储介质。
背景技术
随着科学技术的快速发展,移动设备已成为人们生活必不可少的用品,由于移动设备的普及,短视频已成为一种常见的多媒体内容。因此,如何对短视频进行准确分类已成为一个研究的热点问题。
一般的,可以利用神经网络提取短视频的内容特征,得到特征数据,神经网络根据提取到的特征数据,进行短视频的分类,但是,由于短视频天然的具有时短、强编辑等特点,使得神经网络的分类结果的准确性较低。
发明内容
本公开实施例至少提供一种视频分类方法、装置、计算机设备及存储介质。
第一方面,本公开实施例提供了一种视频分类方法,包括:
获取待检测视频、和所述待检测视频的非内容属性信息;
对所述待检测视频进行特征提取,生成与所述待检测视频内容匹配的多种模态的特征数据;以及基于分类任务的任务内容,对所述非内容属性信息进行编码,生成属性特征数据;
基于所述多种模态的特征数据和所述属性特征数据,确定所述待检测视频在所述分类任务下的分类结果。
第二方面,本公开实施例还提供一种视频分类装置,包括:
获取模块,用于获取待检测视频、和所述待检测视频的非内容属性信息;
生成模块,用于对所述待检测视频进行特征提取,生成与所述待检测视频内容匹配的多种模态的特征数据;以及基于分类任务的任务内容,对所述非内容属性信息进行编码,生成属性特征数据;
确定模块,用于基于所述多种模态的特征数据和所述属性特征数据,确定所述待检测视频在所述分类任务下的分类结果。
第三方面,本公开实施例还提供一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
第四方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
本公开实施例提供的视频分类方法、装置、计算机设备及存储介质,在获取待检测视频之后,获取待检测视频的非内容属性信息,比如非内容属性信息可以包括视频时长、点赞数等等,并对待检测视频进行特征提取,生成与待检测视频内容匹配的多种模态的特征数据;以及基于分类任务的任务内容,对非内容属性信息进行编码,生成属性特征数据,该属性特征数据与分类任务匹配,使得属性特征数据能够给视频分类提供辅助信息,进而基于多种模态的特征数据和属性特征数据,能够较准确的确定待检测视频在分类任务下的分类结果。
考虑到视频的非内容属性会对待检测视频的分类结果产生较大的影响,且不同的任务内容所关注的属性信息不同,基于此,本公开中通过获取待检测视频的非内容属性信息,基于分类任务的任务内容,对非内容属性信息进行编码,生成属性特征数据,不仅关注了待检测视频的内容相关特征,也关注了非内容相关特征,关注的特征信息较丰富,进而后续基于多种模态的特征数据和属性特征数据,得到的分类结果的精度较高。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于抖音视界有限公司,未经抖音视界有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310287019.8/2.html,转载请声明来源钻瓜专利网。