[发明专利]视频搜索方法、装置及计算机可读存储介质在审
申请号: | 202210802868.8 | 申请日: | 2022-07-07 |
公开(公告)号: | CN115858859A | 公开(公告)日: | 2023-03-28 |
发明(设计)人: | 黎功福 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/783 | 分类号: | G06F16/783;G06F16/953;G06F18/22;G06N3/0442;G06N3/045;G06N3/084;G06N3/0455;G06N3/0464 |
代理公司: | 深圳翼盛智成知识产权事务所(普通合伙) 44300 | 代理人: | 李玉婷 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 搜索 方法 装置 计算机 可读 存储 介质 | ||
1.一种视频搜索方法,其特征在于,所述方法包括:
获取视频搜索文本,并对所述视频搜索文本进行文本特征提取,得到第一文本特征;
将所述第一文本特征映射到视频信息对应的视频特征空间中,得到第二文本特征;
对候选视频库中的每一候选视频进行视频特征提取,得到每一候选视频的第一视频特征;
将所述第一视频特征映射到文本信息对应的文本特征空间中,得到每一候选视频的第二视频特征;
基于所述第一文本特征与所述第二视频特征之间的第一相似关系,以及所述第一视频特征与所述第二文本特征之间的第二相似关系在所述候选视频库中搜索与所述视频搜索文本对应的目标候选视频。
2.根据权利要求1所述的方法其特征在于,所述获取视频搜索文本,并对所述视频搜索文本进行文本特征提取,得到第一文本特征,包括:
获取视频搜索文本,并采用训练后的第一长短期记忆单元对所述视频搜索文本进行文本特征提取,得到多个过渡文本特征;
计算所述多个过渡文本特征的平均值,得到第一文本特征。
3.根据权利要求1所述的方法,其特征在于,所述将所述第一文本特征映射到视频信息对应的视频特征空间中,得到第二文本特征,包括:
获取视频记忆特征,所述视频记忆特征为在视频特征提取时对视频帧中视觉语义进行记录的特征;
基于所述视频记忆特征将所述第一文本特征向视频特征空间迁移,得到第二文本特征。
4.根据权利要求3所述的方法,其特征在于,所述基于所述视频记忆特征将所述第一文本特征向视频特征空间迁移,得到第二文本特征,包括:
计算所述视频记忆特征与所述第一文本特征之间的欧氏距离,得到相似特征;
基于训练后的全连接网络对所述相似特征进行全连接映射,得到选择特征;
根据所述选择特征与所述第一文本特征计算得到第二文本特征。
5.根据权利要求4所述的方法,其特征在于,所述根据所述选择特征与所述第一文本特征计算得到第二文本特征,包括:
计算所述选择特征的平均值,得到平均选择特征;
计算所述平均选择特征与所述第一文本特征的乘积,得到第二文本特征。
6.根据权利要求3所述的方法,其特征在于,所述对候选视频库中的每一候选视频进行视频特征提取,得到每一候选视频的第一视频特征,包括:
对候选视频库中的每一候选视频的视频帧进行视频帧特征提取,得到每一候选视频对应的视频帧特征;
采用所述视频记忆特征对所述每一候选视频对应的视频帧特征进行注意力处理,得到每一候选视频的第一视频特征。
7.根据权利要求6所述的方法,其特征在于,所述对候选视频库中的每一候选视频的视频帧进行视频帧特征提取,得到每一候选视频对应的视频帧特征,包括:
将候选视频库中的每一候选视频划分为多帧视频帧;
采用预设神经网络模型对每一候选视频对应的多帧视频帧进行卷积处理,得到每一候选视频对应的视频帧特征。
8.根据权利要求1所述的方法,其特征在于,所述将所述第一视频特征映射到文本信息对应的文本特征空间中,得到每一候选视频的第二视频特征,包括:
基于训练后的第二长短期记忆单元对每一候选视频的所述第一视频特征进行映射处理,得到每一候选视频的多个隐藏特征;
根据所述每一候选视频的多个隐藏特征和对应的预测句子长度计算得到每一候选视频的第二视频特征。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210802868.8/1.html,转载请声明来源钻瓜专利网。