[发明专利]视频搜索方法及装置、索引构建方法及装置在审
申请号: | 201911398726.4 | 申请日: | 2019-12-30 |
公开(公告)号: | CN113127679A | 公开(公告)日: | 2021-07-16 |
发明(设计)人: | 吕逸良;唐铭谦;韩振;潘玉霖 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F16/71 | 分类号: | G06F16/71;G06F16/73;G06F16/78 |
代理公司: | 北京智信禾专利代理有限公司 11637 | 代理人: | 李晓庆 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 搜索 方法 装置 索引 构建 | ||
1.一种视频搜索方法,包括:
接收用户输入的对目标视频的搜索请求,其中,所述搜索请求中携带有针对所述目标视频的多模态搜索数据;
基于所述多模态搜索数据,获取所述多模态搜索数据的处理结果;
将所述多模态搜索数据的处理结果输入至对应的预先构建的索引中,搜索得到所述目标视频。
2.根据权利要求1述的视频搜索方法,所述多模态搜索数据包括文本数据;
所述基于所述多模态搜索数据,获取所述多模态搜索数据的处理结果包括:
基于预设的文本算法对所述文本数据进行处理,得到所述文本数据的文本语意标签。
3.根据权利要求1或2所述的视频搜索方法,所述多模态搜索数据包括图像数据;
所述基于所述多模态搜索数据,获取所述多模态搜索数据的处理结果包括:
基于预设的图像算法对所述图像数据进行处理,得到所述图像数据的图像语意标签;
基于预设的向量化模型对所述图像数据进行处理,得到所述图像数据的向量化描述。
4.根据权利要求1或2所述的视频搜索方法,所述多模态搜索数据包括视频数据;
所述基于所述多模态搜索数据,获取所述多模态搜索数据的处理结果之前,还包括:
将所述视频数据拆分为视频元数据和视频流数据,并基于预设的分割方式将所述视频流数据分割为视频帧序列。
5.根据权利要求4所述的视频搜索方法,所述基于所述多模态搜索数据,获取所述多模态搜索数据的处理结果包括:
基于所述文本算法对所述视频元数据进行处理,得到所述视频元数据的文本语意标签;
基于预设的视频算法对所述视频帧序列中的视频帧进行处理,得到所述视频帧的视频语意标签;
基于所述向量化模型对所述视频帧进行处理,得到所述视频帧的向量化描述。
6.根据权利要求2所述的视频搜索方法,所述将所述多模态搜索数据的处理结果输入至对应的预先构建的索引中,搜索得到所述目标视频包括:
将所述文本数据的文本语意标签输入至对应的预先构建的倒排索引中,搜索得到所述目标视频。
7.根据权利要求3所述的视频搜索方法,所述将所述多模态搜索数据的处理结果输入至对应的预先构建的索引中,搜索得到所述目标视频包括:
将所述图像语意标签输入至对应的预先构建的倒排索引中,搜索得到第一初始视频;
将所述图像数据的向量化描述输入至对应的预先构建的向量索引中,搜索得到第二初始视频;
基于所述第一初始视频和所述第二初始视频获得所述目标视频。
8.根据权利要求5所述的视频搜索方法,所述将所述多模态搜索数据的处理结果输入至对应的预先构建的索引中,搜索得到所述目标视频包括:
将所述视频元数据的文本语意标签输入至对应的预先构建的倒排索引中,搜索得到第三初始视频;
将所述视频帧的向量化描述输入至对应的预先构建的向量索引中,搜索得到第四初始视频;
基于所述第三初始视频和所述第四初始视频获得所述目标视频。
9.根据权利要求7所述的视频搜索方法,所述将所述图像语意标签输入至对应的预先构建的倒排索引中,搜索得到第一初始视频包括:
将所述图像语意标签和所述文本数据的文本语意标签合并后,输入至对应的预先构建的倒排索引中,搜索得到第一初始视频。
10.根据权利要求8所述的视频搜索方法,所述将所述视频元数据的文本语意标签输入至对应的预先构建的倒排索引中,搜索得到第三初始视频包括:
将所述视频元数据的文本语意标签、所述文本数据的文本语意标签以及所述视频帧的视频语意标签合并后,输入至对应的预先构建的倒排索引中,搜索得到第三初始视频。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911398726.4/1.html,转载请声明来源钻瓜专利网。