[发明专利]对象特征处理方法及装置有效
申请号: | 201811082250.9 | 申请日: | 2018-09-17 |
公开(公告)号: | CN110909755B | 公开(公告)日: | 2023-05-30 |
发明(设计)人: | 樊珈珮;熊涛;杜用 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06V10/80 | 分类号: | G06V10/80 |
代理公司: | 北京博浩百睿知识产权代理有限责任公司 11134 | 代理人: | 褚敏;宋子良 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 对象 特征 处理 方法 装置 | ||
1.一种对象特征处理方法,其特征在于,包括:
获取对象在至少两个模态的特征向量;
在所述至少两个模态中的每个模态的特征向量中加入预定格式的数据;
将加入了所述预定格式的数据的特征向量进行矩阵叉乘运算,得到融合矩阵,其中,所述融合矩阵中包括:所述至少两个模态中各个模态的单模特征,所述至少两个模态中任意模态融合的融合特征;
其中,所述至少两个模态包括以下数据形态中的至少两个:标题,文本,图片,音频,视频;
其中,在所述模态为视频的情况下,获取所述视频的特征包括:将所述视频的每一帧作为图片,形成时序;确定时序上每个图片的权重;基于所述权重确定所述视频的特征。
2.根据权利要求1所述的方法,其特征在于,所述预定格式的数据为非零整数。
3.根据权利要求2所述的方法,其特征在于,所述非零整数为自然数。
4.根据权利要求1所述的方法,其特征在于,在所述至少两个模态中的每个模态的特征向量中加入预定格式的数据包括:
在所述至少两个模态中的每个模态的特征向量对应矩阵的端部中加入所述预定格式的数据。
5.根据权利要求1所述的方法,其特征在于,获取对象在至少两个模态的特征向量包括:
获取所述至少两个模态中每个模态的特征;
对每个模态的特征采用全连接的方式进行降维;
对降维后的特征进行类目分类,得到每个模态对应的特征向量。
6.根据权利要求1至5中任一项所述的方法,其特征在于,还包括:
获取多个对象对应的融合特征;
基于所述多个对象对应的融合特征,从所述多个对象中查找相似对象。
7.根据权利要求6所述的方法,其特征在于,所述对象为商品。
8.一种对象特征处理方法,其特征在于,包括:
接收展示请求,其中,所述展示请求中携带有请求展示的对象的模态;
响应于所述展示请求,从融合矩阵中调用请求的模态对应的特征,其中,所述融合矩阵中包括:至少两个模态中各个模态的单模特征,所述至少两个模态中任意模态融合的融合特征;
展示所述对象在请求的模态下对应的特征。
9.根据权利要求8所述的方法,其特征在于,所述融合矩阵为通过在所述对象的至少两个模态中的每个模态的特征向量中加入预定格式的数据,并将加入了所述预定格式的数据的特征向量进行矩阵叉乘运算得到的。
10.根据权利要求9所述的方法,其特征在于,所述预定格式的数据为自然数。
11.一种对象特征处理装置,其特征在于,包括:
获取模块,用于获取对象在至少两个模态的特征向量;
处理模块,用于在所述至少两个模态中的每个模态的特征向量中加入预定格式的数据;
所述处理模块,还用于将加入了所述预定格式的数据的特征向量进行矩阵叉乘运算,得到融合矩阵,其中,所述融合矩阵中包括:所述至少两个模态中各个模态的单模特征,所述至少两个模态中任意模态融合的融合特征;
其中,所述至少两个模态包括以下数据形态中的至少两个:标题,文本,图片,音频,视频;
其中,在所述模态为视频的情况下,所述获取模块还用于:将所述视频的每一帧作为图片,形成时序;确定时序上每个图片的权重;基于所述权重确定所述视频的特征。
12.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至10中任意一项所述的对象特征处理方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811082250.9/1.html,转载请声明来源钻瓜专利网。