[发明专利]特征提取方法、装置、存储介质及电子设备在审
申请号: | 202210334325.8 | 申请日: | 2022-03-30 |
公开(公告)号: | CN114692085A | 公开(公告)日: | 2022-07-01 |
发明(设计)人: | 王崇;郑琳 | 申请(专利权)人: | 北京字节跳动网络技术有限公司;脸萌有限公司 |
主分类号: | G06F17/18 | 分类号: | G06F17/18;G06F40/30;G06K9/62;G06N3/04 |
代理公司: | 北京英创嘉友知识产权代理事务所(普通合伙) 11447 | 代理人: | 温易娜 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 特征 提取 方法 装置 存储 介质 电子设备 | ||
1.一种特征提取方法,其特征在于,所述方法包括:
确定待提取特征的目标数据,并基于所述目标数据确定多个查询向量、多个键向量和多个值向量;
确定每一所述查询向量对应的多个键值对信息,其中,每一所述键值对信息是基于所述多个键向量、所述多个值向量和一数据样本确定的,且用于确定所述多个键值对信息的多个所述数据样本是基于多个概率分布进行采样得到的,所述多个概率分布是基于所述多个查询向量确定的;
针对每一所述查询向量,基于所述查询向量和所述多个数据样本进行随机映射,得到多个随机查询向量,并基于所述多个随机查询向量和所述多个键值对信息,确定所述查询向量对应的特征信息。
2.根据权利要求1所述的方法,其特征在于,所述确定每一所述查询向量对应的多个键值对信息,包括:
根据每个查询向量确定一概率分布,并按照第一预设数量,基于每个查询向量对应的所述概率分布进行采样,得到每个所述查询向量对应的多个数据样本,其中所述第一预设数量用于表征期望的样本数量;
针对每个查询向量,基于所述多个键向量、所述多个值向量和所述查询向量对应的多个数据样本,确定多个键值对信息。
3.根据权利要求1所述的方法,其特征在于,所述确定每一所述查询向量对应的多个键值对信息,包括:
按照第二预设数量将所述多个查询向量划分为多个查询向量组,其中所述第二预设数量用于表征期望的查询向量组的数量,且所述第二预设数量小于所述多个查询向量的数量;
根据每个查询向量组确定一概率分布,并根据每个查询向量组对应的所述概率分布采样一数据样本,得到多个数据样本;
根据每个数据样本、所述多个键向量和所述多个值向量,确定一键值对信息,得到多个共用键值对信息;
将所述多个共用键值对信息确定为每一所述查询向量对应的多个键值对信息。
4.根据权利要求3所述的方法,其特征在于,所述基于所述多个随机查询向量和所述多个键值对信息,确定所述查询向量对应的特征信息,包括:
确定每个查询向量组对应的概率分布与多个查询向量组对应的概率分布之间的第一相似度,并针对每个查询向量,确定所述查询向量与每个查询向量组的平均查询向量之间的第二相似度;
根据所述第一相似度和所述第二相似度,确定计算权重;
根据所述计算权重,将所述多个随机查询向量和所述多个键值对信息进行加权求和,得到所述查询向量对应的特征信息。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
针对每个查询向量组对应的概率分布,根据所述概率分布和标准正态分布,确定所述概率分布对应的重要性采样权重;
所述根据所述计算权重,将所述多个随机查询向量和所述多个键值对信息进行加权求和,得到所述查询向量对应的特征信息,包括:
将所述计算权重和所述重要性采样权重的乘积确定为目标计算权重;
根据所述目标计算权重,将所述多个随机查询向量和所述多个键值对信息进行加权求和,得到所述查询向量对应的特征信息。
6.根据权利要求4或5所述的方法,其特征在于,所述根据所述第一相似度和所述第二相似度,确定计算权重,包括:
针对每个查询向量组,将所述查询向量组对应的所述第一相似度和所述第二相似度之和确定为计算权重;或
针对每个查询向量组,将所述查询向量组对应的所述第一相似度和所述第二相似度之和确定为总相似度,基于每个查询向量组对应的所述第二相似度,确定所述查询向量与多个查询向量组的平均查询向量之间的平均相似度,在所述总相似度的基础上减去所述平均相似度,得到计算权重。
7.根据权利要求1-5任一项所述的方法,其特征在于,所述确定待提取特征的目标数据,包括:
将图片数据确定为待提取特征的目标数据;
相应地,每一所述查询向量对应的特征信息被用于确定所述图片数据的图片分类结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司;脸萌有限公司,未经北京字节跳动网络技术有限公司;脸萌有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210334325.8/1.html,转载请声明来源钻瓜专利网。