[发明专利]分类模型的训练、对象分类方法及装置有效
申请号: | 202010276683.9 | 申请日: | 2020-04-10 |
公开(公告)号: | CN111178458B | 公开(公告)日: | 2020-08-14 |
发明(设计)人: | 曹绍升 | 申请(专利权)人: | 支付宝(杭州)信息技术有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62 |
代理公司: | 北京亿腾知识产权代理事务所(普通合伙) 11309 | 代理人: | 张明;周良玉 |
地址: | 310000 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分类 模型 训练 对象 方法 装置 | ||
1.一种分类模型的训练方法,所述分类模型包括嵌入层、卷积层和池化层;所述方法包括:
获取带分类标签的样本;
在所述嵌入层中,确定所述样本的特征向量以及所述分类标签的标签向量;
在所述卷积层中,基于若干不同宽度的卷积窗口,对所述样本的特征向量进行多次卷积处理,得到多个卷积结果;
在所述池化层中,计算所述多个卷积结果中各卷积结果与所述分类标签的标签向量之间的相似度;并基于计算得到的相似度,确定对应于所述各卷积结果的注意力权重值;基于对应于所述各卷积结果的注意力权重值,对所述各卷积结果进行加权平均池化操作,得到池化结果;
将所述池化结果作为所述样本的样本表示向量,并至少基于所述样本表示向量以及所述分类标签的标签向量,确定预测损失;
基于所述预测损失,调整所述分类模型的参数。
2.根据权利要求1所述的方法,其中,每个卷积结果为一个包含N个元素的向量;
所述基于对应于所述各卷积结果的注意力权重值,对所述各卷积结果进行加权平均池化操作,得到池化结果,包括:
对于所述各卷积结果中任意的第一卷积结果,将所述第一卷积结果的注意力权重值作为其中的N个元素的注意力权重值;
基于所述各卷积结果各自的N个元素的注意力权重值,依次对所述各卷积结果的相同位置的元素进行加权平均池化操作,得到所述池化结果。
3.根据权利要求1所述的方法,所述若干不同宽度的卷积窗口包括第一卷积窗口;
所述基于若干不同宽度的卷积窗口,对所述样本的特征向量进行多次卷积处理,包括:
对于所述第一卷积窗口,基于所述第一卷积窗口的宽度,确定对应的卷积处理所选取的特征向量的维数;
基于所述维数、所述第一卷积窗口的参数以及预定步长,对所述样本的特征向量进行卷积处理。
4.根据权利要求3所述的方法,所述基于所述维数、所述第一卷积窗口的参数以及预定步长,对所述样本的特征向量进行卷积处理,包括:
迭代地执行以下步骤,直至达到预定次数:
从当前位置开始,在所述样本的特征向量中选取所述维数个元素;
对选取的所述维数个元素进行拼接,得到当前拼接向量;
基于所述第一卷积窗口的参数,对所述当前拼接向量进行线性变换,得到线性变换结果;
基于所述线性变换结果,确定所述多个卷积结果中的一个卷积结果;
基于当前位置以及所述预定步长,确定下一位置,并将下一位置作为当前位置。
5.根据权利要求4所述的方法,所述基于所述线性变换结果,确定所述多个卷积结果中的一个卷积结果,包括:
将所述线性变换结果作为所述多个卷积结果中的一个卷积结果;或者,
采用激活函数,对所述线性变换结果进行非线性变换;
将非线性变换结果作为所述多个卷积结果中的一个卷积结果。
6.根据权利要求1所述的方法,所述分类标签属于预定标签集合;
所述计算所述多个卷积结果中各卷积结果与所述分类标签的标签向量之间的相似度,包括:
对于所述多个卷积结果中的每个卷积结果,至少计算所述卷积结果与所述分类标签的标签向量之间的第一点积;
至少计算所述卷积结果与所述预定标签集合中各分类标签的向量之间的第二点积,并对所述第二点积进行求和,得到第一求和结果;
基于所述第一点积与所述第一求和结果之比,确定所述卷积结果与所述分类标签的标签向量之间的相似度。
7.根据权利要求1所述的方法,所述至少基于所述样本表示向量以及所述分类标签的标签向量,确定预测损失,包括:
从包含所述分类标签的预定标签集合中,随机选取不同于所述分类标签的若干其它分类标签;
基于所述样本表示向量、所述分类标签的标签向量以及所述若干其它分类标签的标签向量,确定预测损失。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于支付宝(杭州)信息技术有限公司,未经支付宝(杭州)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010276683.9/1.html,转载请声明来源钻瓜专利网。