[发明专利]基于标签树的模型训练、文本标签确定方法及装置在审
申请号: | 202010884803.3 | 申请日: | 2020-08-28 |
公开(公告)号: | CN112015898A | 公开(公告)日: | 2020-12-01 |
发明(设计)人: | 潘寅旭;崔恒斌;谢杨易 | 申请(专利权)人: | 支付宝(杭州)信息技术有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F16/33 |
代理公司: | 北京亿腾知识产权代理事务所(普通合伙) 11309 | 代理人: | 陈霁;周良玉 |
地址: | 310000 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 标签 模型 训练 文本 确定 方法 装置 | ||
1.一种基于标签树的文本分类模型训练方法,通过计算机执行,包括:
获取训练集,其中包括多个文本和对应标注的实标签,文本包括若干个分词,所述训练集中多个种类的实标签构成标签集;
对所述标签集中的实标签进行分层聚类,基于聚类结果生成第一标签树,其中的叶节点对应于实标签,干节点被对应于定义的虚标签;
获取基于所述训练集和虚标签构建的异构关系网络,其中至少包括:用于表示文本的文本节点,用于表示标签的标签节点,用于表示分词的分词节点,且具备关联关系的不同类型节点之间建立有连接边,所述标签包括实标签和虚标签;
从所述异构关系网络中查找符合预设格式的多组元路径,所述预设格式包括:元路径中包括的标签节点与标签节点之间通过不同类型的节点连接;
将多组元路径输入预先训练的图嵌入模型,通过所述图嵌入模型确定多个实标签和多个虚标签分别对应的更新特征;
将所述更新特征对应地确定为所述第一标签树中若干个节点的特征,得到第二标签树;基于所述训练集对所述第二标签树对应的文本分类模型进行训练。
2.根据权利要求1所述的方法,所述对所述标签集中的实标签进行分层聚类,基于聚类结果生成第一标签树的步骤,包括:
针对所述标签集中的任意一个实标签,基于所述训练集中该实标签对应的多个文本,确定该实标签的初始特征;
基于多个实标签的初始特征,对多个实标签进行分层聚类,并基于聚类结果生成第一标签树。
3.根据权利要求1所述的方法,构建异构关系网络包括:
针对任意一个第一虚标签,根据所述第一标签树确定所述第一虚标签对应的第一实标签,基于所述第一虚标签和所述第一实标签的对应关系建立连接边。
4.根据权利要求3所述的方法,所述基于所述第一虚标签和所述第一实标签的对应关系建立连接边的步骤,包括:
将所述第一虚标签对应的标签节点与所述第一实标签对应的标签节点建立连接边。
5.根据权利要求3所述的方法,所述基于所述第一虚标签和所述第一实标签的对应关系建立连接边的步骤,包括:
将所述第一虚标签对应的标签节点与第一文本节点建立连接边,所述第一文本节点是所述第一实标签对应的标签节点连接的文本节点。
6.根据权利要求1所述的方法,所述预设格式具体包括:元路径中的节点按照标签节点、文本节点、分词节点、文本节点、标签节点的顺序循环排列。
7.根据权利要求1所述的方法,所述对所述标签集中的实标签进行分层聚类,基于聚类结果生成第一标签树的步骤,包括:
基于预设的标签树结构参数,对所述标签集中的实标签进行分层聚类,基于聚类结果生成第一标签树;所述标签树结构参数包括干节点层数和干节点连接的下一层节点的最大数目。
8.根据权利要求1所述的方法,所述通过所述图嵌入模型确定多个实标签和多个虚标签分别对应的更新特征的步骤,包括:
通过所述图嵌入模型,最大化构建的条件概率,迭代地确定多个实标签和多个虚标签分别对应的更新特征;所述条件概率至少基于多组元路径构建。
9.根据权利要求1所述的方法,所述第二标签树中每一层干节点对应一个文本分类模型;所述基于所述训练集对所述第二标签树对应的文本分类模型进行训练的步骤,包括:
基于所述训练集分别对所述第二标签树中每一层的文本分类模型进行训练。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于支付宝(杭州)信息技术有限公司,未经支付宝(杭州)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010884803.3/1.html,转载请声明来源钻瓜专利网。