[发明专利]文本分类的方法和装置有效
申请号: | 201710203581.2 | 申请日: | 2017-03-30 |
公开(公告)号: | CN107066560B | 公开(公告)日: | 2019-12-06 |
发明(设计)人: | 赵影 | 申请(专利权)人: | 东软集团股份有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F17/27;G06N3/08;G06K9/62 |
代理公司: | 11447 北京英创嘉友知识产权代理事务所(普通合伙) | 代理人: | 张岩龙;魏嘉熹<国际申请>=<国际公布> |
地址: | 110179 辽*** | 国省代码: | 辽宁;21 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 分类 方法 装置 | ||
1.一种文本分类的方法,其特征在于,包括:
获取多个样本文本;
对每个样本文本进行分词处理得到多个词语,并获取每个所述词语的词性信息;
根据所述多个词语和每个词语对应的词性信息建立神经网络分类模型;
将待分类的文本作为所述神经网络分类模型的输入,得到所述待分类的文本的类型;所述根据所述多个词语和每个词语对应的词性信息建立神经网络分类模型包括:按照预设处理方式对分类样本集中的每个样本文本进行处理得到所述每个样本文本的文本向量;根据每个样本文本的文本向量建立神经网络分类模型;
其中,所述预设处理方式包括:
根据目标样本文本的每个词语和对应的词性信息生成所述目标样本文本的每个词语对应的词语向量;其中,所述目标样本文本为所述分类样本集中的任一样本文本;
根据所述每个词语对应的词语向量生成所述目标样本文本对应的二叉树;其中,所述二叉树的叶节点分别对应所述每个词语向量,所述二叉树的根节点对应所述目标文本的文本向量;
根据每个词语的词性确定所述二叉树中每个父节点对应的组合词性;
获取每个组合词性对应的第一分类权重,并将所述第一分类权重中相同词性的组合词性对应的第一分类权重相加,得到第二分类权重;
根据所述词语向量和所述每个父节点对应的组合词性以及所述第二分类权重,从所述二叉树的最底层依次向上计算所述二叉树每个父节点对应的组合向量,直至得到所述根节点对应的文本向量。
2.根据权利要求1所述的方法,其特征在于,所述根据所述每个词语对应的词语向量生成所述目标样本文本对应的二叉树包括:
获取每个词语在所述目标文本中的词语顺序;
根据所述词语顺序确定所述目标文本中第一个词语对应的第一节点和第二个词语对应的第二节点,并建立所述第一节点和所述第二节点的第一父节点;
确定第三个词语对应的第三节点,并建立所述第三节点与所述第一父节点的第二父节点,
继续按照所述词语顺序确定第四个词语对应的第四节点,并建立所述第四节点与所述第二父节点的第三父节点,直至按照所述词语顺序确定出最后一个词语对应的节点的父节点,得到所述二叉树。
3.根据权利要求1或2所述的方法,其特征在于,所述获取每个组合词性对应的第一分类权重包括:
获取每个父节点对应的误差值;
根据所述误差值按照以下公式计算得到所述每个父节点对应的第一分类权重:
其中,Wi为第i个父节点的第一分类权重,E(θ)为预设目标函数,M为第i个父节点对应的一个子节点和第i个父节点对应的另一个子节点的词语向量组合得到的词组向量,δi为第i个父节点对应的误差值,θ表示所述目标样本文本中每个组合词性对应的第一分类权重。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东软集团股份有限公司,未经东软集团股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710203581.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种基于深度学习的三维模型检索方法
- 下一篇:数据管理方法及平台