[发明专利]建立文本分类模型以及文本分类的方法、装置有效
申请号: | 201710882685.0 | 申请日: | 2017-09-26 |
公开(公告)号: | CN107908635B | 公开(公告)日: | 2021-04-16 |
发明(设计)人: | 夏源;周景博;董维山;范伟 | 申请(专利权)人: | 百度在线网络技术(北京)有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06N3/04 |
代理公司: | 北京鸿德海业知识产权代理有限公司 11412 | 代理人: | 袁媛 |
地址: | 100085 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 建立 文本 分类 模型 以及 方法 装置 | ||
1.一种建立文本分类模型的方法,其特征在于,所述方法包括:
获取训练样本,所述训练样本包括:文本及其对应的分类;
基于实体词典对所述文本进行切词后,获取所述文本对应的向量矩阵;
利用所述文本对应的向量矩阵以及所述文本的分类,分别训练第一分类模型和第二分类模型;
在所述训练过程中,利用第一分类模型的损失函数以及所述第二分类模型的损失函数得到文本分类模型的损失函数,并利用文本分类模型的损失函数对所述第一分类模型和第二分类模型进行参数调整,得到由第一分类模型和第二分类模型构成的文本分类模型。
2.根据权利要求1所述的方法,其特征在于,所述文本分类模型用于医疗文本的分类。
3.根据权利要求1所述的方法,其特征在于,所述第一分类模型和第二分类模型的训练目标为最小化所述文本分类模型的损失函数。
4.根据权利要求1所述的方法,其特征在于,所述第一分类模型为基于概率的分类模型。
5.根据权利要求4所述的方法,其特征在于,所述第一分类模型包括基于双向长度记忆单元和卷积神经网络组合的分类模型。
6.根据权利要求4所述的方法,其特征在于,训练第一分类模型包括:
将所述文本作为输入,所述文本的分类作为输出,训练第一分类模型。
7.根据权利要求1所述的方法,其特征在于,所述第二分类模型为基于相似度的分类模型。
8.根据权利要求7所述的方法,其特征在于,所述第二分类模型包括基于深度神经网络的分类模型。
9.根据权利要求7所述的方法,其特征在于,训练第二分类模型包括:
将所述文本以及与该文本的分类对应的专家数据作为输入,将文本与专家数据的相似度作为输出,训练第二分类模型。
10.根据权利要求1所述的方法,其特征在于,所述利用第一分类模型的损失函数以及所述第二分类模型的损失函数得到文本分类模型的损失函数包括:
使用预设组合形式,对第一分类模型的损失函数以及第二分类模型的损失函数进行整合,得到文本分类模型的损失函数。
11.一种文本分类的方法,其特征在于,所述方法包括:
获取待分类的文本;
基于实体词典对所述文本进行切词后,获取所述文本对应的向量矩阵;
将所述向量矩阵输入文本分类模型,根据所述文本分类模型的输出,得到该文本的分类结果;
其中,所述文本分类模型根据如权利要求1至10任一权项所述的方法预先建立。
12.一种建立文本分类模型的装置,其特征在于,所述装置包括:
第一获取单元,用于获取训练样本,所述训练样本包括:文本及其对应的分类;
第二获取单元,用于基于实体词典对所述文本进行切词后,获取所述文本对应的向量矩阵;
训练单元,用于利用所述文本对应的向量矩阵以及所述文本的分类,分别训练第一分类模型和第二分类模型;其中,在所述训练过程中,利用第一分类模型的损失函数以及所述第二分类模型的损失函数得到文本分类模型的损失函数,并利用文本分类模型的损失函数对所述第一分类模型和第二分类模型进行参数调整,得到由第一分类模型和第二分类模型构成的文本分类模型。
13.根据权利要求12所述的装置,其特征在于,所述训练单元在训练第一分类模型和第二分类模型的目标为最小化所述文本分类模型的损失函数。
14.根据权利要求12所述的装置,其特征在于,所述训练单元在训练第一分类模型时,具体执行:
将所述文本作为输入,所述文本的分类作为输出,训练第一分类模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司,未经百度在线网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710882685.0/1.html,转载请声明来源钻瓜专利网。