[发明专利]文本编码方法、装置、设备及计算机可读存储介质在审
申请号: | 202110033100.4 | 申请日: | 2021-01-11 |
公开(公告)号: | CN112749530A | 公开(公告)日: | 2021-05-04 |
发明(设计)人: | 陈文斌;王腾飞;魏帮国 | 申请(专利权)人: | 北京光速斑马数据科技有限公司 |
主分类号: | G06F40/126 | 分类号: | G06F40/126;G06F16/35;G06F16/33;G06N3/04;G06N20/10 |
代理公司: | 北京天方智力知识产权代理事务所(普通合伙) 11719 | 代理人: | 贾耀梅 |
地址: | 100027 北京市朝阳区东直门*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 编码 方法 装置 设备 计算机 可读 存储 介质 | ||
1.一种文本编码方法,其特征在于,包括:
将目标文本进行规则匹配,若匹配成功,则生成所述目标文本的第一编码结果,所述匹配成功是指从所述目标文本中匹配到至少一个预设关键词和/或至少一个预设正则表达式;
利用至少两个文本分类模型对所述目标文本进行分类,若所述至少两个文本分类模型对所述目标文本进行分类的分类结果相同、且各分类结果的置信度大于预设阈值,则将所述目标文本的模型编码结果作为第二编码结果;
根据所述第一编码结果与所述第二编码结果,生成所述目标文本的最终编码结果。
2.根据权利要求1所述的方法,其特征在于,所述将目标文本进行规则匹配之前,还包括:
获取待编码的初始文本;
去除所述初始文本中的停用词和/或无意义的标点符号,得到目标文本。
3.根据权利要求2所述的方法,其特征在于,所述得到目标文本之前,还包括:
删除所述初始文本中的惯用句。
4.根据权利要求1所述的方法,其特征在于,所述将目标文本进行规则匹配,包括:
将目标文本与码框中的各个预设关键词以及各个预设正则表达式进行规则匹配,其中,所述码框用于将收集的大量文本语料转化为数据的标准架构。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述至少两个文本分类模型,包括:
基于支持向量机SVM的tgrocery模型、基于神经网络的长短时记忆网络LSTM模型和fasttext模型中的至少两个模型。
6.根据权利要求1-4任一项所述的方法,其特征在于,所述根据所述第一编码结果与所述第二编码结果,生成所述目标文本的最终编码结果,包括:
若存在相同编码结果和不同编码结果,则将所述相同编码结果和所述不同编码结果,作为所述目标文本中的最终编码结果;
其中,所述相同编码结果为所述目标文本中的各个第一文本单元在所述第一编码结果或所述第二编码结果中的编码结果,所述第一文本单位是指在所述第一编码结果和所述第二编码结果中具有相同编码结果的文本单元;所述不同编码结果为所述目标文本中的各个第二文本单元在所述第二编码结果中的编码结果,所述第二文本单位是指在所述第一编码结果和所述第二编码结果中具有不同编码结果的文本单元。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
若不存在所述相同编码结果,则将所述第二编码结果,作为所述目标文本中的最终编码结果。
8.根据权利要求1-4任一项所述的方法,其特征在于,所述将目标文本进行规则匹配之后,还包括:
若匹配失败,则将所述第二编码结果,作为所述目标文本的最终编码结果。
9.一种文本编码装置,其特征在于,包括:
第一编码单元,用于将目标文本进行规则匹配,若匹配成功,则生成所述目标文本的第一编码结果,所述匹配成功是指从所述目标文本中匹配到至少一个预设关键词和/或至少一个预设关键表达式;
第二编码单元,用于利用至少两个文本分类模型对所述目标文本进行分类,若所述至少两个文本分类模型对所述目标文本进行分类的分类结果相同、且各分类结果的置信度大于预设阈值,则将所述目标文本的模型编码结果作为第二编码结果;
第三编码单元,用于根据所述第一编码结果与所述第二编码结果,生成所述目标文本的最终编码结果。
10.一种电子设备,其特征在于,包括:处理器、存储器;
所述存储器,用于存储计算机程序;
所述处理器,用于通过调用所述计算机程序,执行如权利要求1-8中任一项所述的文本编码方法。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-8任一项所述的文本编码方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京光速斑马数据科技有限公司,未经北京光速斑马数据科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110033100.4/1.html,转载请声明来源钻瓜专利网。