[发明专利]文本处理方法、装置、电子设备及可读存储介质有效
申请号: | 201911121910.4 | 申请日: | 2019-11-15 |
公开(公告)号: | CN111046656B | 公开(公告)日: | 2023-07-14 |
发明(设计)人: | 刘凡;冯云;王一冰;聂璐月 | 申请(专利权)人: | 北京三快在线科技有限公司 |
主分类号: | G06F40/279 | 分类号: | G06F40/279;G06N3/04;G06N3/08 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 莎日娜 |
地址: | 100083 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 处理 方法 装置 电子设备 可读 存储 介质 | ||
1.一种文本处理方法,其特征在于,所述方法包括:
对待识别语句进行分词处理,得到第一分词序列;
根据所述第一分词序列,生成第一向量;
将所述第一向量输入识别模型,以通过所述识别模型输出标注信息,所述标注信息用于表示所述待识别语句中施事实体和受事实体的顺序关系,其中,所述识别模型为根据待训练语句以及标注样本训练得到的深度神经网络模型,所述标注样本用于表示所述待训练语句中施事实体和受事实体的顺序关系;
所述将所述第一向量输入识别模型的步骤之前,所述方法还包括:
获取待训练语句;
对所述待训练语句按照预设规则进行标注,得到用于训练识别模型的标注样本,其中,所述标注样本用于表示所述待训练语句中施事实体和受事实体的顺序关系;
对所述待训练语句进行分词处理,得到第二分词序列;
根据所述第二分词序列,生成第二向量;
根据所述第二向量以及所述标注样本,训练深度神经网络模型得到所述识别模型;
所述对所述待训练语句按照预设规则进行标注的步骤,包括:
对所述待训练语句进行语义分析,确定所述待训练语句包含的语义角色,所述语义角色包括:施事角色、受事角色、其他角色中的两项;
确定所述语义角色在所述待训练语句中出现的顺序;
对于每一个待训练语句,将其包含的语义角色对应的角色标记,按照语义角色在待训练语句中出现的顺序,组织得到所述每一个待训练语句对应的标注样本。
2.根据权利要求1所述的方法,其特征在于,所述通过所述识别模型输出标注信息的步骤之后,所述方法还包括:
提取所述待识别语句中的实体词;
根据所述实体词在所述待识别语句中的顺序以及所述标注信息中施事实体和受事实体的顺序关系,在所述实体词中确定施事实体和受事实体。
3.根据权利要求1所述的方法,其特征在于,所述对所述待训练语句进行语义分析,确定所述待训练语句包含的语义角色的步骤,包括:
对所述待训练语句进行语义分析,以识别所述待训练语句中的施事角色和受事角色;
若所述待训练语句中不存在施事角色和/或受事角色,则使用其他角色代替,使得每一个待训练语句包含两个语义角色。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第一分词序列,生成第一向量的步骤之前,所述方法还包括:
对所述第一分词序列进行过滤,以去除所述第一分词序列中的停用词,得到过滤后的第一分词序列;
所述根据所述第一分词序列,生成第一向量的步骤,包括:
根据所述过滤后的第一分词序列,生成第一向量。
5.根据权利要求1所述的方法,其特征在于,所述获取待训练语句的步骤,包括:
获取待训练预料,所述待训练语料包括长句、短句、段落、文章中的至少一项;
对所述待训练语料中的长句、段落、文章进行切分处理,得到短句;
将所述短句作为待训练语句。
6.一种模型训练方法,其特征在于,所述方法包括:
获取待训练语句;
对所述待训练语句按照预设规则进行标注,得到用于训练识别模型的标注样本,其中,所述标注样本用于表示所述待训练语句中施事实体和受事实体的顺序关系;
对所述待训练语句进行分词处理,得到第二分词序列;
根据所述第二分词序列,生成第二向量;
根据所述第二向量以及所述标注样本,训练深度神经网络模型得到识别模型;
所述对所述待训练语句按照预设规则进行标注的步骤,包括:
对所述待训练语句进行语义分析,确定所述待训练语句包含的语义角色,所述语义角色包括:施事角色、受事角色、其他角色中的两项;
确定所述语义角色在所述待训练语句中出现的顺序;
对于每一个待训练语句,将其包含的语义角色对应的角色标记,按照语义角色在待训练语句中出现的顺序,组织得到所述每一个待训练语句对应的标注样本。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京三快在线科技有限公司,未经北京三快在线科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911121910.4/1.html,转载请声明来源钻瓜专利网。