[发明专利]一种文本处理方法、装置、设备及存储介质在审
申请号: | 202110267571.1 | 申请日: | 2021-03-11 |
公开(公告)号: | CN113704481A | 公开(公告)日: | 2021-11-26 |
发明(设计)人: | 张云燕;陈曦;管冲;杨奕凡 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/36 | 分类号: | G06F16/36;G06F16/35;G06F40/242;G16H10/60 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 熊永强;杜维 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 处理 方法 装置 设备 存储 介质 | ||
1.一种文本处理方法,其特征在于,所述方法包括:
获取待处理文本对应的实体词集,并从所述实体词集包括的一个或多个实体词中,选取任一实体词作为目标实体词;
获取与所述目标实体词相关的一个或多个预测关系;
采用每个预测关系分别联合所述目标实体词,从所述待处理文本中确定出所述目标实体词在不同预测关系下的关联实体词;其中,所述目标实体词在一个预测关系下对应一个关联实体词。
2.如权利要求1所述的方法,其特征在于,所述待处理文本包括一个或多个字符;所述获取待处理文本对应的实体词集,包括:
获取所述待处理文本包括的每个字符的特征向量;
根据每个字符的特征向量,确定为每个字符添加的位置标签,并根据所述位置标签确定相应字符所在位置是否为一个实体词的开始位置,以及确定相应字符所在位置是否为一个实体词的结束位置;
根据确定出的开始位置和结束位置,从所述待处理文本中确定出一个或多个开始字符,并从所述待处理文本中确定出一个或多个结束字符;
根据确定出的开始字符和结束字符,确定所述待处理文本对应的实体词集。
3.如权利要求2所述的方法,其特征在于,所述根据每个字符的特征向量,确定为每个字符添加的位置标签,包括:
根据每个字符的特征向量,确定对应字符所在位置为一个实体词的开始位置的第一概率,以及确定对应字符所在位置为一个实体词的结束位置的第二概率;
根据所述待处理文本中每个字符对应的第一概率和第二概率,确定为每个字符添加的位置标签。
4.如权利要求3所述的方法,其特征在于,所述待处理文本包括目标字符,为所述目标字符添加的位置标签包括开始位置标签和结束位置标签;根据所述目标字符对应的第一概率和第二概率,确定为所述目标添加的位置标签的方式包括:
若所述目标字符对应的第一概率大于第一阈值,则为所述目标字符添加所述开始位置标签;或者,
若所述目标字符对应的第二概率大于第二阈值,则为所述目标字符添加所述结束位置标签。
5.如权利要求3所述的方法,其特征在于,确定出的开始字符的数量为至少一个,且确定出的结束字符的数量为至少一个;根据确定出的开始字符和结束字符,确定所述待处理文本对应的实体词集中的一个实体词的方式包括:
选取任一开始字符,并根据所述任一开始字符在所述待处理文本中的位置向后遍历,得到显示在所述任一开始字符后的第一个结束字符;
将由所述任一开始字符和所述任一开始字符后的第一个结束字符所组成的词语,作为一个实体词。
6.如权利要求2所述的方法,其特征在于,所述获取所述待处理文本包括的每个字符的特征向量,包括:
采用特征提取模型对所述待处理文本中的每个字符进行特征提取,得到所述每个字符的第一特征向量;
根据所述待处理文本中每个字符的字符语义,以及不同字符的字符语义之间的关联关系,构建所述每个字符的第二特征向量;
将每个字符的第一特征向量和第二特征向量进行拼接后得到的向量,作为所述每个字符的特征向量。
7.如权利要求6所述的方法,其特征在于,所述待处理文本包括目标字符,确定所述目标字符的第二特征向量的方式包括:
获取与所述待处理文本的文本语义所描述的领域匹配的分词词典,并根据所述分词词典确定所述目标字符的一个或多个参考分词,其中,每个参考分词均包括所述目标字符,每个参考分词均被记录在所述分词词典中;
获取每个参考分词对应的词向量,并根据每个参考分词对应的词向量,确定每个参考分词的重要性分数;
根据每个参考分词的重要性分数,对相应参考分词对应的词向量进行加权求和,并将加权求和后的向量表示作为所述目标字符的第二特征向量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110267571.1/1.html,转载请声明来源钻瓜专利网。