[发明专利]一种文本处理方法、装置、计算机设备及存储介质在审
申请号: | 202011232583.2 | 申请日: | 2020-11-06 |
公开(公告)号: | CN112347267A | 公开(公告)日: | 2021-02-09 |
发明(设计)人: | 马东民;邱学侃 | 申请(专利权)人: | 北京乐学帮网络技术有限公司 |
主分类号: | G06F16/36 | 分类号: | G06F16/36;G06F40/194;G06K9/62;G06N3/02;G06N3/08 |
代理公司: | 北京中知恒瑞知识产权代理事务所(普通合伙) 11889 | 代理人: | 谢玲 |
地址: | 100094 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 处理 方法 装置 计算机 设备 存储 介质 | ||
1.一种文本处理方法,其特征在于,包括:
基于获取的第一文本确定所述第一文本中各个第一字符分别对应的第一重要性程度信息、以及基于获取的第二文本确定所述第二文本中各个第二字符分别对应的第二重要性程度信息;
基于所述第一重要性程度信息、及所述多个第一字符分别对应的第一字向量,确定表征第一文本语义信息的第一目标向量;以及,基于所述第二重要性程度信息、及所述多个第二字符分别对应的多个第二字向量,确定表征第二文本语义信息的第二目标向量;
基于所述第一目标向量、及所述第二目标向量,确定所述第一文本与所述第二文本之间的相似度信息。
2.根据权利要求1所述的文本处理方法,其特征在于,所述基于所述第一重要性程度信息、及所述多个第一字符分别对应的第一字向量,确定表征第一文本语义信息的第一目标向量,包括:
利用所述第一重要性程度信息,对所述多个第一字符分别对应的第一字向量进行加权求和,得到所述第一目标向量。
3.根据权利要求1所述的文本处理方法,其特征在于,所述基于所述第一目标向量、及所述第二目标向量,确定所述第一文本与所述第二文本之间的相似度信息,包括:
确定所述第一目标向量、及所述第二目标向量之间的向量距离;
基于所述向量距离,得到所述第一文本与所述第二文本之间的相似度信息。
4.根据权利要求3所述的文本处理方法,其特征在于,所述第一目标向量、及所述第二目标向量之间的向量距离包括下述至少一种:
欧式距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、马氏距离、夹角余弦、以及汉明距离。
5.根据权利要求1所述的方法,其特征在于,所述基于获取的第一文本确定所述第一文本中各个第一字符分别对应的第一重要性程度信息,包括:
获取所述第一文本的第一特征句向量、及所述第一文本中多个第一字符分别对应的第一特征字向量;
通过注意力机制对所述第一特征句向量、以及所述多个第一字符分别对应的第一特征字向量进行处理,得到所述多个第一字符分别与所述第一特征句向量之间的第一相关度信息;
基于所述多个第一字符分别与所述第一特征句向量之间的第一相关度信息,得到所述多个第一字符分别对应的第一重要性程度信息。
6.根据权利要求5所述的方法,其特征在于,所述获取所述第一文本的第一特征句向量、及所述第一文本中多个第一字符分别对应的第一特征字向量,包括:
获取第一文本;其中,所述第一文本包括多个第一字符;
基于所述第一文本,确定所述第一文本对应的第一句向量,以及基于所述第一文本中的多个第一字符,确定所述多个第一字符分别对应的第一字向量;
对所述第一句向量、及所述多个第一字符分别对应的第一字向量进行联合特征提取,得到所述第一文本对应的第一特征句向量、及所述第一文本中多个第一字符分别对应的第一特征字向量。
7.根据权利要求6所述的文本处理方法,其特征在于,所述对所述第一句向量、及所述多个第一字符分别对应的第一字向量进行联合特征提取,包括:
利用预先训练的神经网络,对所述第一句向量、及所述多个第一字符分别对应的第一字向量进行联合特征提取,得到所述第一文本对应的第一特征句向量、及所述第一文本中多个第一字符分别对应的第一特征字向量。
8.根据权利要求5所述的文本处理方法,其特征在于,所述通过注意力机制对所述第一特征句向量、以及所述多个第一字符分别对应的第一特征字向量进行处理,得到所述多个第一字符分别与所述第一特征句向量之间的第一相关度信息,包括:
针对所述多个第一字符中的每个第一字符,确定所述每个第一字符对应的第一特征字向量、与所述第一特征句向量之间的第一距离;
基于所述第一距离,确定所述每个第一字符与所述第一特征句向量之间的第一相关度信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京乐学帮网络技术有限公司,未经北京乐学帮网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011232583.2/1.html,转载请声明来源钻瓜专利网。