[发明专利]提取摘要信息的方法、装置、语言处理引擎和介质有效
申请号: | 201811150949.4 | 申请日: | 2018-09-29 |
公开(公告)号: | CN110162617B | 公开(公告)日: | 2022-11-04 |
发明(设计)人: | 侯皓文 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/34 | 分类号: | G06F16/34;G06F40/232;G06F40/295 |
代理公司: | 深圳市联鼎知识产权代理有限公司 44232 | 代理人: | 刘抗美 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 提取 摘要 信息 方法 装置 语言 处理 引擎 介质 | ||
1.一种从目标文本中提取摘要信息的方法,其特征在于,包括:
获取目标文本;
在所述目标文本之前和之后分别设置指针和结束符;
将指针的当前位置和所述目标文本输入机器学习模型,由机器学习模型预测所述目标文本中所述指针的当前位置之后指向的下一个位置,直到指向结束符;所述机器学习模型包括级联的编码网络和解码网络,编码网络和解码网络各自包括级联的门控循环单元,其中,编码网络中的每级门控循环单元与目标文本的一个字符对应,每级门控循环单元的输入为对应字符的向量、以及前一级门控循环单元的输出;解码网络中的每级门控循环单元与摘要信息的一个字符对应,每级门控循环单元的输入为对应字符的向量、以及前一级门控循环单元的输出;
将指针指向结束符之前在目标文本中指向的所有位置的字符顺序取出,作为所述摘要信息;
其中,预测所述目标文本中所述指针的当前位置之后指向的下一个位置,包括:
通过以下公式求所述解码网络中所述指针当前位置的字符对应的门控循环单元的输出、与所述编码网络中各门控循环单元的输出的加权和向量:
其中,j∈(1,……,n);n为目标文本的字符数;表示解码网络中第i-1个门控循环单元的输出、与编码网络中第j个门控循环单元的输出的加权和向量;hj表示编码网络中第j个门控循环单元的输出,维数与字符向量的维数相等;di-1表示解码网络中第i-1个门控循环单元输出的向量,维数与字符向量的维数相等;W1、W2是hj和di-1相应的权重矩阵,列和行数都与字符向量的维数相等;vT是常向量v的转置,常向量v的维数与字符向量的维数相等;
基于所述加权和向量,确定预测的所述下一个位置。
2.根据权利要求1所述的方法,其特征在于,所述机器学习模型事先如下训练:
获取目标文本样本集,该目标文本样本集包括多个目标文本样本,其中,每个目标文本样本之前和之后分别设置指针和结束符,且摘要信息已知;
将每个目标文本样本输入机器学习模型,由机器学习模型预测所述目标文本样本中所述指针的当前位置之后指向的下一个位置,直到指向结束符;
将指针指向结束符之前在目标文本样本中顺序指向的所有位置的字符,与已知摘要信息比较,从而调整机器学习模型的参数,使指针指向结束符之前在目标文本样本中顺序指向的所有位置的字符与已知摘要信息一致。
3.根据权利要求1所述的方法,其特征在于,所述目标文本是实体全称,所述摘要信息是实体简称。
4.根据权利要求3所述的方法,其特征在于,所述获取目标文本包括:
将目标语段分解成语句;
基于分解成的语句,按照预定规则获取实体全称。
5.根据权利要求4所述的方法,其特征在于,所述预定规则包括:
将语句分成词;
识别分成的词中的地理名词和实体类型词;
针对所述语句中从识别出的地理名词开始到识别出的实体类型词之间的部分,在互联网上进行搜索;
如果搜索结果满足预定条件,确定所述部分是实体全称。
6.根据权利要求5所述的方法,其特征在于,所述预定条件包括:包含所述部分的搜索结果数目超出预定数目阈值。
7.根据权利要求5所述的方法,其特征在于,确定所述部分是实体全称还基于所述部分与实体工商登记网站信息的匹配。
8.根据权利要求7所述的方法,其特征在于,所述确定所述部分是实体全称,具体包括:
确定所述部分在互联网上搜索结果的搜索得分,该搜索得分取决于互联网上包含所述部分的搜索结果数目;
确定所述部分与实体工商登记网站信息的匹配得分,该匹配得分取决于所述部分与实体工商登记网站信息的匹配程度;
在所述搜索得分与匹配得分的加权和大于预定加权和阈值时,确定所述部分是实体全称。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811150949.4/1.html,转载请声明来源钻瓜专利网。
- 信息记录介质、信息记录方法、信息记录设备、信息再现方法和信息再现设备
- 信息记录装置、信息记录方法、信息记录介质、信息复制装置和信息复制方法
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录设备、信息重放设备、信息记录方法、信息重放方法、以及信息记录介质
- 信息存储介质、信息记录方法、信息重放方法、信息记录设备、以及信息重放设备
- 信息存储介质、信息记录方法、信息回放方法、信息记录设备和信息回放设备
- 信息记录介质、信息记录方法、信息记录装置、信息再现方法和信息再现装置
- 信息终端,信息终端的信息呈现方法和信息呈现程序
- 信息创建、信息发送方法及信息创建、信息发送装置