[发明专利]一种文本摘要模型生成及文本摘要识别方法在审
申请号: | 202110229859.X | 申请日: | 2021-03-02 |
公开(公告)号: | CN113111646A | 公开(公告)日: | 2021-07-13 |
发明(设计)人: | 夏书银;曹方;王国胤;罗跃国 | 申请(专利权)人: | 重庆邮电大学 |
主分类号: | G06F40/284 | 分类号: | G06F40/284;G06F40/126;G06N3/04;G06N3/08 |
代理公司: | 成都行之专利代理事务所(普通合伙) 51220 | 代理人: | 喻英 |
地址: | 400000 重*** | 国省代码: | 重庆;50 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 摘要 模型 生成 识别 方法 | ||
1.一种文本摘要模型生成方法,其特征在于,包括:
获取源文本和所述源文本对应的摘要标签;
对所述源文本进行分词得到文本序列,并对所述摘要标签进行句法分析,得到所述摘要标签中每个单词的成分标签和词性标签;
按照预设数量从所述文本序列中选择词频较高的单词作为输入单词,并按照时间顺序将所述输入单词输入到文本编码解码器中进行识别,生成解码单词;
将所述输入单词对应的词性标签按照时间顺序依次输入到词性编码解码器中,得到解码词性;将所述输入单词对应的成分标签按照时间顺序依次输入到成分编码解码器中,得到解码成分;
将各时刻的解码单词和对应时刻的解码词性以及对应时刻的解码成分输入到全连接神经网络全连接神经网络中,获取计算概率;
基于所述计算概率得到全连接神经网络所述全连接神经网络输出的预测单词、预测词性和预测成分,并与输入单词、摘要标签和成分标签构建目标损失函数;
将所述全连接神经网络输出的所有预测单词按照时间顺序组合成预测摘要,并根据自动文摘评测函数ROUGE-1对预测摘要和所述摘要标签进行计算,构建摘要损失函数;
基于所述摘要损失函数和所述目标损失函数计算得到模型损失函数;
基于所述模型损失函数对所述全连接神经网络中的权值和偏重进行调整,得到文本摘要模型。
2.根据权利要求1所述的一种文本摘要模型生成方法,其特征在于,所述按照预设数量从所述文本序列中选择词频较高的单词作为输入单词,包括:
统计文本序列中每个单词出现的次数作为词频,按照词频从高到低排序得到排序列表;
按照预设数量从所述排序列表中由前到后选择对应数量的单词作为输入单词。
3.根据权利要求1所述的一种文本摘要模型生成方法,其特征在于,所述按照时间顺序将所述输入单词输入到文本编码解码器中进行识别,生成解码单词,包括:
按照时间顺序将所述输入单词输入到文本编码器中进行编码,得到单词向量;
通过注意力机制对所述单词向量进行语义信息加权,得到语义注意力计算后的单词向量;
通过语义解码器对所述语义注意力计算后的单词向量解码,得到解码单词。
4.根据权利要求1所述的一种文本摘要模型生成方法,其特征在于,所述将所述输入单词对应的词性标签按照时间顺序依次输入到词性编码解码器中,得到解码词性,包括:
通过词性编码器对所述词性标签编码,得到词性向量;
通过注意力机制对所述词性向量加权,得到词性注意力计算后的词性向量;
通过词性解码器对所述词性注意力计算后的词性向量解码,得到解码词性。
5.根据权利要求1所述的一种文本摘要模型生成方法,其特征在于,所述将所述输入单词对应的成分标签按照时间顺序依次输入到成分编码解码器中,得到解码成分,包括:
通过成分编码器对所述成分标签编码,得到成分向量;
通过注意力机制对所述成分向量加权,得到成分注意力后的成分向量;
对所述成分注意力计算后的成分向量解码,得到解码成分。
6.根据权利要求1所述的一种文本摘要模型生成方法,其特征在于,所述基于所述计算概率得到全连接神经网络所述全连接神经网络输出的预测单词、预测词性和预测成分,并与输入单词、摘要标签和成分标签构建目标损失函数,包括:
选取计算概率最大的解码单词作为预测单词、计算概率最大的解码词性作为预测词性,计算概率最大的成分作为预测成分;
基于所述输入单词和所述预测单词,通过负对数丢失概率构建单词损失函数;
基于所述词性标签和所述预测词性,通过负对数丢失概率构建词性损失函数;
基于所述成分标签和所述预测成分,通过负对数丢失概率构建分词损失函数;
通过加权公式对所述单词损失函数、所述词性损失函数和所述成分词损失函数进行计算,得到目标损失函数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于重庆邮电大学,未经重庆邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110229859.X/1.html,转载请声明来源钻瓜专利网。