[发明专利]用于生成信息的方法和装置有效
申请号: | 201910105235.X | 申请日: | 2019-02-01 |
公开(公告)号: | CN109740167B | 公开(公告)日: | 2020-03-17 |
发明(设计)人: | 周浩;李磊 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | G06F40/279 | 分类号: | G06F40/279;G06N3/04;G06N3/08 |
代理公司: | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人: | 王达佐;马晓亚 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 生成 信息 方法 装置 | ||
1.一种用于生成信息的方法,包括:
对待解析文本进行切词处理,得到所述待解析文本的分词序列;
将所述待解析文本的分词序列中每个分词的词向量组成的序列确定为所述待解析文本的词向量序列;
将所述待解析文本的词向量序列中的每个词向量输入预先训练的重要度确定模型,得到该词向量的重要度值;
以所述待解析文本的词向量序列中的各个词向量为节点,以节点对应的词向量的重要度值为节点的权值,构造动态树;
将所构造的动态树输入预先训练的树形长短期记忆网络,生成所述待解析文本的文本向量,其中,所述树形长短期记忆网络用于表征以词向量为节点的动态树与文本向量之间的对应关系。
2.根据权利要求1所述的方法,其中,所述方法还包括:
将所述待解析文本的文本向量输入预先训练的文本处理模型,生成所述待解析文本的文本处理结果,其中,所述文本处理模型用于表征文本的文本向量与文本处理结果之间的对应关系。
3.根据权利要求2所述的方法,其中,所述重要度确定模型、所述树形长短期记忆网络和所述文本处理模型是通过如下训练步骤得到的:
确定初始重要度确定模型的模型结构、初始树形长短期记忆网络的网络结构和初始文本处理模型的模型结构,以及初始化所述初始重要度确定模型的模型参数、所述初始树形长短期记忆网络的网络参数和所述初始文本处理模型的模型参数;
获取训练样本集,其中,每个训练样本包括样本文本和对样本文本进行处理所期望得到的标注处理结果;
对于所述训练样本集中的训练样本,执行以下参数调整步骤:将该训练样本中的样本文本进行切词处理,得到该样本文本的分词序列;将该样本文本的分词序列中每个分词的词向量组成的序列确定为该样本文本的词向量序列;将该样本文本的词向量序列中的每个词向量输入所述初始重要度确定模型,得到该词向量的重要度值;以该样本文本的词向量序列中的各个词向量为节点,以节点对应的词向量的重要度值为节点的权值,构造动态树;将所构造的动态树输入所述初始树形长短期记忆网络,生成该样本文本的文本向量;将该样本文本的文本向量输入所述初始文本处理模型,生成该样本文本的实际处理结果;按照预设损失函数,计算该训练样本中的标注处理结果与该样本文本的实际处理结果之间的损失值;基于计算所得的损失值,调整所述初始重要度确定模型的模型参数、所述初始树形长短期记忆网络的网络参数和所述初始文本处理模型的模型参数;响应于确定满足预设训练结束条件,结束所述参数调整步骤;
分别将训练得到的所述初始重要度确定模型、所述初始树形长短期记忆网络和所述初始文本处理模型确定为预先训练的所述重要度确定模型、所述树形长短期记忆网络和所述文本处理模型。
4.根据权利要求3所述的方法,其中,所述将所述待解析文本的分词序列中每个分词的词向量组成的序列确定为所述待解析文本的词向量序列,包括:
对于所述待解析文本的分词序列中的每个分词,在预先训练的词向量表中查询与该分词对应的词向量;
按照所述待解析文本的分词序列中每个分词的排序,生成由所述待解析文本的分词序列中每个分词的词向量组成的词向量序列;
将所生成的词向量序列确定为所述待解析文本的词向量序列。
5.根据权利要求4所述的方法,其中,所述基于计算所得的损失值,调整所述初始重要度确定模型的模型参数、所述初始树形长短期记忆网络的网络参数和所述初始文本处理模型的模型参数,包括:
基于计算所得的损失值,调整所述初始重要度确定模型的模型参数、所述初始树形长短期记忆网络的网络参数、所述初始文本处理模型的模型参数和所述词向量表。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910105235.X/1.html,转载请声明来源钻瓜专利网。
- 信息记录介质、信息记录方法、信息记录设备、信息再现方法和信息再现设备
- 信息记录装置、信息记录方法、信息记录介质、信息复制装置和信息复制方法
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录设备、信息重放设备、信息记录方法、信息重放方法、以及信息记录介质
- 信息存储介质、信息记录方法、信息重放方法、信息记录设备、以及信息重放设备
- 信息存储介质、信息记录方法、信息回放方法、信息记录设备和信息回放设备
- 信息记录介质、信息记录方法、信息记录装置、信息再现方法和信息再现装置
- 信息终端,信息终端的信息呈现方法和信息呈现程序
- 信息创建、信息发送方法及信息创建、信息发送装置