[发明专利]用于生成信息的方法和装置

说明书

本公开的实施例公开了用于生成信息的方法和装置。该方法的一具体实施方式包括：对待解析文本进行切词处理，得到待解析文本的分词序列；将待解析文本的分词序列中每个分词的词向量组成的序列确定为待解析文本的词向量序列；将待解析文本的词向量序列中的每个词向量输入预先训练的重要度确定模型，得到该词向量的重要度值；以待解析文本的词向量序列中的各个词向量为节点，以节点对应的词向量的重要度值为节点的权值，构造动态树；将所构造的动态树输入预先训练的树形长短期记忆网络，生成待解析文本的文本向量，其中，树形长短期记忆网络用于表征以词向量为节点的动态树与文本向量之间的对应关系。该实施方式丰富了生成文本的文本向量的实现方式。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及用于生成信息的方法和装置。

背景技术

自然语言理解(Natural Language Understanding)中的一项重要工作就是将词语或句子转换成可以计算的数据。目前，大都采用将文本先切词得到分词序列，再将分词序列中的每个分词表示成词向量得到词向量序列，再根据所得到的词向量序列构建文本的文本向量，继而可以利用文本向量实现对文本的自然语言理解的各种操作。例如，可以将文本翻译成另外一种语言，也可以对文本进行情感分析等等。

发明内容

本公开的实施例提出了用于生成信息的方法和装置。

第一方面，本公开的实施例提供了一种用于生成信息的方法，该方法包括：对待解析文本进行切词处理，得到待解析文本的分词序列；将待解析文本的分词序列中每个分词的词向量组成的序列确定为待解析文本的词向量序列；将待解析文本的词向量序列中的每个词向量输入预先训练的重要度确定模型，得到该词向量的重要度值；以待解析文本的词向量序列中的各个词向量为节点，以节点对应的词向量的重要度值为节点的权值，构造动态树；将所构造的动态树输入预先训练的树形长短期记忆网络，生成待解析文本的文本向量，其中，树形长短期记忆网络用于表征以词向量为节点的动态树与文本向量之间的对应关系。

在一些实施例中，该方法还包括：将待解析文本的文本向量输入预先训练的文本处理模型，生成待解析文本的文本处理结果，其中，文本处理模型用于表征文本的文本向量与文本处理结果之间的对应关系。

在一些实施例中，重要度确定模型、树形长短期记忆网络和文本处理模型是通过如下训练步骤得到的：确定初始重要度确定模型的模型结构、初始树形长短期记忆网络的网络结构和初始文本处理模型的模型结构，以及初始化初始重要度确定模型的模型参数、初始树形长短期记忆网络的网络参数和初始文本处理模型的模型参数；获取训练样本集，其中，每个训练样本包括样本文本和对样本文本进行处理所期望得到的标注处理结果；对于训练样本集中的训练样本，执行以下参数调整步骤：将该训练样本中的样本文本进行切词处理，得到该样本文本的分词序列；将该样本文本的分词序列中每个分词的词向量组成的序列确定为该样本文本的词向量序列；将该样本文本的词向量序列中的每个词向量输入初始重要度确定模型，得到该词向量的重要度值；以该样本文本的词向量序列中的各个词向量为节点，以节点对应的词向量的重要度值为节点的权值，构造动态树；将所构造的动态树输入初始树形长短期记忆网络，生成该样本文本的文本向量；将该样本文本的文本向量输入初始文本处理模型，生成该样本文本的实际处理结果；按照预设损失函数，计算该训练样本中的标注处理结果与该样本文本的实际处理结果之间的损失值；基于计算所得的损失值，调整初始重要度确定模型的模型参数、初始树形长短期记忆网络的网络参数和初始文本处理模型的模型参数；响应于确定满足预设训练结束条件，结束参数调整步骤；分别将训练得到的初始重要度确定模型、初始树形长短期记忆网络和初始文本处理模型确定为预先训练的重要度确定模型、树形长短期记忆网络和文本处理模型。