[发明专利]面向建筑行业信息化服务问答系统的文本生成方法和装置

权利要求书

1.一种面向建筑行业信息化服务问答系统的文本生成方法，其特征在于，该方法是通过构建并训练由嵌入模块、编码器模块、隐藏状态互信息模块、隐藏变量互信息模块、解码器模块组成的文本生成模型，实现对原始文本的多层编码，获取原始文本的文本表示和隐藏信息；分别对不同层次编码的隐藏状态、原始文本的隐藏变量及其采样信息计算互信息，最大化其互信息，以保留原始文本的更多重要信息；对原始文本和目标文本进行编码，通过注意力机制获取两者之间的相关性信息，最终以达到文本生成的目的；具体如下：

嵌入模块对原始文本和目标文本分别进行嵌入操作，得到原始文本的嵌入表示和目标文本的嵌入表示；

编码器模块对原始文本的嵌入表示进行多层次编码操作，得到第一层编码结果和第一层编码隐藏状态、第二层编码结果和第二层编码隐藏状态、原始文本的隐藏变量以及原始文本的文本表示；

隐藏状态互信息模块针对第一层编码隐藏状态和第二层编码隐藏状态计算两者之间的互信息；

隐藏变量互信息模块对原始文本的隐藏变量进行操作，计算原始文本的隐藏变量均值和先验潜在变量之间的互信息；

解码器模块将原始文本的文本表示、目标文本的嵌入表示以及先验潜在变量进行编码，通过注意力机制计算相关性，以得到文本对应的单词索引，再通过单词索引寻找映射转换表中单词索引对应的单词，生成最终的文本；

所诉嵌入模块用于构建映射转换表、构建向量映射层，包括：

构建映射转换表，以数字1为起始，按照每个词被录入词表的顺序依次递增排序编号，从而形成映射转换表；使用Word2Vec训练词向量模型，得到各词的词向量矩阵；

构建向量映射层，负责加载构建映射转换表步骤中训练所得的词向量矩阵权重来初始化当前层的权重参数；对于向量映射，针对输入句子原始文本和目标文本，得到其相应句子嵌入表示enc_embed_input、dec_embed_input；

所述编码器模块的构建过程具体如下：

第一层编码结构即编码器1使用双向长短时记忆网络对嵌入模块输出的原始文本的嵌入表示进行编码操作，以得到初步的第一层编码结果和第一层编码隐藏状态，记为具体实施见下述公式：

其中，BiLSTM₁即为编码器1，使用双向长短时记忆网络编码嵌入模块输出的原始文本的嵌入表示；表示原始文本经向量映射层后得到的句子向量；表示第一层编码结果，表示第一层编码隐藏状态；Concatenate表示联接操作；表示第一层编码结果和原始文本的向量表示的联接；

将初步的第一层编码结果和原始文本的嵌入表示的联接，即传递给第二层编码结构即编码器2；编码器2使用双向长短时记忆网络对第一层编码结果和原始文本的嵌入表示的联接进行编码操作，以得到第二层编码结果和第二层编码隐藏状态，记为和具体实施见下述公式：

其中，BiLSTM₂即为编码器2，使用双向长短时记忆网络编码第一层编码结果和原始文本的嵌入表示的联接；

将第一层编码结果和第二层编码结果，即和进行联接，得到原始文本的文本表示，准备传递给解码器模块；将第一层编码隐藏状态和第二层编码隐藏状态，即和进行联接，得到原始文本的隐藏变量，准备传递给隐藏变量互信息模块；其具体实施见下述公式：

其中，公式(3.1)的中表示原始文本的文本表示；公式(3.2)中的表示原始文本的隐藏变量；Concatenate表示联接操作。