[发明专利]基于深度LSTM的多样性文本生成方法、系统与计算机可读介质

说明书

本发明提供一种基于深度LSTM的多样性文本生成方法，包括：基于训练语料集生成字符字典以及训练文本序列；以训练文本序列作为LSTM模型的输入，通过模型训练获得深度LSTM文本生成模型；其中模型参数为多元正态分布N(μ,Σ)；对于输入的预测文本序列，基于深度LSTM文本生成模型进行字符预测，生成新的字符，实现整个文本序列的生成。本发提出的基于深度LSTM模型的文本生成方法，文本序列不再由一个单一的LSTM模型生成，而由一组参数属于某个分布的多个LSTM模型共同生成，从而提升了行文风格的多样性，同时所生成文本由一段文本开头进行引导，在保持生成文本序列多样性的前提下，也降低模型的随机性和不确定性，能够使得文本生成的过程更加接近人类的写作习惯。

技术领域

本发明涉及自然语言处理技术领域，具体而言涉及一种基于深度LSTM的多样性文本生成方法、系统与计算机可读介质。

背景技术

随着互联网的飞速发展，用户在人机交互过程中，产生了越来越多的文本生成需求，文本生成即通过机器自动生成字符序列，通常会设置一定的生成条件，例如给出文本的开头进行续写。

目前，随着深度学习的发展，循环神经网络(RNN)被广泛应用到文本生成领域，长短时记忆神经网络(LSTM)作为一种特殊的循环神经网络，其结构上的特点使其可以捕捉到较长距离的依赖关系，从而解决当文本序列过长，模型无法表征文本之间依赖关系的问题。

通过长短时记忆神经网络进行文本生成时，需先通过训练语料完成模型训练，求解出正确的模型参数组合，通常参数是一组固定的值，这将使得生成的文本在行文风格上较为单一，文本序列欠缺多样性。

发明内容

根据本发明目的的第一方面提供一种基于深度LSTM的多样性文本生成方法，包括：

步骤1、基于训练语料集生成字符字典以及训练文本序列；

步骤2、以训练文本序列作为LSTM模型的输入，通过模型训练获得深度LSTM文本生成模型；其中的深度LSTM文本生成模型的模型参数为多元正态分布N(μ,Σ)，通过模型训练求解该多元正态分布的参数μ和Σ，从而获得深度LSTM文本生成模型，其中参数μ表示所述多元正态分布的期望，参数Σ表示所述多元正态分布的协方差矩阵；以及

步骤3、对于输入的预测文本序列，基于所述深度LSTM文本生成模型进行字符预测，生成新的字符，实现整个文本序列的生成。

根据本发明目的的第二方面提出一种基于深度LSTM的多样性文本生成系统，包括：

一个或多个处理器；

存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括所述的基于深度LSTM的多样性文本生成方法的流程。

根据本发明目的的第三方面提出一种存储软件的计算机可读介质，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作包括前述基于深度LSTM的多样性文本生成方法的流程。

本发明提出的基于深度LSTM的多样性文本生成方法，不再将LSTM模型的参数作为一组确定值，而是将其设定为一组分布，这使得生成文本的LSTM不再是一个固定的模型，模型具有更多的不确定性和多样性，同时其不确定性则可通过给出文本的开头进行约束，从而解决基于传统循环神经网络的文本生成模型在生成的文本在行文风格上较为单一，文本序列欠缺多样性的问题，本发明通过对于参数分布化LSTM模型的训练以及其参数分布进行求解，然后通过采样的方法实现文本序列生成。