[发明专利]基于深度LSTM的多样性文本生成方法、系统与计算机可读介质

权利要求书

1.一种基于深度LSTM的多样性文本生成方法，其特征在于，包括：

步骤1、基于训练语料集生成字符字典以及训练文本序列；

步骤2、以训练文本序列作为LSTM模型的输入，通过模型训练获得深度LSTM文本生成模型；其中的深度LSTM文本生成模型的模型参数为多元正态分布N(μ,Σ)，通过模型训练求解该多元正态分布的参数μ和Σ，从而获得深度LSTM文本生成模型，其中参数μ表示所述多元正态分布的期望，参数Σ表示所述多元正态分布的协方差矩阵；以及

步骤3、对于输入的预测文本序列，基于所述深度LSTM文本生成模型进行字符预测，生成新的字符，实现整个文本序列的生成。

2.根据权利要求1所述的基于深度LSTM的多样性文本生成方法，其特征在于，所述基于训练语料集生成字符字典以及训练文本序列，包括：

步骤1.1、对训练语料集进行切分，切分至字符级，然后对所有字符进行去重，得到字符词典V，词典长度为m；

步骤1.2、基于切分的字符，生成训练语料集的训练文本序列X，定义如下：

X＝(x₁,x₂...,x_l)

其中，训练文本序列的长度为l，x_i为训练文本序列X的第i个字符。

3.根据权利要求1所述的基于深度LSTM的多样性文本生成方法，其特征在于，所述以训练文本序列作为LSTM模型的输入，通过模型训练获得深度LSTM文本生成模型，包括：

步骤2.1、初始化LSTM模型及模型参数θ；

步骤2.2、将训练文本序列作为LSTM模型的输入，利用LSTM模型基于训练文本序列X的前t个字符来预测第t+1个字符，输出第t+1个字符为词典中的某个字符的概率值；

步骤2.3、基于梯度下降法逐步降低模型的训练损失，求解出一组最优参数θ*，以θ*作为多元正态分布的期望；

步骤2.4、构造Hessian矩阵并对其取逆求得协方差矩阵。

4.根据权利要求3所述的基于深度LSTM的多样性文本生成方法，其特征在于，所述利用LSTM模型基于训练文本序列X的前t个字符来预测第t+1个字符，输出第t+1个字符为词典中的某个字符的概率值，包括：

通过以下公式求解第t+1个字符为词典中的第j个字符的概率值概率p(x_t+1＝v_j|x₁,...,x_t)：

其中，f表示LSTM模型，输出值表示LSTM模型f预测第t+1个字符为字符词典中第j个字符的概率值。

5.根据权利要求3所述的基于深度LSTM的多样性文本生成方法，其特征在于，所述基于梯度下降法逐步降低模型的训练损失，求解出一组最优参数θ*，包括：

首先，定义模型训练的损失函数L(θ)如下：

通过上述损失函数计算交叉熵损失，y_t表示训练语料集中的t时刻的实际训练数据，即在训练文本序列在t时刻是否为词典中某一个字符，是则为1，否则为0；

然后，通过梯度下降计算逐步降低训练损失，求解出一组最优参数θ*，其中梯度下降的计算过程如下：

其中，n是迭代的次数，ɑ是步长，通过多次迭代计算，逐步更新参数θ，求得最优参数作为θ*，使得模型损失值最小，i＝1,2,3,...,m，m表示字符字典的词典长度。

6.根据权利要求5所述的基于深度LSTM的多样性文本生成方法，其特征在于，所述构造Hessian矩阵并对其取逆求得协方差矩阵，包括：

首先，构造Hessian矩阵H如下：

其中，通过输入训练文本序列，以此更新Hessian矩阵中损失函数以及对应一组模型参数，对每次更新后的Hessian矩阵累加并取平均得到最终的Hessian矩阵；

然后，对最终的Hessian矩阵求逆即可得到多元正态分布的协方差矩阵Σ。