[发明专利]基于深度学习的智能化文本自动生成系统及其实现方法

权利要求书

1.一种基于深度学习的智能化文本自动生成方法，其特征在于，主要包括如下操作步骤：

步骤A，数据预处理：对用户提交的数据文件进行预处理，并转换成智能化文本自动生成系统可以识别和处理的数据格式；

步骤A具体包括：

步骤A01，将字段名和属性值作为神经网络模型的主要输入，采用词嵌入的方式对用户提交的数据文件进行编码，分别得到字段词嵌入向量和属性词嵌入向量，将所述字段词嵌入向量和属性词嵌入向量处理成一个新的语义向量，用f_w表示字段名的词嵌入向量，v_w表示该字段对应的属性词嵌入向量，将f_w和v_w拼接成一个新的语义向量r_w，其中r_w＝concat{f_w,v_w}；

步骤A02，将字段在整体结构中的相对位置也采用词嵌入的方式进行编码，分别用p_w+，p_w-表示某个词在其所属的字段内容中正向和反向出现的位置，将这两个方向上的位置嵌入向量处理成一个新的结构向量p_w，其中p_w＝concat{p_w+，p_w-}；

步骤B，字段-内容选择编码：对预处理之后的数据进行编码，并利用预先设计好的神经网络模型计算序列的阶段性输出；

步骤B具体包括：

步骤B01，对长短期记忆神经网络进行改进，修改每个时间步的长短期记忆神经网络单元的计算方式，使其能够学习字段-属性键值对的复杂结构信息和长序列依赖；

其中，修改每个时间步的长短期记忆神经网络单元的计算方式为：

其中，f_t，i_t，o_t分别表示遗忘门，输入门和输出门；分别是施加给r_t和h_t-1的权重矩阵，表示4n×d_r维度的实数向量空间，n是隐藏层维度，d_r是输入r_t的向量维度；r_t是t时刻的输入；h_t-1是t-1时刻输出的隐藏状态向量；是当前时刻神经网络模型输出的候选单元状态向量；sigmoid和tanh分别表示不同的激活函数；

步骤B02，将不同字段的上下文环境作为决定其重要性的决策信息，并使用门控机制来学习隐藏依赖，针对特定字段获取更准确的语义信息；

步骤C，描述性解码：再次利用所述神经网络模型对所述阶段性输出进行新的计算预测，以得到所有词汇表中的单词的输出概率，并从中选出概率最大的文本作为输出。

2.根据权利要求1所述的基于深度学习的智能化文本自动生成方法，其特征在于：将p_t作为长短期记忆神经网络的联合输入，新的单元状态向量和隐藏状态向量的计算方式为：

h_t＝o_t⊙tanh(c_t)

其中和分别是施加给p_t的权重矩阵和偏置向量，2d_p是输入p_t的维度，n表示隐藏层维度，⊙表示向量点乘，c_t表示当前时刻神经网络模型输出的单元状态向量，决定着c_t要保存的结构信息量，而ω_t∈(-1,1)ⁿ中保存着当前时刻的所有结构信息。