[发明专利]一种基于深度学习和内容规划的文本自动生成方法及装置

权利要求书

1.一种基于深度学习和内容规划的文本自动生成方法，其特征在于：具体包括以下步骤：

S1、将输入数据进行层次化编码表示；

S2、将层次化编码表示后的输入数据进行粗粒度的规划和细粒度的规划，所述的粗粒度的规划是对输入数据从属性级别进行排序和内容挑选，所述细粒度的规划是对每条属性中的所有词的重要性进行建模，对重要性高的词给予更高的权重；

S3、对进行粗粒度的规划和细粒度的规划后的输入数据进行解码并生成文本；

所述的步骤S3是通过基于自注意力机制和双重注意力机制的解码器来实现的；具体的工作过程如下：首先通过单向的自注意力层得到一个隐状态，然后双重注意力机制通过输入数据的属性级别的编码信息计算注意力，然后对词级别的编码信息计算注意力，将属性级别的注意力权重和词级别的注意力权重相乘及归一化之后，得到修正后的词级别的注意力权重，并解码生成文本；

计算方式如下

h_t＝Multihead(h_t-1，h_t-1，h_t-1)，

其中Multihead_γ表示使用修正的词级别注意力权重来计算词级别注意力；通过这种方式，相当于在每一步解码过程中先看需要选择哪一条属性，然后进一步从这个属性中选择需要的词；

然后通过一个门结构对上面的三个隐状态进行融合，计算方式如下：

d_t＝r_h*g_h+(1-g_h)*h_t，

最后通过一个线性层和Softmax激活函数后，得到该步目标词的概率：

p(y_t|y_＜t，z，x)＝softmax(d_tW_y)，

训练过程是采用最大似然估计来最大化这个概率进行训练，同时和规划过程进行联合训练，直至收敛。

2.根据权利要求1所述的一种基于深度学习和内容规划的文本自动生成方法，其特征在于：步骤S1所述的将输入数据进行层次化编码表示，具体如下：首先将输入数据中的词通过嵌入层表示为向量，然后使用分层自注意力机制对输入数据进行编码和表示。

3.根据权利要求2所述的一种基于深度学习和内容规划的文本自动生成方法，其特征在于：所述的使用分层自注意力机制对输入数据进行编码和表示，具体步骤如下：首先通过多个不共享参数的多头自注意力层对输入数据中的每个属性进行分别表示，挖掘同一属性中不同词之间的依赖关系；另外通过每个属性中的所有词的向量表示求平均得到每个属性的向量表示。

4.根据权利要求1所述的一种基于深度学习和内容规划的文本自动生成方法，其特征在于：所述的粗粒度的规划是通过基于自注意力机制的指针网络实现的，首先采用基于双向自注意力机制的编码器挖掘不同属性之间的依赖关系并对输入的属性进行编码，然后采用基于单向自注意力机制的解码器解码，最后通过指针注意力模块指向输入的属性，从而对输入的属性进行排序。

5.根据权利要求4所述的一种基于深度学习和内容规划的文本自动生成方法，其特征在于：在每一步采用基于单向自注意力机制的解码器解码过程中，首先得到解码器输出的隐状态，然后通过指针注意力模块来计算该步要指向每个输入属性的概率，根据指针网络得到的概率分布，并得到一个指向输入属性的指针索引，根据所述索引构建邻接矩阵并对输入的属性进行排序。

6.根据权利要求1所述的一种基于深度学习和内容规划的文本自动生成方法，其特征在于：所述的细粒度的规划是采用有监督的选择注意力机制来实现的，通过注意力的方式对每个词的重要性进行建模，并鼓励模型给重要性高的词以更高的权重。