[发明专利]一种基于深度学习的评价文本生成方法

权利要求书

1.一种基于深度学习的评价文本生成方法，其特征在于，该方法包括以下步骤：

S1、利用自然语言处理工具HanLP对评审文本进行编码并形成词向量；

S2、通过K-Bert神经网络搭建训练网络模型；

S3、改善训练网络模型特性并对词向量进行训练；

S4、利用BLUE、ROUGE校核训练网络模型的准确性，并获得训练网络模型的最佳参数设置；

S5、将设计文本输入校核后的训练网络模型以生成评价文本。

2.根据权利要求1所述的一种基于深度学习的评价文本生成方法，其特征在于：步骤S1具体包括以下步骤：

S11、利用正则匹配将评审文本按章、节标题进行切分，生成多个子文件并编号，从多个子文件中筛选出需要进行评价的章节所在的子文件，并将这些子文件储存；

S12、利用scikit-learn对评审文本进行聚类分析，对文本进行清洗，得到与评审指标相关的单句；

S13、利用自然语言处理工具HanLP对错误文本和评价文本进行分词标注，并转化为词向量；

S14、将评审指标所组成的词向量序列作为输入，将评语所组成的词向量序列作为输出。

3.根据权利要求2所述的一种基于深度学习的评价文本生成方法，其特征在于：步骤S13中，对于文本中没有对应评价的语句，建造一个评语以填补其完整性。

4.根据权利要求3所述的一种基于深度学习的评价文本生成方法，其特征在于：步骤S2具体包括以下步骤：

S21、搭建知识层，该层将词组转化为知识图谱适配的知识树句构形式，其输入为一个集合s＝{w₀，w₁，w₂，...，w_n}，其中，w_n为词向量，输出为一个知识树t＝{w₀，w₁，...w_i{(r_i0，w_i0)，...，(r_ik，w_ik)}，...，w_n}，其中，r_ik代表w_i和w_k之间的句法关系，w_ik代表与w_i相关条件下的w_k，输入到输出包括两个流程；

(1)知识问答

所有的命名实体从集合K筛选到集合S：

E＝K-Query(s，K)

其中，E＝{(w_i，r_i0，w_i0)，...，(w_i，r_ik，w_ik)}为三元集合；

(2)知识注入

将K-Query的结果E映射到集合S的对应位置，以获得知识树t：

t＝K-Inject(s，E)

S22、搭建嵌入层，该层使得知识树转化为嵌入表征，嵌入表征分为记号嵌入、位置嵌入和片段嵌入三个部分，记号嵌入将词汇转化为维度为H的嵌入向量，片段嵌入通过添加标记对输入进行断句；

S23、搭建可见层，该层通过一个矩阵M限制每一个输入之间的可见性：

其中，w_i和w_j为输入的标记，i和j分别代表w_i和w_j在词表中的位置，代表w_i与w_j在同一分支中，代表w_i与w_j不在同一分支中；

S24、搭建遮罩转换层，该层作为复合自注意力机制层，限制自注意力的区域，得到范式化输入的格式；

通过矩阵M中的句子结构信息，使用自遮罩-注意力机制：

Qⁱ⁺¹，Kⁱ⁺¹，Vⁱ⁺¹＝hⁱW_q，hⁱW_k，hⁱW_v

hⁱ⁺¹＝Sⁱ⁺¹Vⁱ⁺¹

其中，Qⁱ⁺¹为第i+1层的Qeury向量，即查询该向量与其它词向量的相关度；Kⁱ⁺¹为第i+1层的Key向量，该向量与Query向量一一对应，给词向量的相关度评分；Vⁱ⁺¹为第i+1层的Value向量，即该词向量的值；W_q、W_k和W_v是可训练的模型参数，hⁱ为第i个遮罩自注意力区块的状态参数，Sⁱ⁺¹为softmax函数的求解值，d_k为Query向量与Key向量的方差，M为可见层计算的可见矩阵。