[发明专利]一种同义句生成方法、系统、终端及存储介质

说明书

本发明提供了一种同义句生成方法、系统、终端及存储介质，所述方法包括：构建同义句生成基础模型；对待转换的句子及其所有训练语料中的句子进行自编码，获得语义向量和语法向量；对所述语法向量进行变分推断得到变分推断后的语法向量；对所述语义向量和变分推断后的语法向量进行解耦；采用解耦后的所述语义向量和变分推断后的语法向量，对训练语料中的句子进行重构，更新训练语料；利用更新后的训练语料，重新执行解耦，对向量解耦进行优化；采用源文本的语义向量拼接变分推断后的语法向量生成同义句。本发明对语法和语义进行解耦，使得生成的句子语法更加可控，同时使得生成的句子具有更强的语义一致性。

技术领域

本发明涉及自然语言处理中的文本生成技术领域，具体地，涉及一种基于语义和语法解耦的同义句生成方法、系统、终端及存储介质。

背景技术

同义句生成是文本生成领域的一个重要问题，是指对一个任意给定文本生成语义相同或者相近的文本。同义句生成的重要性不仅体现在表达了人类语言的多样性，还体现在其作为其他自然语言处理任务的关键组成部分，例如问题回答、机器翻译、数据增强等任务。传统的模型通常是基于规则的，它们对输入的文本中的某个词或词组进行替换，首先从同义词词典中找到候选同义词或词组，然后使用同义词或词组相应地进行替换。这种方法虽然可以生成同义句，但是需要大量的人工成本构建同义词典，并且生成的同义句效果并不理想。

近年来，随着深度神经网络的发展，基于端到端机器学习方法的模型开始应用于同义句生成，模型主要依靠基于注意力机制（attention）的序列到序列（sequence to sequence）学习框架，相比于在传统基于规则的方法上，其生成效果有非常显著的提升。具体而言，该学习框架包含一个编码器和解码器，编码器对输入文本进行处理得到一个文本的编码序列，解码器对该编码序列进行递归解码，解码出输出文本的每一个词。并且在解码第个词的时候，该框架使用注意力机制对编码序列进行加权求和得到编码向量,其中为的注意力权重，然后该编码向量结合前个解码的词，解码出第个词。然而，尽管基于注意力机制的序列到序列学习框架相比于传统规则模型提升了同义句生成的效果，但是该框架仍然存在两个问题：（1）模型往往过于注重原句和生成句子的局部信息的对齐，不能保证生成句子的语义与原句的一致性；（2）同义句的生成语法不可控，当有多个同义句时（数量大于2），生成的过程应该是原句的语义信息加上目标语句的语法信息，生成相应的同义句。因此同义句生成应该看作是基于一对多的星形架构的匹配问题，而非基于一对一的匹配问题。

经过检索发现，公开号为CN110765758A，公开日为2020年2月7日，发明名称为《一种同义句生成模型的生成方法、装置及介质》的中国发明专利申请，该发明使用第一集合训练得到一生成模型和一判别模型；所述第一集合包括多个同义句组，每个同义句组包括至少两个同义句；对所述生成模型和所述判别模型进行迭代处理直至所述生成模型收敛。该发明使用了大量的单句，充分利用了单句的成本低和无需人工标注的优点。在对模型的训练过程中，结合了大量的单句和强化学习方式，单句的使用极大的增加了语义的丰富性，强化学习方式可以使模型在迭代过程中不断优化，从而完全无需依赖大量的平行语料便可以训练出优质的同义句生成模型。

该专利文献所提供的技术，仍然存在上述问题。

发明内容

针对现有技术中存在的上述技术问题/之一，本发明提供了一种基于语义和语法解耦的同义句生成方法、系统、终端及存储介质。

根据本发明的一个方面，提供了一种同义句生成方法，包括：

S100，构建同义句生成基础模型；

S200，利用所述同义句生成基础模型，对待转换的句子及其所有训练语料中的句子进行自编码，获得语义向量和语法向量；

对所述语法向量进行变分推断得到变分推断后的语法向量，并使变分推断后的语法向量服从于一个预先定义的分布中；

对所述语义向量和变分推断后的语法向量进行解耦；