[发明专利]可分解变分自动编码器句子表示中的切分语法和语义

说明书

本文描述了被称为可分解变分自动编码器(DecVAE)的框架的实施例，其通过使用Kullback‑Leibler(KL)分歧的总相关惩罚来对语法和语义进行解缠处理。原始VAE的KL发散项被分解，使得所生成的隐藏变量可以以清晰的、和可解释的方式被分离。对各种语义相似性和句法相似性数据集评估DecVAE模型的实施例。实验结果表明，DecVAE模型的实施例在句法表示和语义表示之间的解缠处理方面实现了现有技术(SOTA)的性能。

技术领域

本公开总体上涉及用于计算机学习的系统和方法，其可以提供改进的计算机性能、特征和用途。更具体地，本公开涉及利用变分自动编码器(VAE)来对语法和语义进行解缠处理的系统和方法。

背景技术

深度神经网络在例如计算机视觉、自然语言处理、推荐系统等领域取得了巨大的成功。最近基于生成对手网络(Generative Adversarial Networks；GAN)或VAE的神经解缠模型，在计算机视觉和自然语言处理中显著促进了主题分割和对象/实体属性分离的任务。然而，当前的模型在对密切相关的属性(例如，人类语言中的语法和语义)进行解缠操作方面仍然处于粗略的层次。

因此，需要一种系统和方法来对语法和语义进行解缠操作以提高性能。

发明内容

本申请一个方面提供了一种用于对表示进行解缠处理的、计算机实现的方法，包括：接收令牌序列的输入；使用包括第一嵌入层和第一注意层的第一组合，基于所述令牌序列生成第一隐藏变量序列；使用包括第二嵌入层和第二注意层的第二组合，基于所述令牌序列生成第二隐藏变量序列；使用语义编码器基于所述第一隐藏变量序列生成语义隐藏变量序列；使用语法编码器基于所述第二隐藏变量序列生成语法隐藏变量序列；基于所述语义隐藏变量序列和所述语法隐藏变量序列，利用解码器生成重构令牌序列和对应的重构注意力权重序列；响应于训练处理，构造一个或多个损失函数，使用所述重构令牌序列和对应的所述重构注意力权重序列来训练所述第一嵌入层、所述第二嵌入层、所述第一注意层、所述第二注意层、所述语义编码器、所述语法编码器和所述解码器中的至少一个；以及响应于推断处理，为一个或多个自然语言处理(NLP)应用输出所述重构令牌序列和对应的所述重构注意力权重序列。

本申请的另一方面，提供了一种用于对表示进行解缠操作的系统，包括：一个或多个处理器；和包括一组或多组指令的非暂时性计算机可读介质，所述一组或多组指令在由所述一个或多个处理器中的至少一个执行时使得执行以下步骤，所述步骤包括：使用包括第一嵌入层和第一注意层的第一组合，基于令牌序列生成第一隐藏变量序列；使用包括第二嵌入层和第二注意层的第二组合，基于所述令牌序列生成第二隐藏变量序列；使用语义编码器基于第一隐藏变量序列生成语义隐藏变量序列；使用语法编码器基于第二隐藏变量序列生成语法隐藏变量序列；基于语义隐藏变量序列和语法隐藏变量序列，利用解码器生成重构令牌序列和对应的重构注意力权重序列；和响应于训练处理，构造一个或多个损失函数，使用重构令牌序列和对应的重构注意力权重序列，来训练所述第一嵌入层、所述第二嵌入层、所述第一注意层、所述第二注意层、所述语义编码器、所述语法编码器和所述解码器中的至少一个；响应于推断过程，为一个或多个自然语言处理(NLP)应用输出所述重构令牌序列和对应的所述重构注意力权重序列。

本申请的另一方面还提供了一种包括一个或多个指令序列的非暂时性计算机可读介质，所述一个或多个指令序列在由至少一个处理器执行时执行如上所述的方法。

本申请的另一方面还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在由处理器执行时，执行如上所述方法。

附图说明

将参考本公开的、在附图中示出了其示例的实施方式。这些附图是说明性的，而不是限制性的。尽管在这些实施方式的上下文中一般性地描述了本公开，但是应当理解，其并不旨在将本公开的范围限制于这些特定实施方式。图中的特征也可能不是按比例绘制的。