[发明专利]基于记忆增强机制的词义消歧方法和装置

说明书

本发明公开了一种基于记忆增强机制的词义消歧方法和装置，属于人工智能领域。本发明要解决的技术问题为如何对给定上下文中的歧义词进行词义消歧，采用的技术方案为：通过构建并训练由上下文编码器模块、词义注释编码器模块、记忆增强模块、预测模块组成的词义消歧模型，实现对上下文编码、对目标歧义词的候选词义注释编码，通过存储同一上下文中其他歧义词消歧后的词义注释并进行交互来增强当前目标歧义词的表示，最后通过计算目标歧义词与其候选词义注释的匹配度得分，以达到对歧义词进行词义消歧的目标。该装置包括上下文编码器模块构建单元、词义注释编码器模块构建单元、记忆增强模块构建单元、预测模块构建单元、词义消歧模型训练单元。

技术领域

本发明涉及人工智能、自然语言处理技术领域，具体涉及一种基于记忆增强机制的词义消歧方法。

背景技术

智能翻译系统是人机交互的核心技术之一，能够根据用户输入的待翻译的文本将其转换为用户需要的目标语言的文本，可以大大减轻人工翻译的负担。智能翻译系统在自助服务、智能客服、出国旅游等领域有着广泛的现实应用。对于用户输入的待翻译的文本，如何快速确定待翻译文本中所有词的正确词义，是智能翻译系统的核心技术。

词义消歧任务旨在判定在给定上下文中的歧义词的正确词义，这与许多自然语言处理任务的核心目标是一致的，如前所述智能翻译系统。词义消歧任务是一项极具挑战的工作，现有方法还尚未能完善地解决这一问题。

现有的基于神经网络的词义消歧方法利用LSTM和Seq2Seq等神经序列模型来消除目标歧义词的歧义，但它们只专注于学习歧义词的词义注释与其上下文之间的交互关系，没有考虑使用词汇知识。针对这一缺陷，一些工作试图利用词汇知识来优化基于神经网络的方法，它们将歧义词的词义注释与上下文结合到神经网络模型中。它们大多使用两个独立的编码器对歧义词的词义注释和上下文进行建模，所以无法捕捉到交互信息来加强彼此的表示。同时，它们只关注目标歧义词的词义注释和上下文的学习，而忽略了同一个上下文中其他歧义词消歧后的词义注释对目标歧义词消歧的帮助。综上所述，现有的词义消歧方法对于处理目标歧义词的词义注释与上下文之间的交互、目标歧义词的词义注释与同一上下文中其他歧义词消歧后的词义注释之间的交互均有所欠缺，有不可忽视的弊端。

发明内容

针对现有的词义消歧方法的不足，本发明提出了一种基于记忆增强机制的词义消歧方法。该方法，使用上下文编码器模块和词义注释编码器模块对给定的上下文和目标歧义词的词义注释进行编码来获得目标歧义词的编码表示及其候选词义注释的编码表示；使用记忆增强模块存储同一上下文中其他歧义词消歧后的词义注释的编码表示，并与目标歧义词的的编码表示进行交互来增强目标歧义词的编码表示，帮助模型判定目标歧义词所对应的正确词义注释，从而提高模型在词义消歧任务上整体性能。

本发明的技术任务是按以下方式实现的，基于记忆增强机制的词义消歧方法，该方法是通过构建并训练由上下文编码器模块、词义注释编码器模块、记忆增强模块、预测模块组成的词义消歧模型，实现对上下文编码、对目标歧义词的候选词义注释编码，通过存储同一上下文中其他歧义词消歧后的词义注释并进行交互来增强当前目标歧义词的表示，最后通过计算目标歧义词与其候选词义注释的匹配度得分，以达到对歧义词进行词义消歧的目标；具体如下：

上下文编码器模块首先接收给定的上下文作为输入，将其送入预训练语言模型BERT中进行编码，得到上下文的编码表示；

词义注释编码器模块首先接收目标歧义词对应的候选词义注释作为输入，将其送入预训练语言模型BERT中进行编码，得到候选词义注释的编码表示；

记忆增强模块接收来自预测模块的同一上下文的其他歧义词消歧后的词义注释的编码表示和来自上下文编码器的上下文的编码表示作为输入，通过注意力机制等操作，得到的目标歧义词的增强表示；

预测模块将词义注释编码器模块得到的候选词义注释的编码表示和记忆模块得到的目标歧义词的增强表示作为预测模块的输入，以此来预测目标歧义词的词义注释，进而判断歧义词的正确词义。