[发明专利]基于记忆增强机制的词义消歧方法和装置

权利要求书

1.一种基于记忆增强机制的词义消歧方法，其特征在于，该方法是通过构建并训练由上下文编码器模块、词义注释编码器模块、记忆增强模块、预测模块组成的词义消歧模型，实现对上下文编码、对目标歧义词的候选词义注释编码，通过存储同一上下文中其他歧义词消歧后的词义注释并进行交互来增强当前目标歧义词的表示，最后通过计算目标歧义词与其候选词义注释的匹配度得分，以达到对歧义词进行词义消歧的目标；具体如下：

上下文编码器模块首先接收给定的上下文作为输入，将其送入预训练语言模型BERT中进行编码，得到上下文的编码表示；

词义注释编码器模块首先接收目标歧义词对应的候选词义注释作为输入，将其送入预训练语言模型BERT中进行编码，得到候选词义注释的编码表示；

记忆增强模块接收来自预测模块的同一上下文的其他歧义词消歧后的词义注释的编码表示和来自上下文编码器的上下文的编码表示作为输入，通过注意力机制等操作，得到的目标歧义词的增强表示；

预测模块将词义注释编码器模块得到的候选词义注释的编码表示和记忆模块得到的目标歧义词的增强表示作为预测模块的输入，以此来预测目标歧义词的词义注释，进而判断歧义词的正确词义。

2.根据权利要求1所述的基于记忆增强机制的词义消歧方法，其特征在于，所述上下文编码器模块的构建过程具体如下，包括：

将给定的上下文C＝{c₁,c₂,...,c_w,...,c_n}作为上下文编码器模块的输入，其中c₁,c₂,c_n代表上下文中的单词，c_w代表目标歧义词；在上下文前后分别加入特定的开始符CLS和结束符SEP；将上下文送入BERT进行编码，得到上下文的编码表示，记为公式描述如下：

C＝{CLS,c₁,c₂,...,c_w,...,c_n,SEP} (1)

其中，公式(1)表示在上下文C前后分别加入特定的开始符CLS、结束符SEP；公式(2)表示利用BERT模型对上下文C进行编码；表示上下文的编码表示；表示上下文中的第i个单词对应的编码表示；为目标歧义词的编码表示。

3.根据权利要求2所述的基于记忆增强机制的词义消歧方法，其特征在于，所述词义注释编码器模块的构建过程具体如下：

目标歧义词c_w对应的候选词义注释为其中代表目标歧义词c_w对应的第i个候选词义注释，每个候选词义注释都是一个完整的句子；在每个候选词义注释的前后分别加入特定的开始符CLS和结束符SEP，此操作与上下文编码器模块对上下文C的处理方式一致，在此不再做公式说明；在添加特定符号后，将每个候选词义注释送入BERT进行编码，选择特定的开始符号CLS位置的编码表示作为候选词义注释的编码表示，记为公式描述如下：

其中，公式(4)表示使用BERT模型对目标歧义词c_w对应的第i个候选词义注释进行编码；CLS表示对添加特定的开始符CLS和结束符SEP后的每个候选词义注释编码后取CLS位置的编码表示作为每个候选词义注释的编码表示；表示候选词义注释的编码表示。