[发明专利]基于Mask机制与孪生网络的汉语零指代消解方法及系统

权利要求书

1.一种基于Mask机制与孪生网络的汉语零指代消解方法，其特征在于，包括如下步骤：

步骤S1：在零代词所在的位置加“[MASK]”标记，得到补全后的零代词所在的句子，其中若先行词和[MASK]在同一句中，则不进行拼接处理，若所述先行词和[MASK]不在同一句中，将先行词所在的句子和补全后零代词所在的句子进行拼接处理；

步骤S2：将上述预处理后的句子输入至预训练的BERT模型提取出第一先行词和第一零代词；

步骤S3：将注意力机制融入至所述BERT模型中，对于第一先行词，通过第一线性函数处理得到第二先行词；对于第一零代词经过第二线性函数处理，结合预选的手工特征经过第三线性函数处理后得到第二零代词；

步骤S4：计算所述第二先行词和第二零代词的相似度，输出相似度最高的先行词。

2.根据权利要求1所述的基于Mask机制与孪生网络的汉语零指代消解方法，其特征在于：所述第一先行词采用手工制定的规则进行抽取。

3.根据权利要求1所述的基于Mask机制与孪生网络的汉语零指代消解方法，其特征在于：所述注意力机制采用门控函数。

4.根据权利要求3所述的基于Mask机制与孪生网络的汉语零指代消解方法，其特征在于：所述门控函数的计算方式为：其中，W^(att)和b^(att)是模型学习的参数，m是候选先行词的单词数量，所述e_np是第一先行词，所述e_npi是所述第一先行词中的第i个字，所述e_zp是第一零代词。

5.根据权利要求1所述的基于Mask机制与孪生网络的汉语零指代消解方法，其特征在于：所述手工特征在预选时，根据经验设置。

6.根据权利要求1或5所述的基于Mask机制与孪生网络的汉语零指代消解方法，其特征在于：所述第二零代词是根据所述第一零代词经过第二线性函数处理，结合预选的手工特征经过第三线性函数相加后得到。

7.根据权利要求1所述的基于Mask机制与孪生网络的汉语零指代消解方法，其特征在于：计算所述第二先行词和第二零代词的相似度的方法为：采用孪生网络结构计算相似度。

8.根据权利要求7所述的基于Mask机制与孪生网络的汉语零指代消解方法，其特征在于：所述相似度的计算采用余弦计算所述第二先行词和第二零代词的相似度，当余弦相似度的计算数值范围在[-1,1]之间时，若数值越趋近于1，代表所述第二先行词与第二零代词的方向越接近；若数值越趋近于-1时，代表所述第二先行词与第二零代词的方向越相反。

9.根据权利要求8所述的基于Mask机制与孪生网络的汉语零指代消解方法，其特征在于：当余弦相似度的计算数值输出后，利用损失函数反向传播至所述孪生网络中，处理所述孪生网络的配对数据的关系。

10.一种基于Mask机制与孪生网络的汉语零指代消解系统，其特征在于：

Mask标记模块，用于在零代词所在的位置加“[MASK]”标记，得到补全后的零代词所在的句子，其中若先行词和[MASK]在同一句中，则不进行拼接处理，若所述先行词和[MASK]不在同一句中，将先行词所在的句子和补全后零代词所在的句子进行拼接处理；

输入模块，用于将上述预处理后的句子输入至预训练的BERT模型提取出第一先行词和第一零代词；

处理模块，用于将注意力机制融入至所述BERT模型中，对于第一先行词，通过第一线性函数处理得到第二先行词；对于第一零代词经过第二线性函数处理，结合预选的手工特征经过第三线性函数处理后得到第二零代词；

计算模块，用于计算所述第二先行词和第二零代词的相似度，输出相似度最高的先行词。