[发明专利]一种基于泛条件随机场的中文缺失代词补全方法

权利要求书

1.一种基于泛条件随机场的中文缺失代词补全方法，其特征在于，所述方法包含以下结构和步骤：

(1)顺序拼接输入文本前5个句子及后2个句子作为输入文本上下文，对上下文词语进行映射，构建输入文本上下文词向量矩阵，利用Transformer结构编码器中的自注意力机制编码捕获各个上下文词语在对话片段中的语义信息，得到输入文本上下文语义信息矩阵；

(2)对缺失代词输入文本进行分词，将已分词的输入文本数值化为各个词语对应词向量连接而成的输入文本词向量矩阵，利用Transformer结构解码器部分的自注意力机制捕获输入文本各个词语对应输入文本语义信息矩阵；

(3)Transformer解码器交互式注意力机制从输入文本上下文词语层面语义信息矩阵中推理总结出缺失代词所指语义信息向量矩阵：对步骤(2)得到的输入文本矩阵和步骤(1)得到的输入文本上下文语义信息矩阵进行交互式注意力机制处理，推理得到上下文中描述缺失代词所指的词语并总结出缺失代词所指语义信息；

(4)通过多层感知器根据缺失代词所指语义信息向量矩阵得到缺失代词概率分布：将步骤(3)中得到的缺失代词所指语义信息输入多层感知器，预测得出输入文本中每个词语前的缺失代词概率分布；

(5)根据已制定好的规则为已经预测出的标签序列构建泛条件随机场图模型：根据已经制定好的规则为已经预测出的代词标签序列构建泛条件随机场图模型，建立句内相邻标签间转移关系及相邻句首代词间转移关系；

(6)通过最大化整个对话片段标签序列得分优化补全整个对话片段的缺失代词：最优化步骤(5)中得到的对话片段中基于转移关系的补全代词标签序列，取得分最高的标签序列为整个片段中最优标签序列，得到输入文本各词语前缺失代词类型。

2.如权利要求1所述的方法，其特征在于，所属步骤(1)具体包括：

(1.1)将输入文本之前5个句子及之后2个句子顺序拼接形成上下文文本并分词；

(1.2)初始化词语到词向量编号的映射索引及词向量矩阵；

(1.2)通过索引将上下文词语映射为相应词向量编号；

(1.3)通过各个上下文文本词语对应的词语编号取得词向量矩阵中对应的词向量；

(1.4)将取得的词向量进行连接，得到各个词语的词向量连接而成的上下文词向量矩阵；

(1.5)初始化Transformer编码器自注意力机制参数；

(1.6)将上下文文本词向量矩阵通过编码器自注意力机制进行处理，得到上下文各个词语相关的上下文语义信息矩阵。

3.如权利要求1所述的方法，其特征在于，所属步骤(2)具体包括：

(2.1)将输入文本分词获得各个独立词语；

(2.2)通过索引将词语映射为相应词向量编号；

(2.3)通过各个输入文本词语对应的词语编号取得词向量矩阵中对应的词向量；

(2.4)将取得的词向量进行连接，得到各个词语的词向量连接而成的输入文本词向量矩阵；

(2.5)初始化Transformer解码器自注意力机制参数；

(2.6)将输入文本词向量矩阵通过Transformer解码器自注意力机制进行处理，得到输入文本语义信息矩阵。

4.如权利要求1所述的方法，其特征在于，所属步骤(3)具体包括：

(3.1)利用步骤(2)得到的输入文本语义信息矩阵从步骤(1)中得到的上下文语义信息矩阵中通过交互式注意力机制计算上下文中每个词是描述缺失代词所指的相似度权重，推理出描述缺失代词所指的词语；

(3.2)将计算出的相似度权重数值归一化，通过权重与语义信息相乘总结出缺失代词所指语义信息。

5.如权利要求1所述的方法，其特征在于，所属步骤(4)具体包括：

将步骤(3)中得到的缺失代词所指语义信息输入多层感知器，通过分类器预测得出输入文本中每个词语前的缺失代词概率分布。