[发明专利]一种基于纠错输出编码的无需消歧的无监督词性标注方法

摘要

本发明公开了一种基于纠错输出编码的无需消歧的无监督词性标注方法，包括两个主要步骤：(1)基于词性字典生成训练数据。(2)基于纠错输出编码进行训练与测试。本发明不需标注语料，可以应用于不易获得标注语料的语言的词性标注问题；不需消歧，避免了迭代式消歧过程中的错误传播问题；采用神经语言模型自动生成训练和测试使用的特征，避免了手动选取和构建特征。

主权项

1.一种基于纠错输出编码的无需消歧的无监督词性标注方法，其特征在于，包括以下步骤：步骤1，将无标记的语料库U中的每个单词ω_i通过基于神经语言模型转化为一个特征向量，其中，i＝1…n，n为语料库U单词的个数；将每个单词ω_i的特征向量以及其相邻单词的特征向量一起形成该单词的上下文特征φ(ω_i)；从词性词典D中获取每个单词的候选标记集合将每个单词ω_i、其上下文特征φ(ω_i)以及该单词的候选词性集合构成训练数据集T中的一个训练样本步骤2，在基于纠错输出编码进行训练与测试编码阶段中，构造一个|O|×L的编码矩阵M∈{+1,‑1}^|O|×L，其中，O表示词性标记列表，|0|表示不同的词性标记的个数，L表示编码长度；编码矩阵中的第j行M(j,:)表示标记类y_j的L位的编码；编码矩阵的第l列M(:,l)指定了标记空间y的划分，即以及通过把来自的样本作为正类样本，来自的样本作为负类样本为编码矩阵的每一列构建一个二类分类器；对训练数据集T中的一个训练样本在构建一个二类分类器h_l时，仅当全部落入或中时，该训练样本才被视为一个正类的或负类的训练样本；否则，将不会参与h_l的训练过程；步骤3，将待测试数据中的每个待测单词ω*通过基于神经语言模型转化为一个特征向量，进而得到每个待测单词的上下文特征φ(ω*)；将得到的上下文特征φ(ω*)根据其编码长度和步骤2得到的分类器进行编码分类，生成相应编码h(ω*)：步骤4，将待测试数据中的待测单词ω^*从词性词典D中获取其对应的候选标记集合将待测单词ω^*的候选标记集合中的每个词性的编码与步骤3得到的编码h(ω^*)的距离最小的词性作为单词ω^*的最终预测结果。