[发明专利]一种基于半监督学习的汉语并列结构自动识别方法

说明书

本发明涉及一种基于半监督学习的汉语并列结构自动识别方法，语料识别技术领域。首先，根据并列结构的外部特征和内部成分的语义相似性，在CRF模型中融入词语长度、是否连接词、同义词编码三个语言学特征，考察不同语言学特征及其组合对并列结构的识别效果的影响；其次，利用大量未标注语料训练词向量，再将训练出的连续的词向量转化为离散高维的适合线性CRF的表达，此种表达即作为无监督特征融入到CRF模型中，考察不同无监督特征及其组合的识别效果。最后，将语言学特征与无监督特征作不同的组合实验，考察两种类型特征的共同作用是否会对识别效果产生更大的影响。本发明提取的无监督特征能有效应用于并列结构的识别中，提高了模型识别的F值。

技术领域

本发明涉及一种基于半监督学习的汉语并列结构自动识别方法，语料识别技术领域。

背景技术

并列结构的识别问题可转化为序列标注问题，因而目前主流的识别方法是基于统计的有监督学习方法，利用机器学习模型与语言学特征的有机结合来选取最佳标注序列，完全依赖于标注语料进行研究。另外，还有基于规则和规则与统计相融合的方法。基于规则即由人为制定符合并列结构形式的规则，根据一系列规则“套出”句子中的并列短语。以往研究表明基于统计较基于规则的方法效果相对较优，原因主要是规则的建立具有较强的主观性，“机动性”较差，且规则之间易产生互斥，并列短语除单层短语外还存在着复杂多变的嵌套结构，这使规则无法完全覆盖。

基于统计的方法取得的效果相对较好，但其对标注语料的依赖难以适应小语料研究，从语料中获取的有监督特征涵盖面狭隘，无法有效利用未标注语料信息补足特征单一的缺陷，而人工扩大标注语料库则需要付出大量的人力、时间成本。因此并列结构研究语料不足也成为其自动识别的一道障碍。

鉴于扩大标注语料耗费时间长，而存在的未标注语料丰丰富，可以充分利用未标注语料内容来影响基于有监督学习的并列结构的识别效果。随着自然语言中词向量的引入，有学者对如何将词向量更好的应用于半监督模型这一问题做了探索，并在命名体识别中得到了有效验证。本发明由此根据词向量的应用，在CRF模型中融合无监督学习特征，提出基于半监督的并列结构自动识别方法。

发明内容

本发明要解决的技术问题是提供一种基于半监督学习的汉语并列结构自动识别方法，用以解决目前并列结构标注语料规模较小、现有技术没有充分利用未标注语料中语义信息的问题。

本发明的技术方案是：一种基于半监督学习的汉语并列结构自动识别方法，其特征在于：

Step1：将有标注语料按比例划分成测试集与训练集两部分。

Step2：基于有标注语料提取并列结构的语言学特征，语言学特征包括词语长度、是否连接词、同义词编码。

所述Step2的具体步骤为：

Step2.1：计算词语长度，将词长作为一个语言学特征。

词语长度：词语长度在汉语中似乎是个比较“普通”的特征，但仅从并列结构的外部形态上看，词长仍然是一个显性特征存在，或多或少会对并列结构产生影响，因而依然将此列为一个语言学特征，作为对比实验进行考察。

Step2.2：判断当前词语是否是并列连接词，将此作为一个语言学特征，当前词语是连接词则标注为Y，不是则标注为N。

是否连接词：并列连接词是并列结构的一个显象标志，是各个并列成分的“纽带”。从语义上看，连接词将两个相近的成分结合在一起，使句子意思更进一步。从外部形态上看，连接词标示了并列结构的位置，是并列结构存在的“地标”。

Step2.3：根据同义词编码表提取每个词对应的编码作为特征，折射出词语之间的相似性关系。