[发明专利]基于CRF++汉语句义结构模型自动标注方法无效
申请号: | 201310074933.0 | 申请日: | 2013-03-08 |
公开(公告)号: | CN103176963A | 公开(公告)日: | 2013-06-26 |
发明(设计)人: | 罗森林;韩磊;潘丽敏;魏超 | 申请(专利权)人: | 北京理工大学 |
主分类号: | G06F17/27 | 分类号: | G06F17/27;G06F17/30 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 100081 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及一种基于CRF++的汉语句义结构模型自动标注方法,属于计算机科学与自然语言处理语义分析技术领域。本发明首先使用BFS-CTC汉语标注语料库语料,训练得到谓词识别模型、词关系识别模型和语义格类型识别模型;进而使用上述三种识别模型,对原始句子进行识别,得到句子中谓词信息、词关系信息和语义格类型信息;最终根据谓词、词关系和语义格类型的搭配规则得到汉语句义结构模型。本发明为语义分析领域,提供了更多的更全面的语义特征,为使用计算机对句子进行句义结构模型分析奠定了基础。同时为BFS-CTC汉语标注语料库的自动标注,提供了一定的可能,语料数据无论是研究还是实际应用,都是极其重要的,将对BFS-CTC汉语标注语料库的扩充,起到极大的推动作用。 | ||
搜索关键词: | 基于 crf 汉语 结构 模型 自动 标注 方法 | ||
【主权项】:
基于CRF++的汉语句义结构模型自动标注方法,所述方法包括以下步骤:步骤1,使用CRF++进行训练,得到相应模型,用于实现谓词识别,词关系识别以及语义格类型识别。步骤1.1,进行谓词识别的模型训练,具体方法为:针对CRF++训练数据的格式,首先将汉语标注语料转化为CRF++训练数据格式,前几列为分词信息(词性,词语等),最后一列为谓词标签。其次,设置参数f和c使用CRF++对上述数据进行训练,得到谓词识别模型。CRF++的训练数据格式具体说明:每个词为一行,每一列是该词的相关信息,具体列数可根据需要选择,最后一行为标签列,用于训练时的标签标识和识别后的结果标识,每个句子之间用空行隔开。f和c的选取具体说明:使用参数选取方法,对数据进行多次训练,选取识别效果最优的一组f和c,使用该参数对数据进行训练,得到识别模型。步骤1.2,进行词关系识别的模型训练,具体方法为:针对CRF++训练数据的格式,首先将汉语标注语料转化为CRF++训练数据格式,前几列为分词信息(词性,词语等)、谓词信息等,最后一列为词关系标签。其次,使用步骤1.1中同样方法选择参数f和c,使用CRF++对上述数据进行训练,得到词关系识别模型。步骤1.3,进行语义格类型识别的模型训练,具体方法为:针对CRF++训练数据的格式,首先将汉语标注语料转化为CRF++训练数据格式,前几列为分词信息(词性,词语等)、谓词信息等,最后一列为语义格类型标签。其次,使用步骤1.1中同样方法选择参数f和c,使用CRF++对上述数据进行训练,得到语义格类型识别模型。步骤2,在步骤1得到相应识别模型的基础上,从原始句子到句义结构模型需要经过五个步骤。步骤2.1,对未经任何处理的汉语句子进行分词,得到分词后结果,并将结果转化为CRF++识别数据格式。CRF++的识别数据格式具体说明:每个词为一行,每一列是输入数据信息,具体列数可根据需要选择,每个句子之间用空行隔开。步骤2.2,以步骤1.1中的谓词识别模型和步骤2.1数据格式的分词结果 为输入,使用CRF++进行识别,得到谓词识别结果,即得到句子中的谓词。步骤2.3,以步骤2.1、步骤2.2的识别结果和步骤1.2中的词关系识别模型为输入,使用CRF++进行识别,得到词关系识别结果。步骤2.3中的词关系定义为:一个句子中只有一个谓词为主谓词,该谓词不存在关系词;除去不表达语义的词和主谓词,其他所有词之间都有关系;每个词B都有唯一一个词A与其有关系,即关系为B指向A,可同时有一个或多个词指向A。步骤2.4,以步骤2.2、步骤2.3的识别结果和步骤1.3的语义格类型识别模型为输入,使用CRF++进行识别,得到语义格类型识别结果。步骤3,根据步骤2的识别结果,按照规则得到该句的句义结构模型。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京理工大学,未经北京理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201310074933.0/,转载请声明来源钻瓜专利网。