[发明专利]基于约束条件随机场的越南语名词组块识别方法在审
申请号: | 201710883347.9 | 申请日: | 2017-09-26 |
公开(公告)号: | CN107797994A | 公开(公告)日: | 2018-03-13 |
发明(设计)人: | 郭剑毅;李佳;余正涛;毛存礼;线岩团;陈玮 | 申请(专利权)人: | 昆明理工大学 |
主分类号: | G06F17/28 | 分类号: | G06F17/28;G06F17/27;G06F17/30 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 650093 云*** | 国省代码: | 云南;53 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 约束条件 随机 越南语 词组 识别 方法 | ||
技术领域
本发明涉及基于约束条件随机场的越南语名词组块识别方法,属于自然语言处理技术领域。
背景技术
名词组块识别是自然语言处理(Natural language processing,简称“NLP”)过程中一项基础且重要的任务,其可以降低句法分析的复杂性,对提高机器翻译的性能和效率有着极其重要的作用。名词短语识别是为了从非结构化的文本中自动抽取特定的结构化信息,其作用至关重要;组块识别最初是由Stenven Abney提出的,其首次发现了组块比单词更能体现文本内所含信息。直到1995年Lance Ramshaw和Mitch Marcus提出了使用机器学习的方法解决分块的方法,取得了很好的效果。随后有大批学者进行了深入地研究后发现,如果掌握了文本中的名词短语,就可以在很大程度上把握文本的主要意思,从而可以由简到繁,循序渐进地进行句法分析,大大降低句法分析的难度。名词短语识别对于句子的各种分析都得到了简化;名词短语识别与分析对于自然语言处理领域中的许多应用研究都具有重要的实践意义,例如关键词识别、命名实体识别、自动文摘、语义分析、机器翻译、问答系统等等。因此,对于自然语言处理中的名词短语识别工作显得更加迫在眉睫。
发明内容
本发明提供了基于约束条件随机场的越南语名词组块识别方法,以用于解决越南语名词组块的识别的问题,降低了句法分析的复杂性,提高后续任务的性能和效率。
本发明的技术方案是:基于约束条件随机场的越南语名词组块识别方法,所述基于方法的具体步骤如下:
Step1、构建名词组块语料库:首先从越南语网站爬取文本语料,经过分词、词性标注、人工标记名词短语,然后再经过人工校对、标记、去重形成越南语名词组块语料库;越南语名词组块语料库中部分语料用于构建约束条件、作为训练语料及测试语料;
Step2、构建约束条件:从越南语名词组块语料库中,根据越南语语法特点挑选名词组块的词性特点,结合特点构造约束条件;
Step3、构建基于约束条件随机场的越南语名词组块识别模型:首先用条件随机场通过训练语料进行训练,得到标记序列模型,在观察序列进行解码时加入约束条件,得到越南语名词组块识别模型参数序列,从而建立基于约束条件随机场的越南语名词组块识别模型;
Step4、把待识别的越南语名词组块测试语料,放入基于约束条件随机场的越南语名词组块识别模型中,根据名词组块识别模型参数序列来对越南语名词组块进行识别,得到最终识别结果。
所述步骤Step1中,获得越南语名词组块的具体步骤为:
Step1.1、使用分词工具对越南语分词句子级语料进行分词,得到分词语料;
Step1.2、使用词性标注工具对Step1.1中获得的分词语料进行标注,得到含有词性标注语料;
Step1.3、使用组块标记工具对Step1.2中获得的词性标注语料进行组块标记,结合从VLSP 网站搜集的一部分组块语料,通过越南专家,人工从语料中挑选出名词组块,构建出越南语名词组块语料库。
所述步骤Step1.1中,获取越南语分词句子级语料的具体步骤为:
Step1.1.1、构建爬虫程序,爬取出网页信息;
Step1.1.2、对网页信息数据进行预处理,包括:去重处理,去除垃圾广告,构建出越南语文本语料库;
Step1.1.3、根据越南语分词工具进行越南语文本语料库的语料分词,并进行人工校对,形成越南语分词句子级语料。
所述步骤Step2中,从越南语名词组块语料库中,根据越南语语法特点挑选名词组块的词性特点,结合特点构造约束条件,具体步骤为;
Step2.1、通过收集、筛选Step1中获得的越南语名词组块语料,导入到数据库中保存;
Step2.2、在数据库中保存到语料,通过去重、去杂操作,得到单一的越南语名词组块,即在查找数据表中每个组块只出现一次,在出现的名词组块列表中,经过人工统计分析,得到最常出现的9种名词组块组合形式;
本发明考虑到得到的越南语名词组块语料中存在一些重复、无效标签等噪音,这些噪音是无效的。因此,要通过去重、去杂等操作去除,得到只含有越南语的高质量的文本级名词组块语料,存放在数据库是为了能方便数据的管理和下一步工作使用。制定约束条件过程,是越南语名词组块识别工作的基础,是不可缺少的一步。从网上搜集到越南语组块之后,需要人工校对,之后存放到数据库为了能方便数据的管理和统计分析,总结出名词组块组合形式。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于昆明理工大学,未经昆明理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710883347.9/2.html,转载请声明来源钻瓜专利网。