[发明专利]一种人物属性抽取训练数据集构建方法

摘要

本发明公开了一种人物属性抽取训练数据集构建方法。首先，下载HTML页面中的文本数据内容，提取描述人物正文内容和属性信息的信息框数据，并进行编码存储和语句切分；然后，对切分后的语句，选取既包含人物名称、人物属性值内容的语句构建人物属性抽取语料数据集；最后，提取人物属性抽取语料数据集中的所有动词，基于信息熵的方法对所有动词进行排序，提取排名靠前的动词作为属性触发词，把人物属性抽取语料数据集中不包含属性触发词的语句删除掉，剩下的语句就组成了人物属性抽取训练数据集。本发明综合利用的网页数据采集、词性分析、词语信息熵计算等技术自动构建人物属性抽取训练数据集，对提高训练数据集构建的效率具有重要意义。

主权项

1.一种人物属性抽取训练数据集构建方法，其特征在于：所述方法具体步骤如下：步骤一：网络数据采集在中文维基百科网站中，下载中文人物页面，然后解析页面的内容，保存页面中左侧和右侧信息框里的两部分文本数据，页面左侧的文本数据主要是描述人物详细信息的正文内容，右侧信息框主要描述人物的各种属性及相应的属性值内容，然后将左侧正文内容数据全部以UTF‑8格式进行编码，并以句子为单位进行切分；步骤二：人物属性语料产生针对步骤一中切分后的语句，选取包含人物名称的句子作为候选语句，然后遍历信息框中各行的属性值内容，如果候选语句包含有信息框中的任何一条属性值内容，则该候选语句被选取出来作为人物属性语料的一条语句；步骤三：人物属性语料过滤针对步骤二中得到的人物属性语料中的语句，提取数据集中所有语句中的动词，根据动词在训练数据集中的出现情况进行排序，选取排名靠前的动词作为属性触发词，然后删除掉人物属性语料中不包含属性触发词的语句，剩下的语句就组成了人物属性抽取训练数据集。