[发明专利]一种面向中文领域大规模复杂关系数据集构建框架

权利要求书

1.一种面向中文领域大规模复杂关系数据集构建框架，其特征在于，包括：

数据收集模块，从原始语料库中筛选表达知识三元组的文本，构建基于远程监督的数据集合；

复杂样本特征工程和种子样本选择模块，从所述基于远程监督的数据集合中选出符合八类特征的复杂样本，组成高优种子样本集合；

复杂样本发现模块，基于所述高优种子样本集合，预测输入数据属于复杂样本的置信度分数，按照分数从高到低排序，并选择头部的样本构建数据集；

众包标注模块，对所述数据集进行数据标注，得到所述数据集的所有样本的高质量三元组标签。

2.根据权利要求1所述的面向中文领域大规模复杂关系数据集构建框架，其特征在于：

其中，所述数据收集模块从所述原始语料库中获取大量的文本和知识三元组，利用自动机匹配算法，筛选出同时满足以下条件的文本：

(1)同时包含两个及以上的实体(实体来自于所有的知识三元组)；

(2)在提及的多个实体中，至少有两个实体存在于同一三元组中，

基于远程监督假设和匹配过滤，获取所述文本和所述知识三元组，具体步骤如下：

步骤1-1，从原始语料库中获得知识三元组信息和文本；

步骤1-2，使用自然语言处理工具包，对获得的所述文本进行实体识别，得到文本提及的实体；

步骤1-3，确认所述文本提及的实体在所述知识三元组信息中是否存在关系，并将存在关系的所述文本和所述知识三元组信息筛选出来，构建所述基于远程监督的数据集合。

3.根据权利要求1所述的面向中文领域大规模复杂关系数据集构建框架，其特征在于：

其中，所述复杂样本特征工程和种子样本选择模块包括复杂样本特征工程部和复杂种子样本选择部，

所述复杂样本特征工程部主要针对复杂样本中的八类特征进行启发式特征工程，得到对应维度上的特征值，以区分常规样本和复杂样本，

所述复杂种子样本选择部基于所述特征值进行复杂种子样本选择，

所述特征值包括文本长度特征值、实体间距特征值、干扰词特征值、语义相似关系特征值、隐式表达特征值、同类实体数量特征值、三元组数量特征值以及三元组重叠特征值。

4.根据权利要求3所述的面向中文领域大规模复杂关系数据集构建框架，其特征在于：

其中，所述文本长度特征值的确定方式为：以字为单位度量文本长度，以文本中字的数量作为所述文本长度特征值，

所述实体间距特征值的确定方式为：在文本中找到实体所有的出现位置后，以最近邻的两处位置之间的文本长度作为所述实体间距特征值，中文按照字计算，英文按照单词计算。

5.根据权利要求3所述的面向中文领域大规模复杂关系数据集构建框架，其特征在于：

其中，利用预定义的关系辅助信息表进行所述干扰词特征值、所述隐式表达特征值以及所述语义相似关系特征值的构建，所述预定义的关系辅助信息包括关系、语义相似关系、显式表达以及干扰词，

所述干扰词特征值的确定过程为：遍历三元组中的关系，从辅助信息表中获得对应关系的所有干扰词，如果文本中存在任一干扰词，则样本存在干扰词特征值置为true，否则置为flase，

所述隐式表达特征值的确定过程为：针对文本中提及的所有关系，依次判断是否存在显式表达语法模式，则隐式表达特征值置为flase，否则置为true，

所述语义相似关系特征值的确定过程为：如果远程监督三元组包含的所有关系中，存在预定义的语义相似关系，则语义相似关系特征值置为true，否则置为flase，

所述隐式表达特征值和所述语义相似关系特征值都是布尔类型，指示样本是否符合对应类型的复杂特征。