[发明专利]一种开放数据集的数据关联方法及系统

权利要求书

1.一种开放数据集的数据关联方法，其特征在于，包括下述步骤：

对开放数据集进行数据预处理，将不同文件格式的数据集转化为json文件格式；

对预处理完成后的开放数据集进行分析，获取开放数据集的特征数据，所述的开放数据集的特征数据具体为数据集元数据描述和数据元数据描述；

使用机器学习技术解析数据集元数据描述，得到开放数据集的主题；

根据数据元数据描述和数据集的主题进行关联分析，得到关联置信度，具体为：

采用正则表达式过滤数据集的非文本数据项，得到数据集的文本数据项；

分析数据元数据描述和数据集的文本数据项，将数据项分为实体数据项和属性数据项并得到实体数据项集和属性数据项集；

分析数据集元数据描述，确定实体数据项中的主实体数据项和从实体数据项；

根据数据集的主题T和主实体类别在主题关系库中查询得到候选关系集；

计算主实体数据项、候选关系集和从实体数据项集的关联置信度；

根据关联置信度，构建实体数据项之间的关联描述；

将获得的实体数据项之间的关联描述存入数据库。

2.根据权利要求1所述一种开放数据集的数据关联方法，其特征在于，所述使用机器学习技术解析数据集元数据描述，得到数据集的主题，具体包括以下步骤：

使用分词器对数据集元数据描述进行分词得到分词结果；

根据分词结果计算该数据集元数据描述的tf-idf特征向量；

对该数据集元数据描述的tf-idf特征向量进行奇异值分解，得到该数据集的主题T。

3.根据权利要求1所述一种开放数据集的数据关联方法，其特征在于，

所述实体数据项所描述的是客观存在且可相互区别的事物；

所述属性数据项所描述的是实体的属性；

所述主实体数据项为该数据集描述的实体；

所述从实体数据项为该数据集所描述实体的属性所包含的实体。

4.根据权利要求1所述一种开放数据集的数据关联方法，其特征在于，所述分析数据元数据描述和数据集中的文本数据项，将数据项分为实体数据项和属性数据项并得到实体数据项集和属性数据项集，具体包括以下步骤：

使用分词器对每个数据中的每一项数据进行分词得到该数据项的词集合；

根据词集合向词向量库查询得到对应的词向量集合；

将词向量集合输入到已训练好的二分类器，得到分类分数，若分类分数高于阈值α，则该数据项为实体数据项，反之，则为属性数据项；其中α为常值，具体视情况设置；

根据分类结果，将数据项分为实体数据项集和属性数据项集。

5.根据权利要求1所述一种开放数据集的数据关联方法，其特征在于，所述确定实体数据项中的主实体数据项和从实体数据项具体包括以下步骤：

使用分词器对数据集名称进行分词得到该数据集名称的词集合；

根据词集合向词向量库查询得到对应的词向量集合；

使用实体识别算法分析数据集元名称的词向量集合得到该数据集主实体的类别；

根据数据集主实体类别得到与主实体类别相同的候选实体数据项集；

对数据集名称词向量集合进行求和得到数据集名称向量；

对候选实体数据项集的每个实体数据项的词向量集合进行求和得到对应的实体数据项向量表示；

计算数据集名称向量与候选实体数据集中每个实体数据项向量的余弦相似度，根据余弦相似度进行排序，排名最高的实体数据项，则认为该实体数据项为主实体数据项。