[发明专利]一种数据集成方法、装置和系统

权利要求书

1.一种数据集成方法，其特征在于，包括：

根据不同节点中原始数据的主题类型，确定与所述原始数据对应的元数据标签；

根据所述元数据标签，获取所述原始数据中对应所述元数据标签的数据信息；

根据预设元数据格式，将所述元数据标签与对应的数据信息结合，生成对应不同节点的元数据；

根据获取到的查询关键词，确定与所述查询关键词关联的词语，得到待查询词语；在不同节点存储的所述元数据中，查询包括所述待查询词语的目标元数据，包括：在各个节点的元数据索引中，查询是否存在所述待查询词语；若当前节点存在所述待查询词语，基于中文全文检索引擎和文本深度表示模型，查询出目标元数据，其中，根据相关性得分公式，得到当前元数据与所述待查询词语的相关度Score(Q,d,E)，若所述相关度满足一预设条件，则确定所述当前元数据为目标元数据，Q表示目标关键词的集合，d表示被检索的元数据，E表示通过文本深度表示模型对Q中查询词进行语义扩展后得到的各个扩展词的集合；

获取对应所述目标元数据的原始数据。

2.根据权利要求1所述的数据集成方法，其特征在于，根据预设元数据格式，将所述元数据标签与对应的数据信息结合，生成对应不同节点的元数据的步骤包括：

根据预设元数据格式，将所述元数据标签按照标签等级进行布局；将获取到的数据信息添加到对应的元数据标签中，生成对应不同节点的元数据，并将所述元数据保存在对应的节点中。

3.根据权利要求1所述的数据集成方法，其特征在于，所述元数据标签包括固定标签；

所述固定标签表示元数据的属性，包括原始数据的发布用户、发布时间、主题、描述信息、数据库存储位置，以及元数据编号。

4.根据权利要求3所述的数据集成方法，其特征在于，所述元数据标签还包括特性标签，所述特性标签表示原始数据的主题特性。

5.根据权利要求1所述的数据集成方法，其特征在于，根据获取到的查询关键词，确定与所述查询关键词关联的词语，得到待查询词语的步骤包括：

对查询关键词进行分词，得到目标关键词；

基于文本深度表示模型，确定出与所述目标关键词关联的词语；

将所述目标关键词和与所述目标关键词关联的词语整合，得到待查询词语。

6.根据权利要求1所述的数据集成方法，其特征在于，在各个节点的元数据索引中，查询是否存在所述待查询词语的步骤包括：

根据所述待查询词语，获取当前节点过滤器的位数组内的记录信息；其中所述过滤器包括存储在自身的位数组和存储在数据库中的计数表，所述计数表是二维数据表，记录自身所属节点的所有元数据索引经哈希函数处理后，映射到所述位数组中对应位的累加数值；

根据所述记录信息，确定当前节点是否存在所述待查询词语。

7.根据权利要求6所述的数据集成方法，其特征在于，所述位数组是包括m位的二进制向量，若所述计数表中对应位的累加数值大于0，则所述位数组的对应位记为1；若所述计数表中对应位的累加数值等于0，则所述位数组的对应位记为0；

根据所述记录信息，确定当前节点是否存在所述待查询词语的步骤包括：

若所述记录信息表示对应所述待查询词语的位中存在至少一个0，则确定当前节点不存在所述待查询词语；若所述过滤器中对应所述待查询词语的位中不存在0，则确定当前节点存在所述待查询词语。

8.根据权利要求1所述的数据集成方法，其特征在于，所述相关性得分公式为：其中Q表示目标关键词的集合，q_i表示Q的一个分词，d表示被检索的元数据，E表示通过文本深度表示模型对Q中查询词进行语义扩展后得到的扩展词的集合，m_i表示的语义扩展词数量，表示q_i与之间的语义相似度，表示的权重，为在d中的出现频率，k和b为调节因子，dl为d的长度，avgdl为所有元数据的平均长度；N为索引中的全部记录个数，为包含了的记录个数，n为目标关键词的集合Q包含的词语个数。