[发明专利]基于多源异构数据集的数据查询方法及装置

说明书

技术领域

本发明涉及数据查询技术领域，具体涉及一种基于多源异构数据集的数据查询方法及装置。

背景技术

目前，在信息化及大数据应用越来越深入的情况下，产生了越来越多的数据集。在海量超多数据集的场景下，中文名、英文名、同义词的中文关键词、近义词的中文关键词常常混杂在一起，使得用户很难精确的指定目标数据集，进行业务处理，致使业务查询效率降低，无法满足用户快速查询信息的业务需求。

在多源异构海量数据集的场景下，提高数据集查询能力，成为未来发展的趋势。

发明内容

针对现有技术中的缺陷，本发明提供基于多源异构数据集的数据查询方法及装置，能够在多源异构海量数据集的场景下，快速、准确地进行数据集查询，提高数据集查询效率。

第一方面，本发明提供一种基于多源异构数据集的数据查询方法，该方法包括：

关键词获取步骤：获取指定的关键词；

关键词翻译步骤：根据关键词和预获取语料库的语种间关联关系，获取关键词翻译为不同语种时的名词；

关联词汇获取步骤：根据每个名词和该名词在语料库中所属语种的语种内关联关系，获取该名词的同义词、近义词、音似词和形似词四种关联词汇中的至少一种；

数据集名称匹配步骤：将每个数据集名称分别与关键词和关联词汇进行比较，获取与关键词或关联词汇匹配的目标数据集，形成目标数据集数组，数据集名称为预获取数据集的名称；

查询结果形成步骤：对目标数据集数组进行去重处理和排序，形成关键词的查询结果。

进一步地，根据每个名词和该名词在语料库中所属语种的语种内关联关系，获取该名词的同义词、近义词、音似词和形似词四种关联词汇中的至少一种，具体包括：

根据每个名词和该名词在语料库中所属语种的同义关联关系，获取该名词的同义词；

根据每个名词和该名词在语料库中所属语种的近义关联关系，获取该名词的近义词；

根据每个名词和该名词在语料库中所属语种的发音相似度阈值，获取该名词的音似词；

根据每个名词和该名词在语料库中所属语种的结构相似度阈值，获取该名词的形似词，语种内关联关系包括同义关联关系、近义关联关系、发音相似度阈值和结构相似度阈值。

基于上述任意基于多源异构数据集的数据查询方法实施例，进一步地，在查询结果形成步骤之后，该方法还包括查询结果再处理步骤：

获取第一查询结果和第二查询结果，第一查询结果为第一关键词的查询结果，第二查询结果为第二关键词的查询结果；

根据指定的运算关系，对第一查询结果和第二查询结果进行运算处理，形成再处理查询结果。

进一步地，根据指定的运算关系，对第一查询结果和第二查询结果进行运算处理，形成再处理查询结果，具体包括：

根据指定的交集运算关系，遍历第一查询结果和第二查询结果中的每项目标数据集，筛选出同时存在于第一查询结果和第二查询结果中的目标数据集，并将筛选出的目标数据集更新至交集查询结果；

根据指定的并集运算关系，将第一查询结果与第二查询结果合并，并进行去重处理和排序，形成并集查询结果；

根据指定的差集运算关系，遍历第一查询结果和第二查询结果中的每项目标数据集，筛选出存在于第一查询结果且不存在第二查询结果中的目标数据集，并将筛选出的目标数据集更新至差集查询结果；运算关系包括交集运算关系、并集运算关系和差集运算关系，再处理查询结果包括交集查询结果、并集查询结果和差集查询结果。

基于上述任意基于多源异构数据集的数据查询方法实施例，进一步地，在关联词汇获取步骤之后，数据集名称匹配步骤之前，该方法还包括关联词汇筛选步骤：

根据预设置的关联词汇筛选原则，检验关联词汇，获取符合关联词汇筛选原则的目标关联词汇；

将每个数据集名称分别与关键词和关联词汇进行比较，获取与关键词或关联词汇匹配的目标数据集，具体包括：

将每个数据集名称分别与关键词和目标关联词汇进行比较，获取与关键词或目标关联词汇匹配的目标数据集。

进一步地，根据预设置的关联词汇筛选原则，检验关联词汇，获取符合关联词汇筛选原则的目标关联词汇，具体包括：

根据预设置的语种筛选原则，检验关联词汇，保留关键词在目标语种中的目标关联词汇；

根据预设置的关联词汇种类筛选原则，检验关联词汇，保留该关键词指定种类的目标关联词汇。