[发明专利]一种支持异构数据库的数据检索方法

说明书

本发明提供一种支持异构数据库的数据检索方法，包括下列步骤：(1)检索系统包含检索语句解析模块和检索条件转换模块，用户输入需要检索的简单语句或者复杂语句，检索语句解析模块对检索语句进行解析，并且把解析的结果转换成统一查询结构；(2)检索条件转换模块对查询结构进行解析，然后根据数据库的具体类型，从查询转换器中选择合适的适配器转换为数据库支持的查询表达式语句。所述支持异构数据库的数据检索方法能够根据具体的数据库类型，选用合适的适配器重新生成该数据库支持的查询语句。

技术领域

本发明涉及大数据处理领域，尤其涉及一种支持异构数据库的数据检索方法，支持多种异构数据库中检索数据，支持结构化和非结构化检索条件的混合使用。

背景技术

随着互联网技术的快速发展，数据中心数据的规模和种类也在飞速增长。大数据在接受度、技术、应用等各个方面趋于成熟，开始步入产业的快速发展阶段，大数据巨大的应用价值带动了大数据行业的迅速发展。大数据中包括大量结构化和非结构化数据，尤其是以文本等为代表的非结构化数据。

对于结构化数据的查询一般采用SQL或类SQL语法，SQL语句比较灵活且功能强大，但对于查询一些文本类型的数据还是有很大的局限。对于文本信息的检索，一般采用关键词检索、短语检索和通配符(＊)检索，支持通过与、或、非逻辑运算符连接多个条件，但无法用于比较复杂的查询语句或带有嵌套查询的情况。

发明内容

本发明提供了一种支持异构数据库的数据检索方法，用于实现复杂的结构化和非结构化数据的组合检索、统计功能，并且可以通过扩展适配器的方式，支持多种异构的关系型数据库和全文数据库。其技术方案如下所述：

一种支持异构数据库的数据检索方法，包括下列步骤：

(1)检索系统包含检索语句解析模块和检索条件转换模块，用户输入需要检索的简单语句或者复杂语句，检索语句解析模块对检索语句进行解析，并且把解析的结果转换成统一查询结构；

(2)检索条件转换模块对查询结构进行解析，然后根据数据库的具体类型，从查询转换器中选择合适的适配器转换为数据库支持的查询表达式语句。

所述简单语句就是一个只包含检索条件的语句；复合语句是通过管道符号或者连接符号连接起来的多个语句，复合语句的第一个语句为检索条件。

对于简单语句，本发明支持关键词、短语和通配符的检索，支持字段值匹配的检索，支持布尔表达式的检索，支持正则表达式的检索。

所述复合语句的命令包括以下类型：生成命令、数据源命令、字段值运算、字段值过滤、字段选择、分组命令、统计命令、排序命令、连接命令和子检索，这些命令在一定约束条件下能够组合使用。

检索语句解析模块包含表达式解析模块和查询解析模块两个子模块，表达式解析模块首先通过词法分析器对检索语句进行词法分析，然后通过检索解析器对检索命令进行解析，提取出所有的命令及相应的参数信息，最后生出SDL的检索表达式；查询解析模块把SDL检索表达式转换一个通用的查询结构。

表达式解析模块中，表达式解析器接收到待解析的检索语句，通过词法解析器对检索语句进行词法分析，然后提取每个检索子句传递给检索解析器进行命令解析及命令参数的提取，最后把命令解析结果进行汇总分析，生成 SDL检索表达式。

词法解析器对检索语句进行词法分析，把检索语句从一个字符序列转换为单词序列，词法解析器设置的词法分析器用于扫描、识别单词，并且对识别出的单词进行分类标记，单词分类包括：标识符、字符串、数字、变量、字符、操作符；

命令解析器对检索语句进行语法分析，从词法分析器输出的单词序列中取出单词进行分析，首先判断取得的单词是否是搜索命令，如果是搜索命令，则对命令进行解析并且对命令的参数进行表达式解析，生成检索表达式；