[发明专利]一种数据查询方法及装置、系统

说明书

技术领域

本发明涉及信息检索领域，尤其涉及一种数据查询方法及装置、系统。

背景技术

WEB搜索引擎是常见的海量数据的检索引擎，通过对用户关心的信息如标题、网页URL、文本等进行全文索引，生成索引信息；查询时，搜索索引信息，快速定位网页，便可将网页显示给用户。由于WEB搜索中被检索的信息预先被索引，查询时只需对索引查询，无需重新扫描全部内容，所以查询效率非常高。

由于WEB搜索中的处理对象是文字，较关注特定语言的分词、索引和存储。例如，在查询为A.B.C.D的IP时，WEB搜索过程中会将该IP按照A、B、C、D这4个数据进行分词和索引，而非IP本身，因而WEB搜索无法对特定格式的内容如IP本身进行查询，不仅造成无意义的索引，且降低了查询效率，查询返回的结果匹配度也不高。

数据库是结构化数据的存储工具，数据库也可以对数据进行索引以提高查询效率，且查询针对各字段，准确率高。但是，数据库完成海量数据的插入、修改和删除等过程需要极高的性能指标，因而通过性能一般的数据库难以实现海量数据的快速查询，且数据库对模糊查询无法使用索引，造成查询效率严重低下，无法满足实际需求。

发明内容

有鉴于此，本发明的主要目的在于提供一种数据查询方法及装置、系统，以解决现有WEB搜索中的分词问题、命中率不高，以及数据库查询中对模糊查询无法使用索引、查询效率严重低下等问题。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种数据查询方法，所述方法包括：将各数据以文件的形式存储；生成所述文件的索引表；根据所述索引表，完成对要查询数据的查询。

在上述方案中，所述的将各数据以文件的形式存储的过程，包括：从数据载体中解析得到原始数据，并得到各原始数据的属性字段及各属性字段的字段值；根据所得到各属性字段及各属性字段的字段值，将各原始数据存储为一个或多个文件。

在上述方案中，所述的从数据载体中解析得到原始数据，并得到各原始数据的属性字段及各属性字段的字段值，还包括：在解析得到原始数据后，将原始数据分割为多个数据，分别得到所述的多个数据的属性字段及各属性字段的字段值。

在上述方案中，所述的生成所述文件的索引表的过程，包括：根据所述的各字段值，生成包含所述字段值及该字段值在所述的一个或多个文件的存储位置的索引条目；根据所生成的各字段值的索引条目，得到所述属性字段的索引项；根据得到的各属性字段的索引项，得到所述的一个或多个文件的索引表。

在上述方案中，所述的生成所述文件的索引表的过程，还包括：将得到的所述的一个或多个文件的索引表分别存储于一个或多个文件中。

在上述方案中，所述的根据所述索引表，完成对要查询数据的查询，具体为：在接收到用户输入的查询请求后，依次对索引表中的每个索引项进行检索，找到每个索引项中与查询请求中包含的关键字相匹配的索引条目；根据所找到索引条目，在已存储的一个或多个文件中找到与所述查询请求中的关键字相匹配的数据；在所有索引项都检索完后，将所找到的所有的包含所述字段值的数据合并，得到查询结果并返回给用户。

本发明还提供了一种数据查询装置，所述装置包括：存储单元，用于将各数据以文件的形式存储；生成单元，用于生成所述存储单元中所存储文件的索引表；查询单元，用于根据所述生成单元生成的索引表，完成对要查询数据的查询。

在上述方案中，所述装置还包括：解析单元，用于从数据载体中解析得到原始数据，并得到各原始数据的属性字段及各属性字段的字段值。

在上述方案中，所述存储单元，具体用于：根据所述解析单元得到的各属性字段及各属性字段的字段值，将各原始数据存储为一个或多个文件。

在上述方案中，所述生成单元包括：索引条目生成模块、索引项生成模块、索引表生成模块，其中：索引条目生成模块，用于根据所述存储单元所存储文件的各字段值，生成包含所述字段值及该字段值在所述的一个或多个文件的存储位置的索引条目索引项生成模块，用于根据所述索引条目生成模块生成的各字段值的索引条目，得到所述属性字段的索引项；索引表生成模块，用于根据所述索引项生成模块得到的各属性字段的索引项，得到所述的一个或多个文件的索引表。

在上述方案中，所述存储单元还用于存储所述生成单元生成的索引表。