[发明专利]一种数据查询方法及系统

说明书

本发明实施例提供了一种数据查询方法及系统，通过将业务数据存储到本地磁盘中，且将对应的索引信息缓存到本地内存中，其中，预先通过数据分区服务器将大数据分区处理得到多个分区文件，将各分区文件分配给对应的分布式服务器进行数据存储，并由分布式服务器针对各自存储的分区文件生成相应的索引信息，后续在接收到数据查询请求后，直接基于本地内存中的索引信息，快速定位待查询数据在本地磁盘中的存储位置，这样既无需占用过多的本地内存空间，降低了数据缓存成本，又能够从本地磁盘中快速读取相应的数据，提高数据查询请求的响应效率，同时结合零拷贝技术将数据传输至网卡接口，减少了数据拷贝次数，进一步提高了客户端的数据查询效率。

技术领域

本发明涉及数据查询技术领域，尤其涉及一种数据查询方法及系统。

背景技术

目前，为了提高数据的查询效率，现有技术中通常采用数据缓存技术来提高数据的查询效率；

现有的数据缓存方式包括：内存型缓存、磁盘型缓存和内存磁盘混合型缓存；在采用上述数据缓存方式进行数据查询的过程中，在数据量较小的情况下，采用上述数据缓存方式中任意一种方式，均可以提高数据的查询效率，并且在数据查询过程中的效率也很高；然而，当针对大数据领域，通常需要缓存的数据较大甚至达到PB级别时，如果还是采用上述数据缓存技术来提高数据的查询效率的方法将存在着很多的弊端；

采用内存型缓存技术来提高数据的传输效率时，当缓存数据量非常大时，大量数据将会占用更多的内存，然而，伴随着大量数据占用更多的内存，将会导致花费巨大的机器资源成本；采用磁盘型缓存，当磁盘中写入大量的数据时，将严重影响到数据的查询效率；采用内存磁盘混合型技术来提高数据的传输效率时，当所查询的数据没有在内存中而是在磁盘中时，查询数据的效率也会受到严重的影响。

由此可知，在现有的数据查询过程中，如果使用内存缓存数据，将存在数据存储成本高的问题，而如果使用磁盘缓存数据，将存在存储数据读取慢的问题，因此，无法同时兼顾数据缓存成本和数据读取效率。

发明内容

本申请实施例的目的是提供一种数据查询方法及系统，既无需占用过多的本地内存空间，降低了数据缓存成本，又能够从本地磁盘中快速读取相应的数据，提高数据查询请求的响应效率，同时结合零拷贝技术将数据传输至网卡接口，减少了数据拷贝次数，进一步提高了客户端的数据查询效率。

为解决上述技术问题，本申请实施例是这样实现的：

本申请实施例提供了一种数据查询方法，包括：接收客户端针对目标业务数据的查询请求，其中，所述查询请求携带有所述目标业务数据的数据标识，所述查询请求是所述客户端根据数据分区服务器返回的目标设备标识发送的，所述目标设备标识是所述数据分区服务器根据所述数据标识在多个分布式服务器中选取的所述目标业务数据所在的分布式服务器的标识信息；

在本地内存中存储的索引文件信息中，根据所述数据标识，查询所述目标业务数据的存储位置信息，其中，所述索引文件信息包括：业务数据的数据标识与存储位置信息之间的对应关系；

基于所述目标业务数据对应的所述存储位置信息，从本地磁盘中读取所述目标业务数据，其中，所述本地磁盘中存储有数据分区服务器预先分配的包含多个业务数据的数据分区文件；

利用零拷贝技术将读取到的所述目标业务数据传输至预设网卡接口，以通过所述网卡接口将所述目标业务数据发送至所述客户端。

本申请实施例提供了一种数据查询系统，包括：客户端和多个分布式服务器；

所述客户端，用于向分布式服务器发送针对目标业务数据的查询请求，以及接收所述分布式服务器返回的所述目标业务数据，其中，所述查询请求是所述客户端根据数据分区服务器返回的目标设备标识发送的，所述目标设备标识是所述数据分区服务器根据所述数据标识在多个分布式服务器中选取的所述目标业务数据所在的分布式服务器的标识信息；