[发明专利]数据获取方法、数据节点及系统

说明书

技术领域

本发明涉及数据库技术领域，特别涉及一种数据获取方法、数据节点及系统。

背景技术

集群数据库系统是指将一组数据库服务器以集群的方式组合起来，使用统一的接口向用户提供服务。集群数据库系统可以将复杂的任务分解为多个简单的子任务来并行处理。集群数据库系统包括多个协调节点和多个数据节点，为了完成数据检索任务，数据需要在不同的节点之间传输。

在执行查询语句的过程中，当数据节点A1需要向另一数据节点A2传输数据时，数据节点A1会读取本地的数据，再将数据传输至数据节点A2；当数据节点A1需要获取来自数据节点A2的数据时，数据节点A1会向数据节点A2发送数据获取请求，数据节点A2根据该数据获取请求将读取的相应数据传输至数据节点A1。

上述过程中，一个数据节点在向另一个数据节点传输数据时，都是直接读取本地的数据，再将数据传输至另一个数据节点，即每一次数据传输都需要通过网络链路传输相应的数据，所以整个集群数据库系统的网络传输量较大，对集群数据库系统造成较大的网络负担。

发明内容

本发明提供了一种数据获取方法、数据节点及系统，用以减少集群数据库系统中数据节点之间的数据传输，降低集群数据库系统的网络传输量，减小集群数据库系统的网络负担。所述技术方案如下：

第一方面，提供了一种数据获取方法，用于集群数据库系统中的第一节点，第一节点为集群数据库系统中多个数据节点中的任一节点，该方法包括：接收第二节点发送的第一元组信息，第二节点为多个数据节点中除第一节点之外的任一节点，第一元组信息包括用于标识集群数据库系统中存储的第一数据的第一数据标识，第一数据为存储于第二节点的数据；根据第一元组信息查询第一节点的指定缓存区内是否存储有第一数据；若第一节点的指定缓存区内存储有第一数据，从第一节点的指定缓存区内获取第一数据。

由于第一节点能够根据第二节点发送的第一元组信息查询第一节点的指定缓存区内是否存储有第一数据，且若第一节点的指定缓存区内存储有第一数据，第一节点直接从第一节点的指定缓存区内获取第一数据，相较于现有技术，第二节点无需直接向第一节点发送第一数据，减少了第二节点与第一节点之间网络链路上的数据传输量，降低了集群数据库系统的网络传输量，减小了集群数据库系统的网络负担。

该方法中的第一元组信息的数据量较小，所以第一元组信息的传输量较小，占用内存也较小，且第一元组信息的数据量远小于第一数据的数据量。此外，为了进一步减小第一元组信息的占用内存，还可以将第一元组信息进行封装，或者将第一元组信息以一定的格式嵌入在某个占用内存较小的消息中。

可选的，该方法还可以包括：若第一节点的指定缓存区内未存储有第一数据，向第二节点发送第一获取请求，并接收第二节点发送的第一数据，第一获取请求用于请求第一数据。

若第一节点的指定缓存区内未存储有第一数据，第一节点再向第二节点发送第一获取请求，以便于第二节点向第一节点发送第一数据。所以该数据获取方法，使得第一节点在真正需要获取第二节点发送的第一数据时，才向第二节点发送第一获取请求，请求获取第一数据，降低了集群数据库系统的网络传输量。

可选的，该方法还可以包括：当第一节点的指定缓存区的剩余空间的大小小于预设值时，删除目标数据，该目标数据为满足预设条件的数据。

第一节点可以检测第一节点的指定缓存区的剩余空间的大小是否小于预设值，当第二节点的指定缓存区的剩余空间的大小小于预设值时，删除目标数据，避免该指定缓存区的剩余空间过小，而无法缓存第一节点向第二节点请求获取的数据。其中，预设值可以根据需求来设置。

可选的，预设条件为数据的访问频率低于预设阈值。如当第一节点检测到第一节点的指定缓存区的剩余空间的大小小于预设值时，第一节点可以根据各个数据的访问频率删除访问频率较低的数据。

示例的，也可以考虑数据的存储时间，比如，当第一节点的指定缓存区的剩余空间的大小小于预设值时，缓存组件可以综合考虑各个数据的存储时间以及访问频率，删除存储时间较长且访问频率较低的数据。又如，当第一节点的指定缓存区的剩余空间的大小小于预设值时，缓存组件可以综合考虑各个数据所占用的空间以及访问频率，删除所占空间较大且访问频率较低的数据。