[发明专利]存储器内搜索技术

说明书

本发明的一个实施方案涉及一种用于在分布式计算系统中执行高效数据搜索的方法。所述方法可以包括：接收包括关键字的搜索请求。可以通过在计算机系统上执行的虚拟机外部的编程接口，将所述关键字提供给基于块的表管理器。所述编程接口可以提供所述虚拟机的第一编程框架与所述基于块的表管理器的第二编程框架之间的转换。提供所述关键字可以使所述基于块的表管理器执行对应于所述关键字的值的搜索。可以响应于所述搜索请求来提供所述值。利用这种基于块的表可以使得数据搜索能够使用在分布式计算系统内操作的计算节点的板载存储器来执行。

背景技术

分布式计算系统通常用于管理和处理大型数据集。分布式计算系统可将数据库分布在若干计算机上，所述计算机通过诸如高速网络等各种通信介质彼此进行通信。分布式数据库系统可由单个逻辑数据库组成，所述逻辑数据库可拆分为不同片段，每个片段被存储在分布式计算系统的单个计算机(例如节点)上。分布式计算系统可能会面临如何管理和/或访问大型数据集的挑战。例如，协调计算机之间的任务所需的信息交换和额外计算是一种在集中式系统中不会出现的开销。另外，分布式计算系统可能容易出现错误，因为当数据集在分布式计算系统的许多计算机上扩散时，更加难以确保算法的正确性。另外，在分布式计算系统中搜索数据集的特定部分可能在计算上代价较大，且可能产生变化的搜索时间。因此，可对数据集和分布式计算系统进行改进，以提供更高效的搜索时间。

另外，当前用于执行关键字搜索的技术可能存在由搜索冲突导致的缺点，因为许多设备可能在相同时间访问容器。为了避免冲突，可能连续执行请求，这会导致更长的计算时间。另外，数据集和/或数据集容器可能过大(例如5TB)而无法加载到分布式计算系统中的节点的存储器(例如，128GB的随机存取存储器(RAM))中，因此，它们通常存储在集中式位置中。因此，在这些情境中搜索关键字可能需要大规模计算，因为搜索的数据大小很大，且许多系统可能在相同时间尝试访问数据。因此，可对数据集和分布式计算系统进行改进，以提供更高效的搜索时间。

本发明的实施方案单独地以及共同地解决这些问题和其他问题。

发明内容

本发明的一个实施方案涉及一种方法，该方法包括通过由计算机系统主控(host)的虚拟机执行的数据集准备模块至少部分地基于数据集生成一组关键字-值对。该方法还可以包括由数据集准备模块向基于块的表管理器提供该组关键字-值对。在一些实施方案中，基于块的表管理器可以由计算机系统在虚拟机外部的执行环境中执行。数据集准备模块可以利用编程接口与基于块的表管理器进行交互，该编程接口至少被配置为使得在虚拟机内执行的模块能够访问虚拟机外部的功能。在一些实施方案中，将该组关键字-值对提供给基于块的表管理器可以使基于块的表管理器生成共同表示基于块的表的包含数据的多个数据块。该方法还可以包括由计算机系统将基于块的表分发给与计算机系统不同的多个计算机系统。

本发明的另一个实施方案涉及一种包括第一计算设备和第二计算设备的系统。第一计算设备可以包括第一处理器和耦合到第一处理器的第一计算机可读介质，所述第一计算机可读介质包括可由第一处理器执行以实施第一方法的代码。第一方法可以包括通过由计算机系统主控的虚拟机执行的数据集准备模块至少部分地基于数据集生成一组关键字-值对。该方法还可以包括由数据集准备模块向基于块的表管理器提供该组关键字-值对。在一些实施方案中，基于块的表管理器可以由计算机系统在虚拟机外部的执行环境中执行。数据集准备模块可以利用编程接口与基于块的表管理器进行交互，该编程接口至少被配置为使得在虚拟机内执行的模块能够访问虚拟机外部的功能。在一些实施方案中，将该组关键字-值对提供给基于块的表管理器可以使基于块的表管理器生成共同表示基于块的表的包含数据的多个数据块。该方法还可以包括由计算机系统将基于块的表分发给与计算机系统不同的多个计算机系统。