[发明专利]加速大规模相似性计算

说明书

一种方法、系统和装置，包括编码在计算机存储介质上的计算机程序，用于使用实体相关性系统的第一处理器获取存储在存储设备处的数据。数据包括关于多个实体的信息。第一处理器使用获取的数据来生成数据阵列。每个数据阵列包括多个实体的参数值，并且被配置用于在第二处理器的相应的计算单元处进行处理。系统向第二处理器提供数据阵列。第二处理器被配置为执行相关性算法，以在相应的计算单元处同时处理数据阵列。第二处理器基于使用算法和参数值在单元处执行的计算来计算相关性分数。系统基于相关性分数来确定数据阵列的实体之间的关系。这些关系指示存在于实体的子集之间的重叠属性或相似性。

背景技术

本说明书涉及大规模相似性计算的计算过程。

在许多情况下，可能希望确定输入样本是否与多个存储记录匹配，或者匹配程度如何。作为一个示例，可能希望确定DNA样本是否与存储在DNA记录的数据库中的记录中的任何一个匹配。数据库有可能包含许多DNA记录(例如，数十万甚至数百万个记录)。通常，可能希望响应于输入样本从数据库中检索某一数量个(n个)存储记录。输入样本可以是数据库中被确定为与输入样本最接近的n个匹配的n个记录。检索到的记录的数量n比数据库中的记录的总数小，通常小得多。n个检索到的记录可以首先按照最可能的顺序排列。常规地，这种检索过程可以涉及计算输入样本和存储在数据库中的每个记录之间的相似性的度量，然后识别具有计算出的相似性度量的最高值的n个记录。n个检索到的记录可以被重新排序，以便参考计算出的相似性度量的值来排列。随着存储的记录的数量增加，这个过程变得越来越计算密集和耗时。

发明内容

一种方法、系统和装置，包括编码在计算机存储介质上的计算机程序，用于使用实体相关性系统的第一处理器来获取存储在存储设备处的数据。数据包括关于多个实体的信息。第一处理器使用获取的数据来生成数据阵列。每个数据阵列包括多个实体的参数值，并且被配置用于在第二处理器的相应的计算单元处进行处理。系统向第二处理器提供数据阵列。第二处理器被配置为执行相关性算法，以在相应的计算单元处同时处理数据阵列。第二处理器基于使用算法和参数值在单元处执行的计算来计算相关性分数。系统基于相关性分数来确定数据阵列的实体之间的关系。这些关系指示存在于实体的子集之间的重叠属性。

本说明书中描述的主题的一个方面可以用计算机实施的方法来体现。该方法包括：由实体相关性系统的第一处理单元获取存储在存储设备处的数据，数据包括关于多个实体的信息；以及在第一处理单元处使用从数据存储设备获取的数据来生成多个数据阵列。多个数据阵列中的每个数据阵列：i)包括多个实体的参数值；并且ii)被配置用于在第二处理单元的相应的计算单元处进行处理。该方法包括：在实体相关性系统处，向第二处理单元提供至少两个数据阵列，第二处理单元被配置为执行相关性算法，以在第二处理单元的相应的计算单元处同时处理至少两个数据阵列；在第二处理单元处，基于使用相关性算法和多个实体的参数值在相应的计算单元处执行的计算来计算相关性分数；以及在实体相关性系统处，基于计算出的相关性分数来确定至少两个数据阵列的实体之间的关系，其中这些关系指示存在于实体的至少一个子集之间的重叠属性。

这些和其他实施方式各自都可以可选地包括以下特征中的一个或多个。例如，在一些实施方式中，计算相关性分数包括：选择特定相关性算法作为相似性算法或条件概率算法；使用特定相关性算法计算至少两个数据阵列的实体之间的交集和至少两个数据阵列的实体之间的并集；以及基于交集和并集来计算相关性分数。在一些实施方式中，第一处理单元是中央处理单元(CPU)，其对从数据存储设备获取的数据进行预分类，以生成多个数据阵列；第二处理单元是图形处理单元(GPU)，其使用至少两个数据阵列的实体的参数值来执行并行计算；以及特定相关性算法是jaccard相似性算法、余弦相似性算法或条件概率算法。