[发明专利]计算数据相似性的方法和装置

说明书

本申请实施例提供了一种计算数据相似性的方法和装置，涉及计算机应用技术领域。该方法包括：对原始数据进行划分，得到多个数据区块；根据各个数据区块的数据，分别计算得到各个数据区块的多个数据向量；针对每个数据区块，将任一查询向量与每个数据区块中的多个数据向量进行相似度计算，确定相似度计算结果。可见该方法在数据量庞大的情况下，通过化整为零划分出数据区块、并针对数据区块进行相应操作的方式能够提高计算速度；并且通过选取符合要求的相似度计算结果，精简了后续操作时所需的数据量。

技术领域

本申请涉及计算机应用技术领域，具体而言，本申请涉及一种计算数据相似性的方法和装置。

背景技术

随着现代计算机和机器学习技术的进步，在安全、医学、教育和在线信息服务等不同的应用领域中产生了大量的多媒体数据。因为多媒体对象具有多个属性维度，因此对多媒体对象的描述就不能是简单地用字母或数字。例如，不能单纯使用几个数字参数或文本字符串来描述人脸图像等。因为，这些信息更适合使用一种多维的、易于分析的方式——特征向量来描述，由此对象信息的匹配，相似度计算也孕育而生。相似度计算就是比较两个事物的相似性。一般通过计算事物的特征之间的距离，如果距离小，那么相似度大；如果距离大，那么相似度小。

随着信息的不断膨胀，信息间的相似度计算也变得愈加艰难，平方的时间复杂度使得该问题难以在单机环境下的有限时间内得到解决。目前计算特征向量相似度的方法包括暴力求解和矢量计算。

但本申请人发现上述两种计算方式都存在一定的缺陷，例如暴力求解的有点是实现简单，但缺点是由于平方的时间复杂度仅限于小规模数据；矢量计算是将向量组成矩阵形式，则向量间的相似性计算问题便转为对该矩阵的运算问题，其优点是可以利用矩阵运算的优化技术将问题的时间复杂度降低，缺点是矩阵所容纳的向量规模受机器内存限制。

可见上述方法中，在计算量庞大的情况下无法兼顾计算速度和计算时间。

发明内容

本申请提供了一种计算数据相似性的方法和装置，可以解决在计算特征向量相似度时，因计算量庞大导致计算所需时间过长的问题。所述技术方案如下：

第一方面，提供了一种计算数据相似性的方法，该方法包括：

对原始数据进行划分，得到多个数据区块；

根据各个数据区块的数据，分别计算得到各个数据区块的多个数据向量；

针对每个数据区块，将任一查询向量与每个数据区块中的多个数据向量进行相似度计算，确定相似度计算结果。

在一个可能实现的方式中，对原始数据进行划分，得到多个数据区块，包括：

按照弹性分布式方式对原始数据进行划分，得到多个数据区块。

在另一个可能实现的方式中，根据各个数据区块的数据，分别计算得到各个数据区块的多个数据向量，包括：

根据各个数据区块的数据，通过预置的矢量计算方法分别计算得到各个数据区块的多个数据向量。

在另一个可能实现的方式中，确定相似度计算结果，包括：

将得到的计算结果按照由大到小的顺序进行排序，并将处于预定排序范围内的相似度确定为相似度计算结果。

在另一个可能实现的方式中，确定相似度计算结果，包括：

将计算得到的、大于预设相似度阈值的计算结果确定为相似度计算结果。

第二方面，提供了一种计算数据相似性的装置，该装置包括：

划分单元，用于对原始数据进行划分，得到多个数据区块；

计算单元，用于根据各个数据区块的数据，分别计算得到各个数据区块的多个数据向量；