[发明专利]基于柯西分布哈希方法的高维数据检索方法与系统

权利要求书

1.一种高维数据检索方法，其特征在于，包括：

S1、将待检索的数据点对应的高维数据输入训练好的相似检索模型中，获取所述待检索的数据点对应的哈希编码，其中，所述相似检索模型为神经网络模型且包括哈希编码模块；

S2、将所述哈希编码输入所述相似检索模型的倒排索引单元中，获取与所述哈希编码的汉明距离小于或者等于预设值的桶；

S3、对所述桶中的所有高维数据进行重排序，获取相似高维数据列表，将所述相似高维数据列表作为检索结果；

步骤S1中所述训练好的相似检索模型通过如下步骤获取：

从训练集中获取多个未使用的高维数据；

将所述多个未使用的高维数据输入所述哈希编码模块，获取对哈希编码更匹配的低维特征向量；

基于所述低维特征向量，获取所述低维特征向量对应的哈希编码，并根据所述低维特征向量对应的哈希编码计算设定损失函数对所述相似检索模型的哈希编码层的梯度；

基于所述对所述相似检索模型的哈希编码层的梯度，对所述相似检索模型进行训练，获取所述训练好的相似检索模型；

所述设定损失函数为：

其中，O为设定损失函数，L为柯西交叉熵损失函数，为定义，Q为柯西量化损失函数，λ为调节柯西交叉熵损失和柯西量化损失权重的参数；

所述设定损失函数由所述柯西交叉熵损失函数和所述柯西量化损失函数线性组合获取；

所述柯西交叉熵损失函数通过下式表示：

其中，L为所述柯西交叉熵损失函数，S为相似矩阵，s_ij为相似矩阵中的i排j列的元素，0≤i≤N，0≤j≤N，N为低维特征向量的总个数，w_ij为i排j列的元素的权重，z_i为第i个低维特征向量，z_j为第j个低维特征向量，d(z_i,z_j)为z_i，z_j之间的归一化欧几里德距离，γ为柯西分布的缩放参数；

所述z_i，z_j之间归一化欧几里德距离通过下式获取：

其中，d(z_i,z_j)为z_i，z_j之间的归一化欧几里德距离，z_i为第i个低维特征向量，z_j为第j个低维特征向量，K为哈希编码的位数，||.||为向量的欧几里得范数；

所述柯西量化损失函数通过下式表示：

其中，Q为所述柯西量化损失函数，0≤i≤N，N为训练数据的个数，z_i为第i个低维特征向量，d(|z_i|,1)为|z_i|，1之间的归一化欧几里德距离，γ为柯西分布的缩放参数。

2.根据权利要求1所述的检索方法，其特征在于，所述相似矩阵为N×N的矩阵，N为训练集中的数据点总量，矩阵中的元素为0或者1；

对于矩阵中的任一个元素s_ij，s_ij＝1代表数据点x_i与数据点x_j相似，s_ij＝0代表数据点x_i与数据点x_j不相似；

其中，s_ij为相似矩阵中的i排j列的元素，x_i为训练集中的第i个数据点，x_j为训练集中的第j个数据点，0≤i≤N，0≤j≤N。

3.根据权利要求1所述的检索方法，其特征在于，步骤S1进一步包括：

S11、将数据库的所有数据点对应的高维数据输入训练好的相似检索模型中，获取所述数据库的所有数据点对应的高维数据所对应的哈希编码；

S12、基于所述所有数据点对应的高维数据所对应的哈希编码，获取所述数据库的所有数据点的倒排索引；

S13、基于所述数据库的所有数据点的倒排索引，获取所述待检索的数据点对应的高维数据，并获取所述高维数据对应的哈希编码。