[发明专利]一种面向高维大数据的基于权重求解的哈希查询方法

说明书

本发明公开了一种面向高维大数据的基于权重求解的哈希查询方法，特点是首先利用主成分分析法分别将原始高维数据集和给定的查询数据降维，然后构造损失函数并在迭代过程中通过最小化该函数得到最终二进制编码矩阵和最终权重矩阵，再根据最终权重矩阵对最终二进制编码矩阵中的每个元素进行加权量化，获得加权后的二进制编码矩阵和与给定的查询数据对应的二进制编码，最后在加权后的二进制编码矩阵中将与给定的查询数据对应的二进制编码的加权海明距离最近的行向量数据对应的原始高维数据作为最终的最近邻查询结果；优点是通过利用加权海明距离代替海明距离，对给定的查询数据进行查询的准确性和效率大大提高。

技术领域

本发明涉及一种哈希查询方法，特别涉及一种面向高维大数据的基于权重求解的哈希查询方法。

背景技术

近似近邻问题是一个计算机学科基础问题。一般情况下，哈希技术是能够解决大规模高维数据查询的一种有效方法。相关技术中，对于这个数据集的哈希编码，哈希技术不考虑各维度的权重，即认为各维度权值相等，但哈希编码不同维度对于数据之间相似性的影响是不同的，相关技术没有充分考虑哈希编码权重，有待改进。

发明内容

本发明所要解决的技术问题是提供一种能够针对数据集的特性对编码进行加权量化得到对应的哈希编码，减少数据存储空间及计算代价，提高查询准确性的面向高维大数据的基于权重求解的哈希查询方法。

本发明解决上述技术问题所采用的技术方案为：一种面向高维大数据的基于权重求解的哈希查询方法，包括以下步骤：

①获取由n个原始高维数据组成的原始高维数据集X并给定查询数据q，X为n×d维的矩阵，使用主成分分析法对X进行降维，得到与X对应的低维向量集V，其中，V为n×c维的矩阵，v_ij表示原始高维数据中第i个数据第j维度在V中对应的低维向量元素，再使用主成分分析法对q进行降维，得到与q对应的低维向量q′；

②通过迭代获取最终二进制编码矩阵B″和最终权重矩阵W″，具体过程如下：

②-1设定最大迭代次数，随机给定初始二进制编码矩阵B，B∈{-1，1}^n×c，随机给定初始权值矩阵W，W＝diag(w₁，w₂，...w_j...，w_c)，其中，w_j表示第j维度的维度权重；

②-2开始迭代过程，在当前一次迭代过程中，首先保持W不变，通过对进行最小化求解对B进行更新，将最小时更新得到的B记为B′，其中，|| ||_F为取矩阵的F-范数符号，中的2表示平方符号，b_ij表示原始高维数据中第i个数据第j维度对应的二进制编码值；

②-3在当前一次迭代过程中对所有维度的维度权重进行更新，其中对w_j进行更新的过程如下：将B′中的第j列的列向量记为β_j，将V中的第j列列向量记为γ_j，则有B′＝{β₁，β₂，...β_j...，β_c}，V＝{γ₁，γ₂，...γ_j...，γ_c}，保持B′不变，通过对进行最小化求解对w_j进行更新，其中，|| ||₂为取矩阵的2-范数符号，将最小时更新得到的w_j记为w_j′，将当前一次迭代过程中更新后的所有维度的维度权重按序排列后得到的权重矩阵记为W′；

②-4判断迭代次数是否达到设定的最大迭代次数，若未达到最大迭代次数，则令W＝W′，B＝B′，返回步骤②-2开始下一次迭代过程，同时迭代次数加1，其中W＝W′和B＝B′中的“＝”为赋值符号；若达到最大迭代次数，则将当前一次迭代过程中更新得到的W′作为最终权重矩阵W″，将当前一次迭代过程中更新得到的B′作为最终二进制编码矩阵B″；