[发明专利]分布式存储中基于随机梯度下降的谱哈希方法

摘要

本发明公开了分布式存储中基于随机梯度下降的谱哈希方法，该方法在语义一致的谱哈希算法的基础上，利用随机梯度下降减少算法训练时间，且进一步提出基于柯西分布的一致性哈希算法并利用该算法将每一个数据项压缩成一个一维的实数值。这样便能利用一致性哈希的思想，在动态的网络拓扑中实现分布式存储，且使相似的数据项存储在相同的或者相近的存储服务器节点。本发明的方法使得每个存储服务器节点仅需要维护少量近邻节点的信息，当服务器节点加入或者退出系统时，仅有少量相关节点参与到拓扑的维护之中，提高了收敛速度和存储准确性。

主权项

1.分布式存储中基于随机梯度下降的谱哈希方法，其特征在于，包括如下步骤：步骤1，根据给定的训练集样本矩阵以及对应的训练集标记矩阵，利用语义一致图的谱哈希算法构建转换矩阵的目标函数，该转换矩阵表示训练集样本矩阵中各样本之间的潜在关系；所述目标函数的表达式为：其中，Wij＝exp(‑||A(xi‑xj)||2)，A表示转换矩阵，xi和xj分别表示训练集中第i和第j个样本，n表示训练集中样本总个数，fi和fj分别表示第i和第j个样本的标记向量，Ni表示样本xi的近邻集合，λ1和λ2分别表示两个自定的参数值，pij表示样本xj作为样本xi近邻的概率，||·||表示2范数，Tr表示矩阵的迹，T表示转置；步骤2，利用随机梯度下降算法迭代求解步骤1的目标函数，得到使目标函数的损失函数最小的转换矩阵；步骤3，待存储数据集中各数据样本的维度与训练集中各样本的维度相同，利用步骤2得到的转换矩阵对待存储数据集中的数据样本进行转换，并对转换后的数据样本利用随机梯度下降算法，将数据样本压缩成指定维度的哈希码，且该指定维度小于数据样本的维度；步骤4，利用柯西分布的一致性哈希算法，将步骤3得到的指定维度的哈希码压缩成一个一维的实数值，根据该实数值的大小将对应的数据样本存储到指定的服务器节点上。