[发明专利]一种基于联邦哈希学习的面向跨节点多模态检索方法

权利要求书

1.一种基于联邦哈希学习的面向跨节点多模态检索方法，其特征在于，包括：

步骤一，云中心服务器向各边缘节点下发初始化的深度哈希模型；

步骤二，云中心服务器收集各边缘节点训练一次深度哈希模型后更新的深度哈希模型参数，并对其中倒数第二层的全连接参数进行融合更新，从而获得一个统一的云中心全局参数；然后云中心服务器将云中心全局参数下发至各边缘节点来更新深度哈希模型参数，并继续循环以上过程直至达到训练停止条件，云中心服务器将最终的云中心全局参数下发至各边缘节点进行最终更新；其中各边缘节点是基于各自的更新目标函数来对深度哈希模型进行训练；

步骤三，云中心服务器接收各边缘节点所生成的哈希码以及对应的原始数据位置信息，并进行存储；其中哈希码是由各边缘节点基于最终更新后的深度哈希模型生成的；

步骤四，云中心服务器根据待检索数据，基于最终的云中心全局参数来以深度哈希模型生成待检索哈希码，然后计算待检索哈希码与存储的哈希码之间的汉明距离，然后以距离最小的哈希码对应的原始数据位置信息来提供原始数据检索结果；

所述的步骤二中，云中心全局参数是通过下式获取：

其中O_t表示云中心全局参数，M表示选择参与联邦学习的边缘节点，t表示第t轮参数更新，表示第m个边缘节点的深度哈希模型第t轮更新的倒数第二层全连接参数，表示第m个边缘节点的倒数第二层全连接参数对云中心全局参数的贡献度。

2.根据权利要求1所述的方法，其特征在于，的取值范围为0-1之间，通过下式获取：

其中n^m为第m个节点样本数量，l^m为第m个边缘节点中数据的类别总数。

3.根据权利要求1所述的方法，其特征在于，所述的步骤二中，云中心服务器将云中心全局参数下发至各边缘节点来更新深度哈希模型参数时，各边缘节点是基于以下方式来进行更新：

其中为模型的初始训练后参数，ρ为更新速率参数。

4.根据权利要求1所述的方法，其特征在于，所述的步骤二中，更新目标函数为：

L＝L₁+αL₂+βL₃

其中L为更新目标函数，L₁为映射函数，L₂为数据相似度函数，L₃为不变特性函数，α和β为平衡参数。

5.根据权利要求4所述的方法，其特征在于，映射函数L₁为：

其中表示第k个边缘节点的数据表征矩阵，表示第k个边缘节点中第i种模态的第j个数据的表征矩阵，c表示边缘节点中每个数据的模态总数；n_k表示第k个边缘节点中的数据数量；Y^k表示第k个边缘节点中数据的标签信息，l^k表示第k个边缘节点数据的类别总数；V为映射参数，F为Frobenius范数。

6.根据权利要求4所述的方法，其特征在于，数据相似度函数L₂为：

其中S_i,j表示第i个样本和第j个样本间是否存在共同标签，S_i,j＝1表示二个样本存在共同标签，S_i,j＝0表示二个样本不存在共同标签；n_k表示第k个边缘节点中的数据数量。

7.根据权利要求4所述的方法，其特征在于，不变特性函数L₃为：

其中U_i表示第i种不同数据模态的数据表征矩阵，U_j表示第j种不同数据模态的数据表征矩阵，n_k表示第k个边缘节点中的数据数量，F为Frobenius范数。

8.根据权利要求1所述的方法，其特征在于，所述的步骤二中，训练停止条件为深度哈希模型收敛或达到预设的训练次数。

9.根据权利要求1所述的方法，其特征在于，所述的步骤四中，待检索哈希码与存储的哈希码之间的汉明距离，是以待检索哈希码与云中心存储的哈希码进行异或计算获得的；以距离最小的哈希码对应的原始数据位置信息来提供原始数据检索结果，是根据汉明距离对哈希码进行排序，获得距离最小的多个哈希码，根据哈希码对应的原始数据位置信息返回多条原始数据。