[发明专利]一种基于联邦哈希学习的面向跨节点多模态检索方法

说明书

本发明公开了一种基于联邦哈希学习的面向跨节点多模态检索方法，通过云中心服务器向各边缘节点下发深度哈希模型，并接收各边缘节点训练模型后上传的模型参数，再由云中心服务器对参数进行融合更新后，再下发到各边缘节点继续循环训练直至得到最终模型。训练完成后，云中心服务器根据待检索数据来基于最终模型生成待检索哈希码，然后计算待检索哈希码与存储的哈希码之间的汉明距离，再以距离最小的哈希码对应的原始数据位置信息来提供原始数据检索结果，本发明通过将联邦学习运用到哈希的检索方法中，可以实现多边缘节点数据跨模态的高效检索。

技术领域

本发明涉及大数据计算领域，具体涉及一种基于联邦哈希学习的面向跨节点多模态检索方法。

背景技术

在大数据时代下，社交媒体中不同模态数据的呈现爆炸式的增长趋势，用户不再满足于单一模态数据间的相似性检索，而更多的关注于跨模态数据间相互检索，如以文搜图、以图搜文等。

哈希的检索方法作为一种近似最近邻的检索方法，因其对大规模数据具有存储消耗低、检索速度快等优点，已被广泛用于图像检索、视频检索、跨模态检索等领域。传统的哈希学习方法随着使用过程中数据量呈指数形式的增长态势，会带来高额的传输消耗、巨大的中心计算负载压力和边缘节点日益增长的复杂计算模型，同时企业、学校或者政府部门都拥有各自的“小数据”，因其具备潜在价值，无法直接共享，使得数据孤岛日益严重。在数据孤岛、计算能力和法律条例的约束下，实现数据互联互通、资源共享和社会总体数据价值的充分利用成为现代信息处理领域新难题。而联邦学习作为数据隐私保护的重要解决方法，可以在“数据可用不可见”的情况下进行数据联合训练、联合更新，建立高效且合法的分布式机器学习模型，但边缘节点感知的数据通常包括众多模态类型，不同模态的数据之间的异构性和语义鸿沟，使得难以进行跨模态检索和建立统一的训练模型，此外在原始数据不可访问的前提下，不同边缘节点无法通过传递模型参数来互相利用其它边缘节点蕴含的数据潜在知识；目前主流的联邦学习架构中，缺乏对复杂异构数据的有效建模方法，如何利用多模态数据中蕴含的潜在依赖关系，使得不同边缘节点数据表征和知识进行融合交互，提高计算和检索性能，仍然是当前分布式联邦学习研究的一大难题。

发明内容

为了解决目前不同边缘节点存在数据异构、维度不同、多粒度等复杂特性，导致无法建立一个统一模型的技术问题。本发明提供一种将联邦学习运用到哈希的检索方法中，从而实现跨多个边缘节点数据的多模态高效检索的方法。

为了实现上述目的，本发明的技术方案是：

一种基于联邦哈希学习的面向跨节点多模态检索方法，包括：

步骤一，云中心服务器向各边缘节点下发初始化的深度哈希模型；

步骤二，云中心服务器收集各边缘节点训练一次深度哈希模型后更新的深度哈希模型参数，并对其中倒数第二层的全连接参数进行融合更新，从而获得一个统一的云中心全局参数；然后云中心服务器将云中心全局参数下发至各边缘节点来更新深度哈希模型参数，并继续循环以上过程直至达到训练停止条件，云中心服务器将最终的云中心全局参数下发至各边缘节点进行最终更新；其中各边缘节点是基于各自的更新目标函数来对深度哈希模型进行训练；

步骤三，云中心服务器接收各边缘节点所生成的哈希码以及对应的原始数据位置信息，并进行存储；其中哈希码是由各边缘节点基于最终更新后的深度哈希模型生成的；

步骤四，云中心服务器根据待检索数据，基于最终的云中心全局参数来以深度哈希模型生成待检索哈希码，然后计算待检索哈希码与存储的哈希码之间的汉明距离，然后以距离最小的哈希码对应的原始数据位置信息来提供原始数据检索结果。

所述的方法，所述的步骤二中，云中心全局参数是通过下式获取：