[发明专利]横向联邦和纵向联邦联合方法、装置、设备及介质

说明书

本发明公开了一种横向联邦和纵向联邦联合方法、装置、设备和介质，所述横向联邦和纵向联邦联合方法包括获取可利用公共信息，并将所述可利用公共信息输入预设纵向联邦服务方，获得向量信息，基于所述向量信息，对所述预设纵向联邦服务方的纵向联邦模型进行训练，更新各预设强化学习模型的网络权重，定期将更新后的各所述预设强化学习模型输入预设横向联邦服务器，对更新后的各所述预设强化学习模型进行迭代更新。解决了现有技术中强化学习模型的计算系统资源消耗高的技术问题。

技术领域

本发明涉及金融科技(Fintech)的机器学习技术领域，尤其涉及一种横向联邦和纵向联邦联合方法、设备及介质。

背景技术

随着金融科技，尤其是互联网科技金融的不断发展，越来越多的技术(如分布式、区块链Blockchain、人工智能等)应用在金融领域，但金融业也对技术提出了更高的要求，如对金融业对应待办事项的分发也有更高的要求。

随着人工智能的逐步发展，利用强化学习在工业界进行最优化控制已经取得了广泛的研究，在现有技术中，强化学习模型通常利用自身收集的数据进行学习、优化和控制，但是，强化学习模型自身采集数据往往会产生一些困难，例如，无人车的高速雷达无法穿越遮挡，由于其图像传感器高度的限制，无人车无法获得更为全面的数据(如周围车辆的分布，运行状态等)，导致强化学习模型的样本处理效率低下，且模型控制性能差，进一步地，为了在样本处理效率低下，且模型控制性能差的情况下，为获得较好的最优化控制结果，仅仅通过强化学习模型自身独自进行学习、优化和控制，需要消耗大量的计算系统资源，所以，现有技术中存在强化学习模型的计算系统资源消耗高的技术问题。

发明内容

本发明的主要目的在于提供一种横向联邦和纵向联邦联合方法、装置、设备和介质，旨在解决现有技术中强化学习模型的计算系统资源消耗高的技术问题。

为实现上述目的，本发明实施例提供一种横向联邦和纵向联邦联合方法，所述横向联邦和纵向联邦联合方法应用于横向联邦和纵向联邦联合设备，所述横向联邦和纵向联邦联合方法包括：

获取可利用公共信息，并将所述可利用公共信息输入预设纵向联邦服务方，获得向量信息；

基于所述向量信息，对所述预设纵向联邦服务方的纵向联邦模型进行训练，更新各预设强化学习模型的网络权重；

定期将更新后的各所述预设强化学习模型输入预设横向联邦服务器，对更新后的各所述预设强化学习模型进行迭代更新。

可选地，所述基于所述向量信息，对所述预设纵向联邦服务方的纵向联邦模型进行训练，更新各预设强化学习模型的网络权重的步骤包括：

接收各所述预设强化学习模型发送的传感器数据，并基于所述传感器数据和所述向量信息，通过所述纵向联邦模型产生控制信息；

在所述控制信息对应的训练环境下，对所述纵向联邦模型进行训练，获得奖励信息和下一时间步状态信息；

将所述奖励信息、所述下一时间步状态信息和所述控制信息存储为样本信息，并基于所述样本信息，更新各所述预设强化学习模型的网络权重。

可选地，所述基于所述样本信息，更新各所述预设强化学习模型的网络权重的步骤包括：

将所述样本信息作为训练数据输入所述预设强化学习模型，以对所述预设强化学习模型进行训练，获得训练输出值；

将所述训练输出值与所述训练数据对应的真实输出值进行比对，获得模型误差值；

将所述模型误差值与预设误差阀值进行比对，若所述模型误差值小于所述预设误差阀值，则完成对所述预设强化学习模型的训练；

若所述模型误差值大于或等于所述预设误差阀值，则基于所述模型误差值更新所述预设强化学习模型的网络权重，对所述预设强化学习模型重新进行训练。