[发明专利]在线训练方法、装置、系统及计算机可读存储介质

权利要求书

1.一种在线训练方法，其特征在于，包括：

基于实时的训练样本数据，获取所述训练样本数据对应的模型参数集合，所述模型参数集合包括深度神经网络模型的部分模型参数；

基于所述训练样本数据以及所述模型参数集合，获取所述模型参数集合中的至少一个模型参数的梯度信息，每个梯度信息用于指示一个模型参数的更新方向；

基于所述至少一个模型参数的梯度信息以及所述至少一个模型参数，获取至少一个目标模型参数；

基于所述至少一个模型参数的梯度信息以及所述至少一个目标模型参数，对所述深度神经网络模型进行更新，得到目标模型。

2.根据权利要求1所述的方法，其特征在于，所述基于实时的训练样本数据,获取所述训练样本数据对应的模型参数集合，包括：

从开源流处理平台中获取实时的训练样本数据；

提取所述训练样本数据的至少一个特征；

基于所述至少一个特征，获取所述至少一个特征对应的模型参数。

3.根据权利要求2所述的方法，其特征在于，所述基于所述至少一个特征,获取所述至少一个特征对应的模型参数，包括：

基于一致性哈希原则以及所述至少一个特征，获取所述至少一个特征对应的模型参数。

4.根据权利要求1所述的方法，其特征在于，所述基于所述训练样本数据以及所述模型参数集合,获取所述模型参数集合中的至少一个模型参数的梯度信息，包括：

采用所述训练样本数据以及所述模型参数集合中的至少一个模型参数，对本地模型进行更新；

对更新后的本地模型进行计算，得到所述至少一个模型参数的梯度信息。

5.一种在线训练方法，其特征在于，所述方法包括：

训练节点设备在接收到实时的训练样本数据后，向元信息服务器发送参数分片服务器列表请求，所述参数分片服务器列表请求包括所述至少一个特征；

所述元信息服务器基于所述参数分片服务器列表请求以及一致性哈希原则，向对应的训练节点设备发送对应的参数分片服务器列表，所述参数分片服务器列表用于指示所述训练节点设备分配到的参数分片服务器；

所述训练节点设备基于一致性哈希原则以及所述训练样本数据的至少一个特征，向对应的参数分片服务器发送模型参数请求，所述模型参数请求包括所述至少一个特征；

参数分片服务器基于接收到的模型参数请求，向对应的训练节点设备发送对应的模型参数集合，每个模型参数集合包括深度神经网络模型的部分模型参数；

所述训练节点设备基于所述训练样本数据以及接收到的模型参数集合，获取所述接收到的模型参数集合中的至少一个模型参数的梯度信息，每个梯度信息用于指示一个模型参数的更新方向；

所述参数分片服务器基于获取到的所述至少一个模型参数的梯度信息以及所述至少一个模型参数，获取至少一个目标模型参数；

所述参数分片服务器向分布式文件系统周期性发送增量集合，所述增量集合为在预设时间内获取的所述至少一个目标模型参数以及所述至少一个模型参数的梯度信息的集合，所述分布式文件系统用于存储各个设备发送的数据；

用户节点设备基于所述分布式文件系统中存储的至少一个增量集合，对所述深度神经网络模型进行更新，得到目标模型。

6.根据权利要求5所述的方法，其特征在于，每个参数分片服务器包括主节点设备和从节点设备，所述主节点设备用于承担参数分片服务器的功能，所述从节点设备为主节点设备的备用节点设备；

相应地，每个训练节点设备向所述元信息服务器发送主节点设备列表请求，所述主节点设备列表请求包括所述至少一个特征；

所述元信息服务器基于所述主节点设备列表请求以及一致性哈希原则，向对应的训练节点设备发送对应的主节点设备列表，所述主节点设备列表用于指示所述训练节点设备分配到的主节点设备。

7.根据权利要求5所述的方法，其特征在于，每个训练节点设备具有自定义算子，所述自定义算子包括读算子和写算子，所述自定义算子用于执行一种自定义操作；

相应地，所述读算子用于执行读操作，所述写算子用于执行写操作。