[发明专利]信息处理设备、信息处理方法及计算机可读记录介质

权利要求书

1.一种信息处理设备，包括：

多个操作装置；以及

对应于所述多个操作装置的多个存储装置，

其中，所述多个操作装置中的每个操作装置：

向表示神经网络并且包括所述多个操作装置之间共同的第一权重的模型输入与由其他操作装置使用的第一数据不同的第一数据，基于所述模型的输出计算针对所述第一权重的误差梯度，并且对所述误差梯度和由所述其他操作装置计算出的其他误差梯度进行合并以获得经合并的误差梯度，

将所述第一权重存储在所述多个存储装置中的对应存储装置中并且基于与由所述其他操作装置使用的超参数值不同的超参数值、所述经合并的误差梯度和所述第一权重将所述模型的权重更新为第二权重，

将所述多个操作装置之间共同的第二数据输入至所述模型，评估所述模型的输出的精度，将所述精度的评估结果与由所述其他操作装置获取的评估结果进行比较，并且选择所述多个操作装置之间共同的超参数值，以及

基于所选择的超参数值、所述经合并的误差梯度和存储在所述对应存储装置中的所述第一权重将所述模型的权重更新为第三权重。

2.根据权利要求1所述的信息处理设备，其中，在与所述多个操作装置相对应的多个超参数值中，与实现了最高输出精度的操作装置相对应的超参数值被选择为所述多个操作装置之间共同的超参数值。

3.根据权利要求1所述的信息处理设备，其中，与由所述其他操作装置使用的超参数值不同的超参数值是通过将与由所述其他操作装置使用的调整系数不同的调整系数应用于所述多个操作装置之间共同的超参数基本值来生成的。

4.根据权利要求1所述的信息处理设备，其中，

向由所述多个操作装置中的每个操作装置执行的过程分配标识信息，

与由所述其他操作装置使用的超参数值不同的超参数值是根据分配给对应过程的标识信息来确定的，并且

所述多个操作装置之间共同的标识信息中的一项是基于所述精度的评估结果与由所述其他操作装置获取的评估结果之间的比较来选择的，并且所述多个操作装置之间共同的超参数值是根据所选择的标识信息中的一项来确定的。

5.根据权利要求1所述的信息处理设备，其中，

所述模型包括多个第一权重，并且

以并行方式执行：针对所述多个第一权重中误差梯度未被计算的第一权重的误差梯度的计算，以及已经计算出的误差梯度在所述多个操作装置之间的传送。

6.一种信息处理方法，其由包括多个操作装置的计算机执行，所述信息处理方法包括：

使所述多个操作装置中的每个操作装置向表示神经网络并且包括所述多个操作装置之间共同的第一权重的模型输入与由其他操作装置使用的第一数据不同的第一数据，基于所述模型的输出计算针对所述第一权重的误差梯度，并且对由所述多个操作装置计算出的所述误差梯度进行合并以获得经合并的误差梯度，

使所述多个操作装置中的每个操作装置将所述第一权重存储在对应存储装置中并且基于与由所述其他操作装置使用的超参数值不同的超参数值、所述经合并的误差梯度和所述第一权重将所述模型的权重更新为第二权重，

使所述多个操作装置中的每个操作装置将所述多个操作装置之间共同的第二数据输入至所述模型，评估所述模型的输出的精度，比较由所述多个操作装置执行的评估的结果，并且选择所述多个操作装置之间共同的超参数值，以及

使所述多个操作装置中的每个操作装置基于所选择的超参数值、所述经合并的误差梯度和存储在所述对应存储装置中的所述第一权重将所述模型的权重更新为第三权重。

7.一种非暂态计算机可读记录介质，其中存储有使包括多个操作装置的计算机执行包括以下操作的处理的计算机程序：

使所述多个操作装置中的每个操作装置向表示神经网络并且包括所述多个操作装置之间共同的第一权重的模型输入与由其他操作装置使用的第一数据不同的第一数据，基于所述模型的输出计算针对所述第一权重的误差梯度，并且对由所述多个操作装置计算出的所述误差梯度进行合并以获得经合并的误差梯度，

使所述多个操作装置中的每个操作装置将所述第一权重存储在对应存储装置中并且基于与由所述其他操作装置使用的超参数值不同的超参数值、所述经合并的误差梯度和所述第一权重将所述模型的权重更新为第二权重，

使所述多个操作装置中的每个操作装置将所述多个操作装置之间共同的第二数据输入至所述模型，评估所述模型的输出的精度，比较由所述多个操作装置执行的评估的结果，并且选择所述多个操作装置之间共同的超参数值，以及

使所述多个操作装置中的每个操作装置基于所选择的超参数值、所述经合并的误差梯度和存储在所述对应存储装置中的所述第一权重将所述模型的权重更新为第三权重。