[发明专利]一种深度学习中参数交换方式的动态选择方法及系统

说明书

本发明提供一种深度学习中参数交换方式的动态选择方法及系统，通过在每个迭代完成后交换参数，即读取一个迭代的数据，计算完成后再交换数据，同时记录计算和参数交换所耗费的时间；以及在每层计算完成后交换参数，即读取运行一个深度学习网络迭代的数据，每层计算完成后再交换数据，同时记录计算和参数交换总共耗费的时间；比较参数交换的时间，根据比对结果动态选择深度学习的参数交换方式。本发明可以使深度学习框架能够自己判断哪种参数交换方式比较快，达到自适应的效果，从而在深度学习过程中发挥最佳性能。本发明可以自动采取效率更高的参数交换方式，达到提高深度学习性能的效果。

技术领域

本发明涉及计算机技术领域，特别是涉及一种深度学习中参数交换方式的动态选择方法及系统。

背景技术

深度学习本质上是构建含有多隐层的机器学习架构模型，通过大规模数据进行训练，得到大量具有代表性的特征信息。因为训练使用的数据规模庞大，所以深度学习的框架必然都是支持多设备、多主机并行的计算模式。在训练过程中，多设备多主机之间需要进行参数交换，以使计算结果可以共享，达到尽快收敛的效果。但是，因为机器学习架构模型、交换的参数大小、网络状况等的不同，目前的参数交换方式不能同时适用所有场景。并且，当前机器学习模型的参数交换方式一般是在训练前配置的，由使用人员根据经验决定配置何种方式，所以，目前的参数交换方式不能让机器学习模型达到最佳。而如果使用者想要选择最佳的参数交换方式，需要手动修改配置，分别进行训练，再手动记录时间信息进行比较，然后再修改配置进行训练；但是这部分工作不仅耗时，还依赖于使用者的经验和能力。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种深度学习中参数交换方式的动态选择方法及系统，用于解决现有技术中深度学习过程中参数交换方式不能同时适用所有场景以及耗时高的问题。

为实现上述目的及其他相关目的，本发明提供一种深度学习中参数交换方式的动态选择方法，包括以下步骤：

从用于深度学习的配置文件中读取可以使用的设备数量和数据量；

获取一个数据量大小的数据，根据所述一个数据量大小的数据运行一个完整的深度学习网络，并在整个深度学习网络运行完成后交换该深度学习网络的参数，记录完成一个完整的深度学习网络所使用的时间和参数交换的时间，记为第一计算时间和第一参数交换时间；

根据所述一个数据量大小的数据运行一个完整的深度学习网络，且在该深度学习网络每运行完一层后就交换一次参数，并记录计算使用的时间和参数交换的总时间，记为第二计算时间和第二参数交换时间；

将所述第一计算时间与所述第二计算时间进行比对，以及将所述第一参数交换时间与所述第二参数交换时间进行比对，并根据比对结果动态选择深度学习的参数交换方式。

可选地，还包括获取所述第一参数交换时间与所述第二参数交换时间的比对结果；

根据所述比对结果获取所述第一参数交换时间与所述第二参数交换时间的差值；

若所述差值与所述第一参数交换时间的比值高于预设阈值，则不适合采用深度学习网络每运行完一层后就交换一次参数的参数交换方式；反之，则适合采用深度学习网络每运行完一层后就交换一次参数的参数交换方式。

可选地，获取确定出的参数交换方式，并将该参数交换方式放至全局设置中，使后续训练中的深度学习网络自适应选择参数交换方式。

本发明还提供一种深度学习中参数交换方式的动态选择系统，包括有：

第一采集模块，用于从配置文件中读取可以使用的设备数量和数据量；所述配置文件用于深度学习中；

第二采集模块，用于获取一个数据量大小的数据；

第一参数交换模块，用于根据所述一个数据量大小的数据运行一个完整的深度学习网络，并在整个深度学习网络运行完成后交换该深度学习网络的参数；