[发明专利]构建通信算法数据库的方法、装置和计算机存储介质

说明书

本发明公开了一种构建通信算法数据库的方法、装置和计算机存储介质，该方法包括以下步骤：基于不同的软硬件配置和通信算法配置对预设用例进行机器学习模型训练；记录在不同的软硬件配置和通信算法配置下训练机器学习模型达到既定正确率所用的训练时间；将预设用例、不同的软硬件配置和通信算法配置和训练时间按照对应关系构建通信算法数据库。解决了现有的分布式机器学习中还存在如何优化并行训练中涉及到的通信算法的问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种构建通信算法数据库的方法、装置和计算机存储介质。

背景技术

机器学习，深度学习等领域的科学研究依赖大量的数据和计算资源支撑，随着计算机技术和大数据的发展，相关研究在近几年得以迅速发展。

大规模分布式机器学习任务通常基于能够快速完成浮点运算的大规模分布式系统，以便快速完成复杂模型的训练。具体来说，机器学习的模型类型，训练使用的数据量和分布式系统节点内的加速部件间的通信算法等因素均会影响训练速度。

目前大规模分布式计算平台通常按硬件需求使用时长计费，而大规模分布式机器学习通常需要进行大量的实验，且每次实验时间较长（数天甚至数周），所以成本很高。机器学习模型越复杂，所含的参数越多，越需要大数据集，因此需要更多的计算量才能训练出精确的模型。同时，对运行环境要求越来越高、占用资源也越来越多，这也抬高了其应用门槛。由于对于具体应用，机器学习模型和数据通常是固定的，因此优化并行训练中所涉及的通信算法就显得尤为重要了。

因此，现有的分布式机器学习中还存在如何优化并行训练中涉及到的通信算法的问题。

发明内容

本发明主要目的在于提供一种构建通信算法数据库的方法、装置和计算机存储介质，旨在解决现有的分布式机器学习中还存在如何优化并行训练中涉及到的通信算法的问题。

为实现上述目的，本发明提供一种构建通信算法数据库的方法，所述构建通信算法数据库的方法包括以下步骤：

基于不同的软硬件配置和通信算法配置对预设用例进行机器学习模型训练；

记录在不同的软硬件配置和通信算法配置下训练所述机器学习模型达到既定正确率所用的训练时间；

将所述预设用例、所述不同的软硬件配置和通信算法配置和训练时间按照对应关系构建通信算法数据库。

在一实施例中，还包括：

根据预设应用场景选取预设用例。

在一实施例中，所述预设应用场景包括：图像分类、自然语言分类；所述根据预设应用场景选取预设用例包括：

当应用场景为图像分类时，选取多层残差网络作为机器学习模型，基于ImageNet数据集进行训练；

当应用场景为自然语言分类时，选取转换式双向编码表征作为机器学习模型，基于通用语言理解评测数据集进行训练。

在一实施例中，所述通信算法配置包括：

设备连接的拓朴结构、信息传递模式、单次信息传递量、信息同步频率。

在一实施例中，所述设备连接的拓朴结构包括：

参数服务器结构、环状结构、多级树状结构、蜻蜓结构；

所述信息传递模式包括：

广播模式、散射模式、重组模式、整合模式。

在一实施例中，，所述基于不同的软硬件配置和通信算法配置对预设用例进行机器学习模型训练，包括：

确定硬件参数和机器学习框架；

确定通信算法的拓扑结构；