[发明专利]一种间歇式机器学习训练方法

说明书

本发明提供了一种间歇式机器学习训练方法，包括如下步骤：①任务分解：将一项机器学习的训练任务，分解成多个子任务；②训练衔接：对每一子任务分别训练，除第一项开始的子任务之外，每一子任务开始前均做衔接处理。本发明能有效降低大型机器学习的宕机风险，使得高端配置硬件系统更加科学合理地处理硬件保护和大型耗时训练之间的矛盾；使得无经济条件购买昂贵计算机的机器学习爱好者能够在低端配置机型开展机器训练，学习相关知识。

技术领域

本发明涉及一种间歇式机器学习训练方法，属于人工智能技术领域。

背景技术

人工智能正在深刻地改变着我们的生活，从智能家居到无人驾驶，从图像分类和语音识别到人机交互系统的实现都有人工智能的足迹。人工智能经历从早期的简单智能到深度学习的发展历程，其发展驱动在于高性能显卡对计算能力的提升。深度学习通过组合低层特征形成更加抽象的高层特征或类别，从而从大量的输入数据中学习有效特征表示，并把这些特征用于分类、回归和信息检索的一种技术。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字、图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。当前深度学习使用的场景主要在无人驾驶，人脸识别，拍照购，智能客服，文字识别，语音识别，目标检测，图片分类等方面。

深度学习的两个要素包括数据集和网络模型，将数据集的数据按照设置的批量分批次输入网络模型进行训练，比较训练结果和标准结果得到损失函数，反馈性地指导模型参数的更新，如此循环迭代，直到损失函数降至最低为止。训练结束后，生成一个诸如.h5格式的文件，作为分类器等。机器训练是在主机上安装Tensorflow等训练软件进行，对于简单的训练任务，如果电脑配置低，需要长时间的训练。对于复杂的训练任务，低配电脑无法胜任，往往需要专业级的深度学习主机，进行长时间的训练才能得到结果。因此，机器学习网络尤其是深度网络模型的训练是一个特别耗时的任务。尤其是一些有实际应用价值的网络模型，往往需要专业级深度学习主机在长时间开机训练下才能完成。然而，在深度学习网络的训练中往往需要电脑长时间开机，CPU、硬盘、内存、显卡等主要部件处于长时间运行状态。长时间开机工作的坏处在于(1)各个核心部件长时间工作将导致持续发热温度上升，各部件长时间在高温下工作将加快老化；(2)训练过程中，硬盘的大量数据集将持续分批次输送到内存，增加内存的负担，很容易使得管理紊乱，导致内存崩溃。根据实际经验，长时间开机会使得内存出现故障，显示器对鼠标和键盘均无响应，训练终止，训练结果无保存，训练统计曲线无生成，前功尽弃。这时，需要打开机箱拔出内存条，用橡皮擦拭金手指，才能使得内存恢复正常，又从头开始训练。

发明内容

为解决上述技术问题，本发明提供了一种间歇式机器学习训练方法，该间歇式机器学习训练方法能尽可能确保绝大部分设备都能顺利完成大型耗时机器训练任务，同时确保硬件系统各部件使用寿命长、故障率低。

本发明通过以下技术方案得以实现。

本发明提供的一种间歇式机器学习训练方法，包括如下步骤：

①任务分解：将一项机器学习的训练任务，分解成多个子任务；

②训练衔接：对每一子任务分别训练，除第一项开始的子任务之外，每一子任务开始前均做衔接处理。

所述衔接处理包括对训练结果的衔接处理、对超参数的衔接处理、对训练曲线的衔接处理。

所述对训练结果的衔接处理为，每一子任务在进行时，以迁移学习的方式导入前次进行的子任务训练结果作为初始值。

所述对超参数的衔接处理为按照每一子任务在进行时，以迁移学习的方式导入前次进行的子任务的超参数设置作为设置值。

对训练曲线的衔接处理为按照每一子任务在进行时，以迁移学习的方式导入前次进行的子任务的损失函数值、准确度。

所述多个子任务的损失函数一致。