[发明专利]基于工业质检领域机器学习模型的产品缺陷检测方法

说明书

本发明提供了一种基于工业质检领域机器学习模型的产品缺陷检测方法，包括：步骤1：将分布式训练模型存储至分布式存储服务器中；步骤2：将训练数据集和验证数据集存储至分布式存储服务器中；步骤3：利用训练数据集对分布式训练模型分别进行训练，并利用验证数据集进行验证；步骤4：利用训练后的分布式机器学习模型对产品缺陷进行检测。

技术领域

本发明属于测量测试技术领域，具体涉及缺陷检测技术领域，具体地，尤其是基于工业质检领域机器学习模型的产品缺陷检测方法，可以应用于高端装备、新能源汽车的零部件制造过程中的背景技术质检环节。

背景技术

随着数据量越来越多以及模型层数的越来越复杂，训练深度学习模型需要的资源也越来越多，单台机器的单张显卡或多张显卡已经不能满足日益增长的资源需求，迫切需要一种技术能够将多台机器上的多张显卡整合起来实现模型训练速度的提高；

在使用单台机器进行模型训练的方式下，分散在多台机器上的少量显卡资源无法启动需要大规模资源的训练任务，用户提交的训练任务只能在队列中处于等待状态，这意味着在没有足够资源启动训练任务的机器上，少量显卡资源出现空闲，造成机器显卡资源的浪费；

集群规模在不断扩大，集群中任意时刻出现任意一台机器故障的概率也在增加，当节点出现故障时，缺乏容错机制的训练任务往往只能判定失败，需要人为在其他机器上重新启动任务。在深度学习的训练中，根据训练数据的量级和算力规模大小，多个轮次的模型训练有可能耗时几小时甚至几天，如果用户没有实时监控任务的训练状态，当用户发现训练任务失败时，只能被迫接受最近训练结果丢失的事实，并承受重新进行任务调度的时间成本，模型的迭代周期也有变长的风险;

基于硬件厂商在产品定价时对于边际效应的熟练使用，顶级显卡的采购价格是次顶级显卡的两倍以上，但顶级显卡带来的性能提升却只有20%-30%左右，成本上升并未带来对应的性能提升，这就需要有方法使用成本更低的非顶级显卡进行组合，使其达到硬件综合性能的提升，来满足日益增长的训练资源需求。

基于以上需求，迫切需要一种技术既能使用多台服务器快速提高算力来满足模型训练的要求，又能在增加硬件服务器的同时提高硬件的使用率降低硬件使用成本。

专利文献CN111814968B（申请号：202010957906.8）公开了一种用于机器学习模型的分布式训练的方法和装置。该方法包括：在分布式训练的预设数量次迭代步骤中，获取当前迭代步骤的次序；所述预设数量与所述N成对数关系；基于次序，从N个节点中获取一个节点作为当前节点在当前迭代步骤中的目标节点；与目标节点通信，获取目标节点共享的模型信息；根据当前节点的模型信息和目标节点的模型信息更新当前节点的机器学习模型，以在完成预设数量次迭代步骤后各节点的机器学习模型同步获得所述N个节点的模型信息。

本发明通过分布式训练方法提高了算法模型的训练速度和硬件资源的利用率，降低了缺陷检测的成本和时间。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于工业质检领域机器学习模型的产品缺陷检测方法。

根据本发明提供的一种基于工业质检领域机器学习模型的产品缺陷检测方法，包括：

步骤1：将分布式训练模型存储至分布式存储服务器中；

步骤2：将训练数据集和验证数据集存储至分布式存储服务器中；

步骤3：利用训练数据集对分布式训练模型分别进行训练，并利用验证数据集进行验证；

步骤4：利用训练后的分布式机器学习模型对产品缺陷进行检测。

优选地，包括：

步骤S1：根据当前训练任务ID生成Yaml参数文件存储路径，将Yaml参数文件保存至分布式存储服务器对应的存储路径中；