[发明专利]基于强化学习的旋转机械诊断网络自动搜索方法

说明书

本发明公开了一种基于强化学习的旋转机械故障诊断网络自动搜索方法，基于给定的诊断任务控制器根据子模型当前状态对子模型进行设计，接着利用诊断数据训练验证子模型，其验证精度又参与到对控制器的训练。方法执行过程中，子模型和控制器交替训练，最终控制器能针对具体诊断任务搜索出高诊断性能的子模型。在子模型训练过程中，方法设置了权值共享，有着相同权值数量的网络层在不同子模型中可重用，降低训练时间提高了搜索效率；在控制器训练过程中，应用了贪心策略，给予空间让控制器自由探索降低陷入局部最优的概率，应用了经验重放，让控制器交替工作训练避免学习过程中参数的振荡和发散，还应用了迭代更新，使用副控制器来预测下一状态的奖励，降低了回报期望与未来收益的相关性，提高控制器的训练稳定性。以上特点使得本发明方法在针对不同的诊断任务时能够高效地搜索出具有高诊断性能的网络模型，有效解决旋转机械状态诊断问题。

技术领域

本发明属于旋转机械故障诊断网络结构自动搜索方法技术领域，具体涉及基于强化学习的旋转机械诊断网络自动搜索方法。

背景技术

旋转机械组件如轴承、齿轮、滚珠丝杠等作为传动部件的核心组成部分应用非常广泛，重要性也日益突出。近年来，关于旋转机械健康管理的研究也越来越成熟，特别是旋转机械的故障诊断方法，从开始的经典方法，发展到现在以数据驱动方法为主，就是因为数据驱动的方法特别是深度学习的方法能自动提取数据特征，应用快速便捷，对专业知识要求较低。不过在面对不同的旋转部件对象时需要重新训练，甚至需要重新设计创建神经网络。根据具体问题设计特定的神经网络模型能取得非常高的诊断精度，缺点是网络结构复杂，涉及到很多信号处理及深度学习建模相关的知识，需要高昂的时间和人力成本。

为了解决这个问题，研究者们开始研究神经结构的自动搜索，面对具体的诊断任务可自动设计出高性能的网络模型，摆脱对建模知识的依赖。神经结构搜索的逻辑过程是首先定义搜索空间，然后通过搜索策略找出候选网络结构，对这些候选网络进行评估，再根据反馈进行下一轮搜索，在这个过程中，搜索策略是核心，因此在NAS的发展过程中除了基础的随机搜索策略外，还有基于强化学习的搜索，基于进化算法的搜索和基于梯度的搜索策略。因为强化学习本身的良好发展，基于强化学习的搜索研究相对活跃。麻省理工学者提出MetaQNN，它将网络架构搜索建模成马尔可夫决策过程，使用Q-learning算法逐层决策选取网络层类型和相应参数来产生CNN架构；谷歌学者采用RNN网络作为控制器来采样生成描述网络结构的字符串，然后创建、训练并验证子网络模型，并将验证精度作为标签再训练优化控制器的参数，使之能产生更高准确率的网络结构。神经结构搜索的研究不多，旋转机械的诊断网络自动搜索则更少，西工大作者基于强化学习创建了卷积神经网络结构搜索方法，能根据当前状态设计选择网络层创建子模型，经过验证搜索出的子模型能达到不错的精度。

这些方法需要巨大的搜索空间，因此需要很高的计算成本。谷歌的研究者们又提出了基于块的网络生成方法，通过搜索定制化的块，再按照预定义重复堆叠成子模型而不是直接搜索整个网络结构。这样虽然可以一定程度上提升搜索效率，但是降低了子模型的自由度，影响了模型的性能。

发明内容

针对现有技术方法存在的不足，本发明的目的在于提供一种基于强化学习的旋转机械诊断网络自动搜索方法，该方法解决了针对不同诊断任务重新设计高精度诊断模型依赖建模专业知识、神经结构自动搜索方法消耗大量计算资源的问题。

为实现上述目的，本发明一种基于强化学习的旋转机械诊断网络自动搜索方法，具体包括以下步骤：

S1、定义包含六种网络层的操作空间，设计最大十二层的状态空间；

S2、创建控制器，根据子模型当前拓扑状态做出决策，逐层从操作空间选择网络层搭建子模型，利用给定数据训练验证子模型并保存精度；

S3、根据子模型验证精度得到当前奖励值，将奖励值转化为回报，保存子模型拓扑结构和回报值，强化训练控制器优化其参数；