[发明专利]基于隐式空间映射的端到端边缘智能模型搜索方法和系统

说明书

本发明公开了一种基于隐式空间映射的端到端边缘智能模型搜索方法和系统，本发明方法包括随机选择搜索种子；获取在隐空间内的连续表征表示e_i；计算超参数；计算搜索种子的模型精度、模型参数量的梯度；在隐空间内开展神经网络结构搜索，得到新搜索种子在隐空间内的连续表征表示e′_i并解码重构为新搜索种子；重复上述步骤直至满足预设的终止条件。本发明能够协同处理模型精度和模型复杂度，可沿多种维度进行模型结构搜索，独立性也高，可通过端到端的训练和搜索，使得该过程可以高效、便捷的实施，满足多种应用场景下神经网络结构的搜索，亦可扩展至其他维护的搜索条件。

技术领域

本发明涉及计算机边缘计算和人工智能领域，具体涉及一种基于隐式空间映射的端到端边缘智能模型搜索方法和系统。

背景技术

随着人工智能(AI)技术的广泛应用，越来越多的场景需要将基于深度学习的AI模型运行在计算资源受限的边缘设备上，以满足减少计算时延、降低数据传输带宽、缓解计算中心压力、提高业务可用性、保护数据安全和隐私等需求。因此，边缘智能(EI)这种计算模式得到了快速的发展，而高精度且小规模的神经网络模型对EI就显得尤为重要。然而，限于边缘设备的计算能力和计算资源，以及计算任务实时性等的要求，高精度、高效率、小规模神经网络模型的设计工作是非常困难的。传统的设计方法，是通过对现有的神经网络模型进行压缩、剪枝和参数量化等操作，使得这些规模庞大的神经网络模型能够适应EI的要求。如今，随着神经网络结构搜索(NAS)技术的发展，已经越发展示出其在神经网络设计方面的优势和潜力。分析现有方法，可以发向利用NAS技术进行面向EI的神经网络模型自动化设计过程还是比较复杂，主要表现为现有NAS技术的设计模式和EI应用的需求不匹配上，即NAS技术主要面向的是高性能神经网络结构的搜索工作，其设计初衷并未考虑模型规模这一因素。此外，现有的NAS技术在实际使用时还需要同其他方法结合起来共同使用，才能够实现神经网络模型的自动化搜索。

根据搜索方式的不同，目前的NAS方法主要可以分为两类，一类是基于强化学习的搜索方法，另一类是基于梯度优化的搜索方法。基于强化学习的搜索方法通过逐层迭代的方式来获得最终的网络结构，将每一层的卷积核宽度、高度、通道数、步长等，均预设一定的候选值，然后控制器会将每一层的参数选择当成一个分类任务进行处理，每迭代一次会输出目标神经网络一层的结构。迭代完成后，将生成的神经网络的性能评测结果(如，模型精度)作为反馈信息，反向传播回控制器，并基于此来更新控制器的搜索策略，从而使得搜索到的结果是满足任务需求的。不同于强化学习这种基于离散表征的搜索方法，基于梯度优化的方法将离散的神经网络结构映射至连续空间，从而实现对离散的网络结构进行参数化连续表示，从而利用梯度信息对结构参数进行优化搜索。

无论是基于强化学习的搜索方法，还是基于梯度优化的搜索方法，虽然都能够针对特定的应用场景给出超越人工设计高精度神经网络模型，但是对于EI这一应用领域所需要的模型，还是不能保证输出的结果能够直接运行于资源受限的边缘设备上。大部分情况下，还需要人工辅助进行模型压缩和适应性优化处理，才可以满足EI应用场景。这主要是由于在执行NAS搜索的过程，现有方法都只能在一个维度上进行搜索，即只能保证模型精度，无法协同处理模型精度和模型复杂度这一对相互影响且又相互对立的因素。

综上所述，现有搜索方法无法协同处理模型精度和模型复杂度、只能沿单一维度进行模型结构搜索，且使用过程依赖于其他方法。

发明内容

本发明要解决的技术问题：针对现有搜索方法无法协同处理模型精度和模型复杂度、只能沿单一维度进行模型结构搜索，且使用过程依赖于其他方法的问题，提供一种基于隐式空间映射的端到端边缘智能模型搜索方法和系统，本发明能够协同处理模型精度和模型复杂度，可沿多种维度进行模型结构搜索，独立性也高。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于隐式空间映射的端到端边缘智能模型搜索方法，包括：

1)随机选择指定数量的神经网络结构作为搜索种子；