[发明专利]一种基于生成对抗网络的优化模型方法及应用

说明书

本发明公布了一种基于生成对抗网络的优化模型方法及应用，称为GAN‑O，包括步骤：将应用(如物流分配优化)表示为函数优化问题；根据函数优化问题的测试函数和测试维度，基于生成对抗网络建立函数优化模型，包括基于生成对抗网络构建生成器和判别器；训练函数优化模型；利用训练好的函数优化模型进行迭代计算，得到最优解；由此实现基于生成对抗网络的优化求解。本发明能够在更短的时间内获得更优的局部最优解，使得深度神经网络的训练稳定，具有更优秀的局部搜索能力。本发明可用于现实中可转化为函数优化问题的很多应用场景的问题比如物流分配问题等，应用领域广阔，能够解决大量的实际问题，极具推广应用价值。

技术领域

本发明涉及计算模型优化技术领域，尤其涉及一种基于生成对抗网络的新型优化模型方法及应用。

背景技术

函数优化问题一直以来都是数学和计算机科学领域里最重要的问题之一，现实中很多应用场景的问题都可以转化为函数优化问题，比如物流分配问题、深度网络优化问题等。函数优化问题的应用领域非常广阔，能够解决大量的实际问题。

对于函数优化问题，现有的算法主要都是基于梯度的算法，这类算法的缺点是非常容易陷入局部极值。对于一些问题，例如神经网络优化，局部极值通常已经具有足够优秀的效果，但在一些场景下，则需要更加精确的全局最优解，这时则需要算法能够更好地处理开采和探索之间的关系，来获取更优的全局最优解。为了更好的平衡“开采”与“探索”，大量的元启发式算法被提了出来。元启发式算法通常是受到生物行为或人类行为的启发，通过模拟该行为而设计复杂精巧的机制来指导算法去搜索解空间，从而避免局部最优解，尽可能地找到全局最优解。

对于元启发式算法来说，最关键的两个部分是如何生成解和如何保留解。对于生成解的部分，需要尽可能生成更优的解，但又希望生成的解不会聚到一起，而是有一定的多样性，从而不至于在之后的搜索中陷入局部极值；对于保留解的部分，需要尽可能保留当前更优的解，但又希望那些目前不那么优但是在之后的搜索中有潜力的解也能够被保留下来，因为在之后的探索中，可能会在它们附近搜索到优于当前最优解的解。早期的元启发式算法主要集中在优化生成解的方式上，比如粒子群优化算法、蚁群算法、遗传算法和烟花算法等。在最近的研究中，基于引导向量的方法被大量地提了出来，比如GFWA和COFWA等，通过引入引导向量对生成解加以限制，从而优化了解的生成质量，从而获得了更好的效果。

近年来，生成对抗网络作为一种新型的生成模型，被提出来用于图像和文本的生成，甚至可以对恶意软件做封装，它以出色的性能证明了其在生成能力上的强大。和以往的生成模型不同，生成对抗网络通过设定一个损失函数来指导生成模型去自动地学习如何去生成。在生成对抗网络中，可交替地训练一个判别器和一个生成器，其中判别器用于判别输入样本是来自生成样本还是真实样本，生成器则用于生成尽可能真实的样本，去欺骗判别器将其判别为来自真实样本，整个生成对抗网络的训练过程就像是一对警察和小偷的博弈和对抗，因此得名对抗生成网络。生成对抗网络已经在图像生成、视频合成、文本生成和信息安全等领域有了很多的研究进展。

综上，现有函数优化算法在局部搜索时缺乏多样性；而目前尚未出现将生成对抗网络方法用来解决函数优化问题，现有的生成方式效果不佳。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于生成对抗网络的新型优化模型方法及应用，可用于搜索连续函数的全局最优解，解决现有函数优化算法在局部搜索时缺乏多样性的问题。

本发明的原理是：本发明首先将应用问题(如物流分配问题、深度网络优化问题)表示为函数优化问题，基于生成对抗网络，将对抗生成的方法用于函数优化问题。首先训练了一个判别器去判别函数优化问题的两个解的优劣，然后训练一个生成器从已知解生成引导方向，再乘以一定的步长并加到当前解上，从而得到一个新的解，以这种方式去生成下一代解。本发明通过判别器和生成器之间的对抗训练，使得判别器可以判定输入的两个解中哪个解更优，同时生成器得到判别器的信号反馈，逐步学会了生成更优的解。实验表明，生成器在多次迭代后所学到的生成方式，比其他现有的生成方式(如高斯爆炸、交叉变异等)具有更好的效果。