[发明专利]基于深度强化学习的安全性虚拟网络映射方法

说明书

一种基于深度强化学习的安全性虚拟网络映射方法，属于网络技术与人工智能网络领域。基于虚拟网络架构的网络资源分配面临一系列的安全挑战与危机，所提出的安全性虚拟网络映射方法从资源分配的角度出发，通过网络建模，属性设置，属性提取，策略网络模型搭建以及深度强化学习代理训练与测试等关键步骤完成整个虚拟网络映射过程，即网络资源的分配过程。该过程重点提取了网络的安全属性进行训练，在满足用户安全需求的基础上进行网络资源的分配。与其他安全性虚拟网络映射方法相比，本发明方法具有更好的虚拟网络映射收益，收益消耗比和虚拟网络请求接受率等性能。

技术领域

本发明属于计算机网络与人工智能领域，特别是一种应用深度强化学习技术保障虚拟网络资源分配安全性的方法。

背景技术

在过去几十年中，Internet支持了大量的网络技术和分布式应用，为人类社会的发展做出巨大贡献。但是随着网络科技的迅速发展与网络用户的爆发式增长，传统的Internet架构在服务交付过程中面临巨大压力。加上人工智能产业的大规模部署与应用，更是给Internet架构带来了严峻挑战，尤其是在网络资源分配方面。传统的Internet架构采用“尽力而为”的服务交付模式，在新技术、新协议的部署以及服务人工智能应用方面开始变得逐步僵化。网络安全是网络技术发展面临的一个关键问题，特别是在网络资源分配时，更容易受到黑客或恶意软件的威胁与攻击。

网络虚拟化(Network Virtualization,NV)是近几年发展起来的一项具有广泛应用前景的技术。它的核心思想是在底层物理网络上抽象出多个逻辑上的虚拟网络，各个虚拟网络的拓扑结构和使用的路由算法可能不同，同时它们可以共享底层网络资源并使用相互独立的协议体系。虚拟网络功能的实现不再依赖于特定的硬件(路由，交换，防火墙等)，而是依靠软件编程的方式实现特定的网络功能。因此，网络虚拟化被认为是解决Internet架构僵化的有效途径。虚拟网络映射(Virtual Network Embedding,VNE)是网络虚拟化最关注的问题之一。虚拟网络映射主要是指根据用户的差异化网络功能需求，在满足底层网络资源，位置和控制访问等约束的条件下，合理高效地为用户功能分配网络资源，尽可能多地满足虚拟网络请求的网络资源。因此，虚拟网络映射本质上就是虚拟网络资源的分配问题。

不可忽视的是网络虚拟化在为网络架构带来灵活性的同时，也给数据中心和用户网络带来了新的安全问题与挑战。一方面，传统的安全产品和安全解决方案不适用于虚拟网络架构下产生的新的安全问题。另一方面，网络虚拟化自身也面临一些安全问题，尤其是在网络资源分配过程中并没有专门的安全机制保障。网络虚拟化面临的典型安全挑战还有安全策略难以迁移，网络流量不可见，控制器单点失效和控制信息难以验证等。本方法从虚拟资源分配的角度出发，设计安全性的虚拟网络映射算法来应对网络虚拟化面临的安全挑战。

近年来随着人工智能，云计算和物联网等领域的兴起，利用智能学习算法来解决生产生活中面临的现实问题已成为一种趋势。深度学习(Deep Learning,DL)和强化学习(Reinforcement Learning,RL)作为智能学习算法的优秀代表，它们的应用前景也更加广泛。深度学习主要是将神经网络作为训练模型，通过学习数据样本的内在规律和表示层次来使计算机拥有像人一样甚至超越人类的信息处理和分析学习能力。强化学习主要是指一个智能体不断地与环境进行交互来累积奖励的过程的学习方式。智能体通过对环境施加一定的动作来改变环境状态，并获得环境返回的一个奖励信号，智能体的最终目的是最大化该奖励。因此可以将深度学习的感知能力与强化学习的决策能力进行结合，利用深度强化学习(Deep Reinforcement Learning,DRL)来解决安全性的虚拟网络映射问题。

综上所述，为了克服传统Internet的固有弊端，有必要发展和应用以虚拟网络为基础的新型网络架构。同时为了应对虚拟网络架构可能面临的一系列安全问题，设计安全性能更好的VNE算法可以有效维护虚拟网络资源分配的安全，进而为虚拟网络架构的使用提供安全性保障。

发明内容