[发明专利]一种基于深度强化学习的虚拟现实语言任务卸载方法

说明书

本发明公开了一种移动虚拟现实语言交际模拟学习计算系统和方法，本发明通过构造一个具有能量收集功能的移动边缘计算系统，然后通过一个深度强化学习方法来生成边缘计算的任务卸载决策，该算法不需要任何手动标记的训练数据，并从过去的任务卸载经验中学习，通过强化学习来改进DNN产生的任务卸载动作；通过收缩本地搜索法来提高算法的收敛速度，训练后的DNN网络能够实现在线实时的任务卸载决策；该方法在考虑任务卸载计算的同时，兼顾了能量收集，能够解决移动终端的能量受限问题；该方法利用移动边缘计算和云计算协同解决了虚拟现实、增强现实这些新兴领域中大规模计算的时延和能耗问题，能够让用户在移动环境下实现虚拟现实语言交际的模拟学习。

技术领域

本发明属于移动虚拟现实技术领域，具体涉及一种基于深度强化学习的虚拟现实语言任务卸载方法。

背景技术

随着人工智能计算的快速发展，自然语言处理在计算机人机交互的研究中已取得突破性进展，但是语言的学习基于场景和环境，而新兴的虚拟现实技术能够为语言的学习提供沉浸式的学习和交互环境，是未来语言交际模拟学习的新热点。

然而，虚拟现实技术需要大量的图像计算资源和极低的通信延时，往往需要专门的虚拟现实设备和专用的通信线路。因此目前的虚拟现实设备均为虚拟现实专用设备且大多基于有线通信或超短距离无线通信。此外，移动环境下移动终端往往能耗受限，虚拟现实系统的计算需要大量的能耗，因此目前移动端的虚拟现实大多是一些很短时间的应用，难以实现长时间的语言交际模拟练习。基于移动环境下虚拟现实系统的设计是一个巨大的技术挑战。

随着物联网技术的发展，使得能量收集和移动边缘计算技术日趋成熟，因此结合了能量收集及移动边缘计算的虚拟现实系统能够有效地解决以上问题。因此，本发明设计了一种具有能量收集功能的移动边缘计算系统，并应用于移动环境下的虚拟现实语言交际模拟学习，使得移动终端能够在满足时延和能耗的前提下，快速地进行沉浸式的语言交际模拟学习。

发明内容

本发明的目的在于提供一种基于深度强化学习的虚拟现实语言任务卸载方法，将所述系统应用于虚拟现实语言交际训练，通过能量收集技术，移动终端的电池可以通过无线接口连续充电而无需更换电池；利用移动边缘计算层，移动终端可以将密集的虚拟现实计算任务和语言交际模拟学习计算任务卸载到附近的MEC(移动边缘计算)服务器，以减少计算延迟和能耗。

为了达到上述目的，本发明提供以下技术方案：

一种移动虚拟现实语言交际模拟学习计算系统，该系统由云计算层、移动边缘计算层和用户层组成，所述的云计算层包含一个云服务器(虚拟现实教学资源中心)；

该系统由云计算层、移动边缘计算层和用户层组成，所述的云计算层包含一个云服务器；

所述的移动边缘计算层包括若干个安装在无人机及无人汽车上的移动边缘计算(MEC)设备，形成异构的移动边缘网络，其中每个移动边缘计算设备包含能量发射模块、通信模块和MEC服务器；

所述的用户层包括若干个移动虚拟现实设备，其中每个移动虚拟现实设备包含能量收集模块、通信模块和处理器以及电池；云服务器通过无线信道向移动边缘计算层的通信模块、用户层的通信模块传输虚拟现实数据，并激活对应的语言交际模拟学习计算任务；

所述的移动边缘计算设备中通信模块与MEC服务器相连，能量发射模块与移动虚拟现实设备中的能量收集模块以无线链路的方式连接；所述的移动虚拟现实设备中的通信模块与处理器相连，电池对通信模块与处理器供能，并从能量收集模块接收能量。

本发明还提供一种基于深度强化学习的虚拟现实语言任务卸载方法，该方法包括以下步骤：

步骤一、根据当前用户的位置进行聚类分析，得到用户的分类，并根据分类用户的移动特性分配对应的无人机或无人汽车作为移动边缘计算设备；

步骤二、初始化一个深度神经网络DNN，网络参数θ随机产生；