[发明专利]基于深度强化学习实现人脸识别端边卸载计算方法及装置

说明书

本发明公开了一种基于深度强化学习实现人脸识别端边卸载计算方法及装置，包括：获取真实的人脸图片，根据边端人脸识别模型训练得到分类数据，其中，分类数据包括图片名称、id、图片提取出的128维特征向量、终端预测置信度、终端预测值、边缘预测值；将深度学习与强化学习进行结合，定义马尔科夫决策过程的状态空间、动作集、奖励函数和智能体；根据定义好的马尔科夫决策过程，构建Actor神经网络和Critic神经网络，使用分类数据对构建好的Actor神经网络和Critic神经网络进行训练，获得智能卸载决策模型；对智能卸载决策模型的性能与基准查询策略进行对比评估；根据对比评估的结果，将智能卸载决策模型部署到智能终端设备中，进行人脸识别的任务卸载决策。

技术领域

本发明涉及计算机边缘智能技术领域，尤其涉及一种基于深度强化学习(DeepReinforcement Learning，DRL)实现人脸识别端边卸载计算方法及装置。

背景技术

近年来，随着万物互联时代的到来和5G网络的普及，网络边缘的设备数量和其产生的数据量都急剧增长。另外，智能终端设备已成为人们生活的一部分，人们对服务质量的要求有了进一步提升。在这种情况下，以云计算为代表的集中式处理模式将无法高效地处理边缘设备产生的数据，无法满足人们对服务质量的需求。这时，边缘计算的出现正好解决了这一系列问题，边缘计算设备处理了部分产生的临时数据，不再需要将全部数据上传至云端，只需要传输有价值的数据，这极大地减轻了网络带宽的压力，且减少了对计算存储资源的需求。尤其是当下人工智能领域的快速发展，智能终端设备的计算能力已经无法满足我们的需求。这个时候就需要将计算任务在终端设备与边缘服务器上进行智能调度。而目前我们对于视频人脸识别的端边协同还没有一个性能完善的智能调度方法，无法及时合理的将终端设备上的人脸识别任务卸载到边缘服务器上进行计算，从而导致任务识别的精确性较低，并且对于计算资源的分配不合理。

发明内容

本发明实施例的目的是提供一种基于深度强化学习实现人脸识别端边协同卸载计算方法及装置，以解决现有存在的无法及时合理的将终端设备上的人脸识别任务卸载到边缘服务器上进行计算，从而导致任务识别的精确性较低，并且对于计算资源的分配不合理问题。

为了达到上述目的，本发明实施例所采用的技术方案如下：

第一方面，本发明实施例提供一种基于深度强化学习实现人脸识别端边卸载计算方法，包括：

获取真实的人脸图片，根据边端人脸识别模型训练得到分类数据，其中，所述分类数据包括图片名称、id、图片提取出的128维特征向量、终端预测置信度、终端预测值、边缘预测值；

将深度学习与强化学习进行结合，定义马尔科夫决策过程的状态空间、动作集、奖励函数和智能体；

根据定义好的马尔科夫决策过程，构建Actor神经网络和Critic神经网络，使用所述分类数据对构建好的Actor神经网络和Critic神经网络利用A2C算法进行训练，获得智能卸载决策模型；

对所述智能卸载决策模型的性能与基准查询策略进行对比评估；

根据对比评估的结果，将智能卸载决策模型部署到智能终端设备中，进行人脸识别的任务卸载决策。

进一步地，所述状态空间包括当前与上一时间步的人脸特征的欧式距离偏差、上一个时间步终端的人脸识别的预测值、上一个时间步终端人脸识别的置信度、上一个时间步边缘侧的人脸识别的预测值、当前时间、上一个时间步终端的人脸识别预测集、剩余的查询步数、终端的查询决策、边缘侧的查询决策。

进一步地，所述动作集包括查询终端缓存、查询边缘缓存、查询终端当前预测、查询边缘当前预测四个动作。

进一步地，根据定义好的马尔科夫决策过程，构建Actor神经网络和Critic神经网络，使用所述分类数据对构建好的Actor神经网络和Critic神经网络进行训练，获得智能卸载决策模型，包括：