[发明专利]基于深度强化学习实现人脸识别端边卸载计算方法及装置

权利要求书

1.一种基于深度强化学习实现人脸识别端边卸载计算方法，其特征在于，包括：

获取真实的人脸图片，根据边端人脸识别模型训练得到分类数据，其中，所述分类数据包括图片名称、id、图片提取出的128维特征向量、终端预测置信度、终端预测值、边缘预测值；

将深度学习与强化学习进行结合，定义马尔科夫决策过程的状态空间、动作集、奖励函数和智能体；

根据定义好的马尔科夫决策过程，构建Actor神经网络和Critic神经网络，使用所述分类数据对构建好的Actor神经网络和Critic神经网络利用A2C算法进行训练，获得智能卸载决策模型；

对所述智能卸载决策模型的性能与基准查询策略进行对比评估；

根据对比评估的结果，将智能卸载决策模型部署到智能终端设备中，进行人脸识别的任务卸载决策。

2.根据权利要求1所述的一种基于深度强化学习实现人脸识别端边卸载计算方法，其特征在于，所述状态空间包括当前与上一时间步的人脸特征的欧式距离偏差、上一个时间步终端的人脸识别的预测值、上一个时间步终端人脸识别的置信度、上一个时间步边缘侧的人脸识别的预测值、当前时间、上一个时间步终端的人脸识别预测集、剩余的查询步数、终端的查询决策、边缘侧的查询决策。

3.根据权利要求1所述的一种基于深度强化学习实现人脸识别端边卸载计算方法，其特征在于，所述动作集包括查询终端缓存、查询边缘缓存、查询终端当前预测、查询边缘当前预测四个动作。

4.根据权利要求1-3任一项所述的一种基于深度强化学习实现人脸识别端边卸载计算方法，其特征在于，根据定义好的马尔科夫决策过程，构建Actor神经网络和Critic神经网络，使用所述分类数据对构建好的Actor神经网络和Critic神经网络利用A2C算法进行训练，获得智能卸载决策模型，包括：

步骤(3.1)，初始化状态空间，从所述分类数据中随机选取一组数据并赋值给对应状态；

步骤(3.2)，构建Actor神经网络，输入步骤(3.1)中得到的状态空间到Actor神经网络中，然后Actor神经网络会从动作集来选取一个动作并输出；

步骤(3.3)，将步骤(3.2)得到的动作以及当前时刻状态输入到仿真环境中以后，将由奖励函数根据t时刻人脸识别任务的精确度与动作的开销系数返回从环境中获得的奖赏，然后时刻更新到t+1并更新状态空间；

步骤(3.4)，构建Critic神经网络，输入动作和步骤(3.3)更新后的状态空间后，Critic神经网络将输出对动作的反馈值；

步骤(3.5)，Actor神经网络将根据Critic神经网络对动作的反馈值来重新调整网络权重系数；

步骤(3.6)，经过多轮迭代训练，直到奖励函数收敛，获得智能卸载决策模型。