[发明专利]一种嵌入式场景下基于边缘计算的图像分类调度方法

摘要

一种嵌入式场景下基于边缘计算的图像分类调度方法，首先，选择合适的图像分类模型，然后将选择的图像分类模型分别部署在嵌入式端和边缘端。其次，为图像生成的最佳分类器标签，将图像与对应生成的最佳分类器标签整合为训练数据。然后，构建随机森林与分类模型，将根据模型的分类结果为新到来的图像选择在嵌入式端或边缘端进行分类。最后，根据功耗和运行时间，制定图像分类调度方法的选择策略。该过程中采用的基于随机森林的图像分类调度方法，一方面有效降低嵌入式端的能量消耗和运行时间，另一方面能够提升整体的准确率。此外，本发明的方案选择的策略，能够根据对平均推理时间、平均能耗和准确率的偏好选择合适的调度方法。

主权项

1.一种嵌入式场景下基于边缘计算的图像分类调度方法，其特征在于，包括以下步骤：步骤1、选择候选的CNN图像分类模型，设计脚本在数据集上对模型进行测试，得到候选模型的推理时间和Top‑1结果，设计CNN图像分类模型的选择算法，根据测试结果选择合适的图像分类模型，然后将选择的图像分类模型分别部署在嵌入式端和边缘端，步骤包括：1)设计脚本在Tensorflow平台使用候选的的CNN图像分类模型对数据集D进行推理，得到候选模型的分类结果、推理时间以及能量消耗，其中能量消耗使用Monsoon Solutions能耗测量仪进行测量；2)设候选模型准确率集合为{P₁,P₂,…,P_N},推理时间时间集合为{T₁,T₂,…,T_N}，其中N为候选模型的数量，为每个候选模型计算准确率与运行时间的比值，为保证嵌入式端资源的最佳利用，选择比值最大的模型m₁部署在嵌入式端；3)提取模型m在数据集中分类错误的数据D₁，使用剩下的候选模型对D₁进行分类；得到新的准确率集合{P₁,P₂,…,P_N‑1}，选择其中准确率最高的模型m₂部署在边缘端；步骤2、设计脚本提取图像的特征，根据特征选择算法去除相关性强和重要性较低的特征；1)设计脚本通过SimpleCV库提取图像的关键点个数、边缘长度、边缘角度、面积周长比、色调、对比度、主要物体长宽比的特征数据；2)设计脚本通过PIL图像处理库提取图像的亮度均方根、感知亮度均方根、平均亮度、平均感知亮度的特征数据；3)使用Z‑score标准化公式将特征数据转换为服从标准正态分布的数据；步骤3、利用候选的图像分类模型的分类结果，设计脚本为图像生成的最佳分类器标签，将图像与对应生成的最佳分类器标签整合为训练数据；1)对标准化的特征数据计算皮尔森相关系数矩阵，去除相关系数较高的特征，得到特征集合{F₁,F₂,...,F_k}，其中k为留下特征的数量；2)使用递归特征消除法构建n个SVM模型，其中n为要去除的特征数且小于k，每构建一个SVM模型，去除一个权重最低的特征，最终留下k‑n个有效特征；步骤4、设计脚本使用生成的训练数据构建随机森林与分类模型，根据结果对随机森林算法进行调参得到最佳模型，使用随机森林预分类模型调度时，将根据模型的分类结果为新到来的图像选择在嵌入式端或边缘端进行分类；1)为所有图片生成一个集合{p_i,q_i|p_i,q_i∈{0,1},i＝1,…,s}，其中s为图像的数量，p_i为模型的分类结果,0表示分类不正确，1表示分类正确；2)为每张图片生成标签，若p_i＝1则将该图片标记为第一类，若p_i＝0，q_i＝1则将该图片标记为第二类，若p_i＝q_i＝0，则将图片标记为第三类，生成训练集D；步骤5、测量随机森林预分类模型调度、完全本地分类和完全上传分类的功耗和运行时间，制定图像分类调度方法。所述的其构建随机森林预分类模型包括以下步骤：1)使用训练集D₂，通过sklearn库构建随机森林模型。根据结果调节随机森林的中决策树数量参数，根据结果找到最佳数量；2)在最佳数量的基础上，根据结果调节随机森林中决策树的深度参数，根据结果找到最佳深度；3)使用随机森林预分类模型选择设备时，若输出标签为1类，则在嵌入式端进行分类，若输出标签为2类，则在传输至边缘端进行分类，若输出标签为三类，则由根据用户预先设置进行选择分类方式；所述的制定图像分类调度方法包括以下步骤：1)使用随机森林预分类模型的方法的运行时间和能量消耗定义如下，T_Feature为提取图像特征的平均时间，T_Upload为图像上传的平均时间，α为上传的比率，可在训练中获得，T_Delay为网络时延，P_Upload为图像上传时的平均功率，P_Feature为特征提取时的功率；2)制定完全本地调度的方法，根据候选模型在数据集D上的推理结果，选择准确率最高的CNN图像模型部署在嵌入式端，新图像将完全基于嵌入式端的CNN模型进行分类；3)制定完全上传调度的方法，根据候选模型在数据集D上的推理结果，选择准确率最高的CNN图像模型部署在边缘端，新图像从嵌入式端上传将完全基于边缘端的CNN模型进行分类，并在嵌入式端接收回传结果，由边缘设备处理图像分类任务时的时间和能量消耗定以如下，E_Server为边缘设备的推理功耗。4)使用Monsoon Solutions能耗测量仪测量基于随机森林预分类模型调度方法、完全本地调度的方法和完全上传调度的方法的平均能耗，并编写脚本统计和计算分别使用三种方法分类图像的平均运行时间；5)当嵌入式端未连接网络时，边缘计算设备无法工作，因此使用完全本地处理的方法对图像进行分类，若嵌入式端已处于联网状态，边缘计算设备可用时，则可以根据使用者的倾向选择基于随机森林预分类模型调度方法或完全上传方法。当使用者倾向于时间优先时，对比基于随机森林预分类模型调度方法的时间成本和完全上传方法的时间成本若则使用基于随机森林预分类模型调度方法，否则使用完全上传方法；当使用者倾向于功耗优先时，对比基于随机森林预分类模型调度方法的功耗成本E_Mix和完全上传方法的功耗成本E_Server，若E_Mix<E_Server>0，则使用基于随机森林预分类模型调度方法，否则使用完全上传方法。当使用者倾向于准确率优先时，由于基于随机森林预分类模型调度方法准确率总是最高，选择使用基于随机森林预分类模型调度方法对图像进行处理。