[发明专利]一种基于卷积神经网络的毫米波图像人体隐私保护方法

摘要

本发明属于图像处理技术领域，具体为一种基于卷积神经网络的毫米波图像人体隐私保护方法。本发明首先将人体划分为十个区域，并且针对十个区域设计人体结构数据集，训练深度学习模型，来检测受检人的人体区域；然后利用人体区域坐标来给人体隐私部位添加遮挡；最后利用人体结构信息，结合最近邻算法、坐标投影算法，将违禁物体预测框投影到卡通图片的对应位置。外部用户只能观察到卡通图片及其对应的违禁物体预测框，从而保护了受检人员的隐私安全。

主权项

1.一种基于卷积神经网络的毫米波图像人体隐私保护方法，其特征在于，将人体划分为十个区域并且构建人体结构数据集，利用卷积神经网络预测十个人体区域及其坐标信息，利用这些信息来遮挡人体隐私部位，并且利用这些信息来投影违禁物体预测框至卡通图片中的对应位置；具体步骤如下：步骤1、检测人体区域：构建人体结构数据集；1.1：划分人体：将人体分割为10个区域，分别是：左小臂，右小臂，左大臂，右大臂，胸部或背部(背面)，裆部或臀部(背面)，左小腿，右小腿，左大腿，右大腿；1.2：对数据集进行标注：选择来自不同地区、不同身高、不同体型的受检人员的毫米波安检仪的扫描结果作为数据集；共计5788张扫描图片，其中2894张正面扫描结果，2894张背面扫描结果；标注方式按照步骤1.1的划分方式进行；步骤2、检测人体区域：检测模型的设计；2.1：聚类前景目标的面积分布；对步骤1.2的标注结果进行统计，得出前景目标的区域面积的分布范围，采用K‑means算法，取K‑means算法的聚类种类数K＝3，来获得初始候选框的规模因子s_min和s_max；2.2：对毫米波图像进行下采样操作；本发明采用VGG模型来获得毫米波图像的抽象特征；采用fc7、conv6_2、conv7_2三个层级的特征图来预测人体的十个部位；其中，fc7、conv6_2、conv7_2分别对原始毫米波图像下采样16倍，32倍，64倍；2.3：初始化候选框；基于步骤2.2选出的fc7、conv6_2、conv7_2三个层级特征图，在原图中初始化候选框；这三个层级特征图中的第i个特征点，分别在原始图像中初始化第i个候选框m∈{cx，cy，w，h}，cx是中心点坐标横坐标，cy是中心点纵坐标，w是候选框的宽，h是候选框的高；候选框的初始化方法按照公式(7)‑公式(9)：其中，s_k∈{fc7，conv6_2，cony7_2}，表示的含义是参与预测人体区域的候选框的比例因子，即针对毫米波图像的宽高比例；n表示参与预测人体区域的层级特征图的个数；选用fc7、conv6_2、conv7_2三层参与预测，n＝3；r_j代表不同宽高比的集合，W代表毫米波图像的宽度，H代表毫米波图像的高度；2.4：针对候选框，进一步选择出可供训练的正负样本：步骤2.3对fc7、conv6_2、conv7_2这三层特征图中的每一个特征点，都在原图中产生了候选框；此时按照候选框与地面真实的重合度挑选正负样本：若重合度大于阈值θ，则为正样本候选框，反之为负样本候选框；通过OHEM[15]算法来挑选出难以学习的负样本候选框，保持正负样本比例均衡；步骤3、检测人体区域：训练检测器，并且预测人体区域；3.1：通过步骤1.2得到有监督的训练样本5788张；为了验证模型训练的性能，随机选择3859张图片，包括正面和背面的图片，作为训练样本，选择1929张图片作为验证样本；针对每一张训练样本，采用公式(3)训练检测器：其中，N是挑选出的正样本的个数；L_cls(I，C)表示类别预测，L_loc(I，P，G))表示位置回归预测，α表示惩罚因子，C是训练集中的类别个数，I是示性项，当且仅当第i个候选框和第j个Ground Truth匹配时，I＝1；3.2：在有监督的人体区域数据集中完成训练后，将检测器投入实际应用场景，即DHF架构中，DHF架构针对每一张测试图片，识别出人体的十个区域的类别以及区域中心点坐标；步骤4、遮挡人体隐私部位：对步骤3得到的人体区域进一步处理，遮挡人体隐私部位；4.1：在步骤3.2检测到人体的十个区域后，分别对特定的区域添加遮挡；其中，对裆部或臀部区域(6)添加遮挡；通过胸部或背部区域(5)的中心点横坐标来确定面部区域的中心点横坐标，并且参照标准人体比例因子来确定面部区域的中心点纵坐标；4.2：步骤4.1获得了隐私部位的中心点坐标，基于提供的中心点坐标，添加遮挡物来保护隐私。