[发明专利]基于深度学习的面部运动轮椅控制图像处理方法

说明书

本发明公开了一种基于深度学习的面部运动轮椅控制图像处理方法，第一步：根据输入图片生成图片金字塔，缩放各种尺度的图片后将所有的图片进行图像预处理；第二步：将处理后的图片传送到第一级网络，来获得图片中的人脸候选窗口以及它们的BoundingBox回归向量；第三步：通过BoundingBox回归的结果矫正候选窗口，最后通过NMS非极大值抑制来合并高度重合的窗口；第四步：根据上一步输出的所有候选框，进一步拒绝大量错误的候选框后，通过BoundingBox回归进行校准，同样采用NMS非极大值抑制合并窗口后输入到最后一级网络；第五步：最后一级网络不仅输出检测窗口的置信度以及BoundingBox回归向量，还输出人脸关键点的坐标向量。本发明可以实现精准控制轮椅。

技术领域

本发明涉及一种基于深度学习的面部运动轮椅控制图像处理方法。

背景技术

据统计，全球的残疾人总数超过10亿，约占全球人口的15％。

中国第二次全国残疾人抽样调查显示：1)我国残疾人总数为8502万人，其中肢体残疾2414万人。2)我国人口的残疾现患率将在未来40多年中持续增长，根据预测结果显示，至2050年我国人口的残疾现患率将达到11.31％。估计到2050年全国残疾人总量将会达到1.65亿，将是目前的二倍。3)在残疾人中肢体残疾增速最为显著增速达到2倍以上，预计到2050年肢体残疾人的数量将会达到7000万。

残疾人已经成为社会上一个不能忽视的群体，残疾程度重的人四肢瘫痪，日常生活自理能力低下，需要家庭成员或专门的护理人员护理，给患者的家庭增添了很多的麻烦。因此，本发明针对肢体残障人士的四肢功能不灵活，行动严重受限，生活无法自理。

随着Android智能手机的快速发展和硬件成本的降低，绝大部分手机都自带足够清晰度的摄像头，为用最新电子信息和网络技术，帮助四肢残障人士实现生活自理提供了基础。

基于以背景我们拟设计一个基于TensorFlow框架的面部运动轮椅控制系统，借助头部运动，面部表情，瞳孔位置功能，帮助四肢残障人士实现行动的自理和自由。

发明内容

为了解决上述问题，本发明提供一种基于感官控制的，能够帮助残疾人运动的基于深度学习的面部运动轮椅控制图像处理方法。

一种基于深度学习的面部运动轮椅控制图像处理方法，包括如下步骤：

第一步：根据输入图片生成图片金字塔，缩放各种尺度的图片后将所有的图片进行图像预处理，先对其进行形态学上的腐蚀膨胀操作来消除噪点后，之后对图片像素值进行归一化；

第二步：将处理后的图片传送到第一级网络，来获得图片中的人脸候选窗口以及它们的Bounding Box回归向量；

第三步：通过Bounding Box回归的结果矫正候选窗口，最后通过NMS非极大值抑制来合并高度重合的窗口；

第四步：根据上一步输出的所有候选框，进一步拒绝大量错误的候选框后，通过Bounding Box回归进行校准，同样采用NMS非极大值抑制合并窗口后输入到最后一级网络；

第五步：最后一级网络不仅输出检测窗口的置信度以及Bounding Box回归向量，还输出人脸关键点的坐标向量。

进一步的，在第二步中采用全卷积神经网络，通过卷积网络参数共享的特性来实现快速的滑动窗口算法。

进一步的，在人脸判断中将其转化为二分类问题使用交叉熵损失：

进一步的，对于Bounding Box回归与关键点回归，用L2正则化损失：

本发明的有益效果：