[发明专利]基于机器学习的面部色斑未来变化的图像处理系统

权利要求书

1.一种基于机器学习的面部色斑未来变化的图像处理系统，其特征在于，包括：图像采集模块、图像标记模块、图像预处理模块、训练模块、预测模块和显示模块，其中：图像采集模块采集用户不同时期拍摄的面部图像，图像标记模块标记不同面部图像的色斑区域，图像预处理模块对色斑区域进行预处理并生成训练集，训练模块基于训练集对基于残差网络的预测模块进行训练，训练后的预测模块生成未来各个时刻的色斑区域的大小和颜色深浅，显示模块基于预测得到的色斑区域绘制人像图案；

所述的预处理是指：将原图像进行人像区域识别、人像轮廓识别、人像皮肤目标提取，将不同时期图像进行角度统一、大小统一、色调统一；

所述的残差网络是指：ResNet利用残差学习来解决退化问题，包括卷积层，池化层，全连接层。

2.根据权利要求1所述的基于机器学习的面部色斑未来变化的图像处理系统，其特征是，所述的绘制，通过opencv在原始图像上绘制回归模型预测的色斑的大小和颜色深浅。

3.根据权利要求1所述的基于机器学习的面部色斑未来变化的图像处理系统，其特征是，所述的人像区域识别，采用AdaBoost算法，然后在其中利用Haar特征进行区域识别，其中：通过放大和平移计算其Haar特征值，从而实现从图像向特征值转化。

4.根据权利要求3所述的基于机器学习的面部色斑未来变化的图像处理系统，其特征是，所述的Haar特征包括五个基本特征、45度方向上的倾斜特征、三个中心特征、眼睛与眉毛和一个眼睛与鼻子组成的特征。

5.根据权利要求1所述的基于机器学习的面部色斑未来变化的图像处理系统，其特征是，所述的人像轮廓识别采用阈值分割算法，首先将之前得到的剪裁过的人脸区域图像二值化，在图像中阈值分割算法的otsu算法提取出最大的轮廓就是人脸的轮廓。

6.根据权利要求1所述的基于机器学习的面部色斑未来变化的图像处理系统，其特征是，所述的人脸皮肤目标提取是通过将人脸的五官提取出来，以免它们影响色斑的预测结果，眼睛的特征提取通过sobel边缘检测算法提取出来，眉毛通过hsv色彩空间提取出来，嘴巴通过YCbCr色彩空间提取出来，鼻孔通过高斯差分将其提取出来，从之前提取出的人脸轮廓中的内脸区域将这些五官特征移除。

7.根据权利要求1所述的基于机器学习的面部色斑未来变化的图像处理系统，其特征是，所述的ResNet作为检测分割模型骨干网络，将人脸正脸图像通过双线性插值映射至512×512的图像尺度，设置单次训练读取输入图片一次训练所选取的样本数为16，将选择框大小分别设置为16、32、64、128、256五种尺度，从而可以在多个尺度上有良好的检测表现，最后再通过非极大值抑制方法，挑选出最有可能存在色斑的区域并进行分割。

8.一种基于上述任一权利要求所述系统的面部色斑未来变化图像生成方法，其特征在于，通过将样本图像进行预处理后，采用残差网络作为骨干网络进行色斑的检测和分割，再通过色斑区域计算色斑的大小和颜色深浅，然后将时间和色斑的大小和颜色深浅作为数据集，通过线性回归模型进行预测，得到色斑的大小和颜色深浅，最后经过绘制后得到未来时刻脸部色斑的图像从而实现色斑变化情况的预测。

9.根据权利要求8所述的方法，其特征是，所述的检测和分割，通过特征金字塔网络构建自下而上特征提取结构，获得输入图像特征图，提取多个尺度要素；然后使用区域候选网络方法选取候选区域，通过ROI Align方法将特征图、输入图像像素对齐，然后网络分类分支、像素分割分支训练完成面部图像色斑区域分割。

10.根据权利要求8或9所述的方法，其特征是，所述的分割的具体实现是将标记过的数据集用CNN模型训练和测试调整出最优的参数，然后将剩下未标记的数据集分割人像的色斑区域，用opencv计算出每位色斑患者的每块色斑区域的大小以及其灰度值。