[发明专利]一种汽车前脸参数化模型全自动生成方法

摘要

本发明提供了一种汽车前脸参数化模型全自动生成方法，1)对汽车前视图进行精确自动分类。2)对汽车前视图关键点全自动提取。3)对汽车前视图自动生成参数表示模型。4)对汽车前视图的高精度自动特征标注。本发明对比已有技术具有以下显著优点：1)对给定汽车前视图的车型分类、特征点提取、参数化模型生成、图像的特征点和区域标注同步完成，并实现全自动。2)基于较大规模数据的模型库，算法鲁棒性高、精度高、可移植性强。

主权项

1.一种汽车前脸参数化模型全自动生成方法，其特征在于，步骤如下：(1)车型前脸分类：基于格式塔理论及前脸各部件的位置关系，将汽车前视图分为六类，为上下式左右相隔、整合式、上下式上接触、上下式下接触、上下式都接触以及特殊式；类型一：上下式左右相隔，即进气格栅为上下式分布，前大灯与进气格栅之间的关系为左右相隔；类型二：整合式，即进气格栅为整合式，上下互连为一个整体，前大灯与进气格栅之间的关系为左右相隔；类型三：上下式上接触，即进气格栅为上下式分布，前大灯与进气格栅之间关系为上半部分左右接触，下半部分左右相隔；类型四：上下式下接触，即进气格栅为上下式分布，前大灯与进气格栅之间关系为上半部分左右分离，下半部分左右接触；类型五：上下式都接触，即进气格栅为上下互连为一个整体，前大灯与进气格栅也互连为一个整体；类型六：以上类型均不属于，汽车前脸造型中较为特殊的一类，形状各异，但总数不多；创建用于汽车前脸分类的前视图训练图像库，整理汽车前脸图像，将背景信息与汽车信息分离并舍弃，背景色设置为白色，并根据上述分类方法进行标注，总数目不少于5000，前五种单项不低于800；以下针对上下式左右相隔、整合式、上下式上接触、上下式下接触、上下式都接触五种类型进行进一步说明；(2)参数化表示模板定义：针对步骤(1)中得到的五类汽车前脸，创建基于三次贝塞尔曲线表示的一致参数化模板，具体定义如下：采用分段参数曲线表示汽车前脸造型关键曲线特征，根据汽车前脸的特性，考虑对称分布的情况下，将汽车前脸分为左侧和右侧，其中一侧分为44条特征曲线，每条曲线采用三次贝塞尔曲线表示形式，包含四个控制点；对于第一类型，曲线的属性、编号参考下表；曲线的方向，未经特殊说明，均采用从低编号曲线到高编号曲线的顺时针方向；特殊备注：曲线F16为从左至右；表中每一组曲线，均在中间连接处为C0连续，即共享一个控制点；对于第二类、第三类、第四类和第五类，按如下定义：针对步骤(1)中不同类型汽车前视图创建每一类至少包含200款以上车型的模板库，建立图像与特征曲线的匹配关系；(3)汽车前脸关键点的定义：针对步骤(1)中得到的五类车型前脸，采用步骤(2)中创建的参数化模板，基于统计形变方法，在给定数量测试集下，通过预先指定关键特征点的情况下重建参数化模型，分析重建误差，进而确定最优的关键点集合包括定义汽车前视图关键点为29个；对于第一类到第五类的特征点均相同，编号为1‑29，其中1‑13为汽车前脸外轮廓关键点，14‑17为进气格栅轮廓关键点，18‑25为前大灯和雾灯关键点，26‑29为车标和车牌关键点；关键点编号、关键点对应曲线及其对应控制点编号及关键点属性描述如下：利用步骤(2)中创建的汽车前脸图像及特征曲线库，根据特征点与特征曲线的对应关系，提取与图像相符的关键点标注信息；然后对图片和关键点信息进行剪裁和扩充操作，具体为对用于特征点提取的训练图片，利用其对应的特征曲线信息，根据其外包围盒进行裁剪，并在宽度及高度各两个方向均进行100像素的扩充，扩充部分填充为白色，并对标注点进行相应的平移变换以配准裁剪后的图片；(4)采用ResNet的车型识别：采用残差网络模型ResNet对汽车前脸图像进行类型分类；ResNet是由残差块构建，残差块主要进行的计算为“残差映射”；ResNet由多个模块组成；残差块中引入“捷径连接”；ResNet还采用“瓶颈结构”，即对于一个输入，先经过第一个1×1卷积层进行降维，然后经过一个3×3卷积层提取特征，最后经过第二个1×1卷积层进行升维，这样将输出的维度变为与输入相同的维度；如此反复进行残差运算；基于前述的残差块、捷径连接和瓶颈结构，ResNet突破神经网络深度增加出现的网络“退化”问题；本方法运用的神经网络为ResNet‑50，具体网络卷积参数如下：针对步骤(1)中创建的前视图训练图像库，将训练集按8：2：2比例分为训练集、校验集和测试集，采用ResNet网络进行训练；对于给定的测试汽车前脸图像，采用该识别方法进行车型识别，输出车型类别；(5)采用深度对齐网络的关键点提取：对于步骤(3)中创建的训练库，采用深度对齐网络方法进行训练；对于给定的测试数据，根据分类不同，进行特征点识别，输出特征点信息；深度残差网络包含多个阶段；每一个阶段都由三个输入和一个输出组成；输入分别是经过矫正的图片、关键点热图以及由全连接层生成的特征图，面部形状作为最终的输出；连接层作为连接层，起到对阶段最终输出进行一系列转换操作的作用，从而进一步生成三个输入供下一阶段使用；具体操作如下：第一阶段输入原始图片和面部关键点的初始化S0；对要提取的所有关键点取平均值即得到S0；第一阶段输出S1；第二阶段，首先对上一阶段的连接层进行转换得到S1，同时得到转换处理后的图片T2(I)、S1所属的热图H2以及上一阶段的fc1层输出；这三个值恰好是现阶段的输入；循环往复，直到最后阶段输出SN；关键点热度图的计算看做是一个中心衰减，关键点的位置值取最大，并随着距离变远而变小，公式如下所示：对深度调整网络进行总结：DAN是一个以级联思想为原理来实现关键点检测的方法；关键点热图的引入使得DAN在各个阶段输入整张图片提取特征，因而取得更加精确的定位结果；(6)参数化特征曲线生成：将步骤(4)、(5)的输出作为输入，采用约束统计形变的方法进行重建，生成并输出参数化的特征曲线族；具体如下：首先根据步骤(3)创建的汽车前脸模板库，根据不同类型构建形变空间；根据步骤(4)的检测类型输出，采用类型对应的形变空间，并将步骤(5)得到的关键点信息作为先验约束，通过贝叶斯统计形变方法，求得其余曲线的控制点信息，从而实现基于特征点的特征曲线重建，并实现对于输入图像的标注。