[发明专利]利用卷积神经网络跟踪多个目标的图像处理

说明书

提出了一种用于指甲跟踪的卷积神经网络(CNN)模型，以及一种用于指甲油渲染的方法设计。使用当前的软件和硬件，渲染指甲油的CNN模型和方法可以在iOS和Web平台上实时运行。使用损失均值池(LMP)与级联模型架构同时实现像素精确的指甲预测，分辨率高达640×480。所提出的后处理和渲染方法利用模型的多个输出预测在单个指甲上渲染渐变，并通过在指甲的方向拉伸指甲罩在自然指甲上渲染时隐藏浅色远端边缘提示。本文的教导可应用于跟踪除指甲之外的对象并应用除颜色之外的外观效果。

技术领域

以下涉及使用与卷积神经网络(CNN)适配的计算设备处理图像，包括视频图像，其中此类计算设备可以包括面向消费者的智能手机或平板电脑，更具体地涉及使用CNN跟踪的图像处理(例如语义分割)多个对象，例如视频中的指甲。

背景技术

指甲跟踪问题是从视频流中以像素精度实时定位和识别指甲。此外，需要支持渲染技术以适配来自视频流的图像，例如提供增强现实。可能需要在图像中定位和识别除指甲之外的对象，包括在视频流中。

发明内容

提出了一种端到端的解决方案，用于同时实时跟踪指甲和指甲油的渲染。收集了具有语义分割和地标标签的全新数据集。为移动设备开发了高分辨率神经网络模型，并使用新数据集进行训练。除了提供语义分割外，该模型还提供方向性信息，例如指示方向。为指甲油试用提供后处理和渲染操作，这些操作至少使用模型的一些输出。

尽管关于指甲进行了描述，但是可以类似地处理其他对象以用于分割和用于图像更新。此类其他物体也可能是具有简单边界的小物体(例如指甲、脚趾甲、鞋子、汽车(乘用车)、车牌或汽车上的汽车零件等)。这里的术语“小”是与比例和整个图像的尺寸相关的相对术语。例如，与在包括指甲的图像中捕获的手的尺寸相比，指甲相对较小。远处成像的一组汽车中的汽车与在桌子上成像的一组李子(或其他水果)相似地小。该模型非常适合于泛化，以对具有已知计数和群集的对象集合进行分类(如这里，对手的指尖进行分类)。

提供了一种计算设备，其包括处理器和与其耦接的存储设备，存储设备存储CNN和指令，当由处理器执行时，指令将计算设备配置为：利用CNN处理包括多个对象的图像，CNN被配置为语义上分割图像内的多个对象，CNN包括级联语义分割模型架构，该级联语义分割模型架构具有：提供低分辨率特征的深度学习的第一分支；以及提供高分辨率特征的浅层学习的第二分支；其中，CNN组合来自第一分支和第二分支的相应预测以输出包括前景/背景和对象类分割的信息。

CNN可以组合来自第一分支和第二分支的相应预测，使得从CNN输出的信息还包括方向性信息。

第一分支可以包括产生第一分支的相应预测的编码器-解码器骨干。第一分支的相应预测包括在第一分支的编码器阶段之后产生的初始预测与在第一分支的解码器阶段的进一步处理之后产生的进一步预测的组合。可以使用第一分支融合块来组合初始预测和进一步预测，以产生第一分支的相应预测，以提供与第二分支的相应预测的进一步组合。

第二分支的相应预测可以在第二分支的编码器阶段的处理之后产生，与第一分支级联。可以使用第二分支融合块将第一分支的相应预测(F₁)与第二分支的相应预测(F₂)组合。F₁可以包括上采样的低分辨率、高语义信息特征并且F₂可以包括高分辨率、低语义信息特征。因此，第二个分支融合块将F₁和F₂组合在一起，以在第二个分支的解码器阶段产生高分辨率融合特征F₂'。CNN可以使用应用于相应预测F₁的卷积分类器来生成下采样类标签。为了处理F₂，CNN可以使用多个输出解码器分支来生成前景/背景和对象类分割以及方向性信息。

多个输出解码器分支可以包括：第一输出解码器分支，具有产生前景/背景分割的1x1卷积块和激活函数；第二个输出解码器分支，具有产生对象类分割的1x1卷积块和激活函数；以及第三个输出解码器分支，具有产生方向性信息的1x1卷积块方向性信息。