[发明专利]基于卷积神经网络的标志跟踪器

权利要求书

1.一种计算设备，包括处理单元和耦合到所述处理单元的存储设备，存储单元存储指令，当由所述处理单元执行时，所述指令配置所述计算设备处理图像以通过以下方式确定多个标志中的每一个标志的相应位置：

使用具有第一阶段和第二阶段的卷积神经网络(CNN)处理所述图像，其中：

所述第一阶段处理所述图像以生成所述相应位置的初始预测；并且

所述第二阶段使用由所述第一阶段从所述图像生成的中间特征和所述初始预测，为感兴趣区域生成共享卷积特征的裁剪以定义裁剪特征，并进一步处理所述裁剪特征以产生对所述相应位置的所述初始预测的相应细化位置偏移。

2.根据权利要求1所述的计算设备，其中，所述第一阶段产生并使用所述中间特征来产生初始热图，从所述初始热图生成所述初始预测。

3.根据权利要求1或权利要求2所述的计算设备，其中，所述第二阶段从所述裁剪特征产生第二热图，针对每个标志产生一个所述第二热图，并使用所述第二热图来产生所述相应细化位置偏移。

4.根据权利要求1至3中任一项所述的计算设备，其中，所述CNN组合所述相应位置的初始预测和所述相应细化位置偏移，以为多个标志中的每一个标志提供所述相应位置。

5.一种计算设备，包括处理单元和耦合到所述处理单元的存储设备，存储单元存储指令，当由所述处理单元执行时，所述指令配置所述计算设备处理图像以通过以下方式确定多个标志中的每一个标志的相应位置：

使用具有第一阶段和第二阶段的卷积神经网络(CNN)处理所述图像，其中：

所述第一阶段接收所述图像并确定：

在所述第一阶段的第一部分中，来自所述图像的中间特征的体积；以及

在所述第一阶段的第二部分中，使用中间特征的所述体积，用于所述图像内的每个所述标志的相应初始位置；并且

所述第二阶段在所述第二阶段的第一部分接收中间特征的所述体积，并且在所述第二阶段的第二部分接收每个所述标志的所述相应初始位置，所述第二阶段进一步：

对所述体积进行处理，以进一步细化所述中间特征；

在进一步细化的所述中间特征上执行基于感兴趣区域的池化，同时保持特征对齐，以产生针对多个所述标志中的每一个标志的裁剪特征；以及

使用所述裁剪特征并针对每个标志确定针对每个标志的每个相应初始位置的相应细化位置偏移；并且

其中，所述处理进一步操作以组合每个相应初始位置和所述相应细化位置偏移，以确定多个所述标志中的每个标志的所述图像中的最终位置坐标。

6.根据权利要求5所述的计算设备，其中，所述第一阶段的所述第二部分使用中间特征的所述体积来确定初始热图，并使用所述初始热图来预测每个所述标志的每个相应初始位置。

7.根据权利要求1至6中任一项所述的计算设备，其中，所述第一阶段中的至少一些包括一系列倒置残差块，并且其中，所述第二阶段中的至少一些包括一系列倒置残差块。

8.根据权利要求1至7中任一项所述的计算设备，其中，所述第二阶段：

使用RoIAlign用于基于感兴趣区域的池化，同时保持特征对齐以产生所述裁剪特征；并且

串接所述裁剪特征。

9.根据权利要求1至8中任一项所述的计算设备，其中，所述第二阶段包括用于处理所述裁剪特征的预测块，所述预测块按照以下顺序执行：

具有3×3核的逐通道卷积，随后是BatchNorm和ReLU激活；以及

具有1×1核的逐组通道卷积，随后是BatchNorm；

以输出每个所述相应细化位置偏移。

10.根据权利要求1至9中任一项所述的计算设备，其中，CNN模型是使用相应训练图像训练的，所述相应训练图像具有根据高斯分布定义的多个所述标志中的相应标志的基础真实热图，具有对应于所述相应训练图像中的所述基础真实热图的相应坐标位置的模式。