[发明专利]基于深度学习的标记识别方法和训练方法及其系统和电子设备

说明书

一种基于深度学习的标记识别方法和训练方法及其系统和电子设备。该基于深度学习的标记识别方法包括步骤：获取一原始标记图像，其中该原始标记图像是经由图像采集设备拍摄标记而获得的图像；和将该原始标记图像输入至预先训练好的且基于多任务级联卷积网络构建的标记识别模型中进行标记识别，以输出该标记的边框和关键点在该原始标记图像上的位置，从而实现该标记的识别。

技术领域

本发明涉及标记识别技术领域，尤其是涉及基于深度学习的标记识别方法和训练方法及其系统和电子设备。

背景技术

标记(Marker)作为一种特定样式的平面图案，通常采用图像处理等算法从视觉场景中被识别出来，以确定该标记的4个顶点和中心点的坐标。由于标记通常是预设的，其尺寸参数也是已知的，因此根据标记坐标系与相机坐标系之间的对应关系，就能够求解该相机的内外参数，并且该标记也能够被作为相对于相机的世界坐标系的标记，因而标记识别常常被应用于相机标定、机器人导航以及增强现实(AR)等领域。

现有的标记识别方法通常是基于传统的图像处理技术，利用标记的边缘信息、几何信息以及色度信息进行识别。具体地，现有的标识识别方法先通过灰度化和阈值分割处理技术将标记图像转化成二值图像，再利用腐蚀、边框提取以及霍夫(Hough)变换等技术获得标记的包围框，最后经过种子填充和几何限制等手段取得该标记上的特征点集合。

然而，由于现有的标记识别方法利用的是标记的边缘信息、几何信息以及色度信息，因此该现有的标记识别方法的识别精度将受到标记图像质量的直接影响，对光照均匀性和抖动等因素极为敏感。例如，当因应用场景中的光照不均匀而导致获取的标记图像上的部分区域过暗、部分区域又过亮，或者因AR设备的抖动而导致获取的标记图像产生模糊时，将较大程度地提高有效信息的噪声，甚至导致有效信息的丢失，最终无法准确地识别该标记。特别地，对于AR设备而言，AR设备所处的应用场景中的光照条件较差，并且AR设备在用户佩戴时会随着用户的肢体动作而发生抖动，造成该现有的标记识别方法难以被应用到AR领域中去；也就是说，通过该现有的标记识别方法获得的标记识别结果无法在AR设备的SLAM定位中使用。

发明内容

本发明的一优势在于提供一基于深度学习的标记识别方法和训练方法及其系统和电子设备，其能够提高对不均匀光照和相机抖动的鲁棒性，以便在光照条件差或抖动的应用场景中获得精确的标记识别结果。

本发明的另一优势在于提供一基于深度学习的标记识别方法和训练方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于深度学习的标记识别方法采用端对端的深度学习技术，仅通过输入标记图像就能够直接输出标记的边框和关键点坐标，有助于降低标记识别的难度，提高识别精度。

本发明的另一优势在于提供一基于深度学习的标记识别方法和训练方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于深度学习的标记识别方法能够避免像现有的标记识别方法那样，仅利用标记的边缘信息、几何信息以及色度信息，以解决对光照不均匀和图像模糊较为敏感的问题。

本发明的另一优势在于提供一基于深度学习的标记识别方法和训练方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于深度学习的标记识别方法能够通过采用较多的模糊或光照不均匀的标记图像样本来参与模型训练，以便适应各种抖动或光照条件较差的应用场景，并能够实现更加稳定的标记识别。

本发明的另一优势在于提供一基于深度学习的标记识别方法和训练方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于深度学习的标记识别方法不需要大量的标注样本，能够通过图像融合的方式对标记图案进行图像增强处理以生成大量的标记样本，有助于降低模型训练的成本。

本发明的另一优势在于提供一基于深度学习的标记识别方法和训练方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于深度学习的标记识别方法具有识别速度快、识别精度高以及漏检率低等特点，能够将标记识别的时间开销控制在合理范围内，以满足实际应用场景的要求。