[发明专利]基于MaskRCNN的实时平面上物体检测方法

说明书

本发明实施例提供了一种基于MaskRCNN的实时平面上物体检测方法，其特征在于，包括：步骤1获取视频流中的每帧图像，基于ORBSLAM2计算该帧的位姿，保存该帧的位姿及对应的图像到全局数组中；步骤2基于ORBSLAM2增加深度学习检测线程，所述深度学习线程从全局数组中抽取数据，提取数组中相邻两帧图像，并通过位姿分别计算相邻两帧的投影图，通过MaskRCNN检测第二帧投影图上物体所包含的像素点，根据相邻两帧投影图特征匹配能够得到特征点的平移关系从而求出第一帧投影图上物体的像素点，并将所述两帧图像的像素点根据位姿进行逆变换，将逆变换后的匹配点通过三角化计算出物体的世界坐标；步骤3根据当前帧的位姿和所述物体的世界坐标计算物体当前帧的像素坐标，相机位姿若满足平面，则对于检测的所述物体不渲染，仅渲染非检测物体，并在检测的所述物体上插入AR物体。

技术领域

本发明涉及图像识别技术领域，尤其涉及一种基于MaskRCNN的实时平面上物体检测方法。

背景技术

随着科技的迅速发展，一切可能的幻想都逐渐变为现实，《钢铁侠》这部炫酷的电影给我们带来了强烈的视觉震撼，这其中用到了增强现实技术来实现钢铁侠对于战服的操作。最初增强现实通过在现实中贴上标识图，实时读取视频流每一帧并与标识图做相似性判别来实现，但很多场景下并不能贴标识图，因此通过识别自然特征来实现增强现实系统成为了研究的重点。

自然特征有很多，平面是其中最为常见且最易利用的结构，当识别到平面就能够通过三维注册技术将虚拟物体渲染到平面上，比如您可以看到两只恐龙在桌面上行走，您可以在桌面上看到足球比赛，您也可以自由更改桌面壁纸，但是平面上往往有一些物体，为了提高真实感，我们需要精确的检测物体的边界，并且渲染时仅渲染平面。深度学习较传统算法更鲁棒，实例分割有许多算法，其中MaskRCNN是由何凯明团队提出的算法，该算法有较好的识别效果，但识别一帧需要约2s，这使得深度学习的高准确率优点很难应用到实时系统中。

发明内容

本发明的实施例提供了一种基于MaskRCNN的实时平面上物体检测方法，以克服现有技术的缺陷。

为了实现上述目的，本发明采取了如下技术方案。

一种基于MaskRCNN的实时平面上物体检测方法，包括：

步骤1获取视频流中的每帧图像，基于ORBSLAM2计算该帧的位姿，保存该帧的位姿及对应的图像到全局数组中；

步骤2基于ORBSLAM2增加深度学习检测线程，所述深度学习线程从全局数组中抽取数据，提取数组中相邻两帧图像，并通过位姿分别计算相邻两帧的投影图，通过MaskRCNN检测第二帧投影图上物体所包含的像素点，根据相邻两帧投影图特征匹配能够得到特征点的平移关系从而求出第一帧投影图上物体的像素点，并将所述两帧图像的像素点根据位姿进行逆变换，将逆变换后的匹配点通过三角化计算出物体的世界坐标；

步骤3根据当前帧的位姿和所述物体的世界坐标计算物体当前帧的像素坐标，相机位姿若满足平面，则对于检测的所述物体不渲染，仅渲染非检测物体，并在检测的所述物体上插入AR物体。

优选地，所述步骤2包括：

1)深度学习线程获取并保存相邻且清晰的两帧图像，将所述两帧图像均投影于xoy平面上；

2)基于ORB匹配所述两帧图像的投影图的特征点，并用RANSAC算法过滤匹配错误点；

3)计算两幅投影图之间特征点的平移关系，并通过MaskRCNN检测第二帧投影图上物体所包含的像素点，即第二帧投影图上物体的匹配点；

4)已知特征点的平移关系与第二帧的投影图上物体的匹配点，计算第一帧投影图上物体的匹配点；

5)分别将所述两帧投影图上物体的匹配点转换到两帧原图上，通过对应匹配点三角化求出匹配点对应的物体的世界坐标。