[发明专利]一种基于端云协同的室内皮基站检测与定位方法及装置

权利要求书

1.一种基于端云协同的室内皮基站检测与定位方法，其特征在于，包括以下步骤：

采集皮基站图像，端侧对所述皮基站图像进行深度估计获得深度图；

云侧获取所述皮基站图像的边界框、目标标签、目标特征点发送至端侧进行目标跟踪，计算跟踪过程中的跟踪累积误差、帧差分值、已跟踪视频帧数量，设定送检条件，并分别判断是否满足送检条件，若是则将下一帧图像发送至云侧进行信息获取，进行KLT跟踪，若不是则根据所述深度图与所述边界框计算皮基站最终坐标，显示皮基站定位结果。

2.根据权利要求1所述的基于端云协同的室内皮基站检测与定位方法，其特征在于，

采集皮基站图像的过程包括：将双目相机固定在四轮小车上，所述四轮小车匀速平稳移动并采集皮基站图像。

3.根据权利要求1所述的基于端云协同的室内皮基站检测与定位方法，其特征在于，

深度估计的过程包括：采用Sobel算子对所述皮基站图像进行梯度滤波后，进行代价运算，将每个像素点的代价值采用领域的代价值总和替代，采用动态规划获得进行替代处理后每个像素点代价值最小最优视差并转换，获得深度图。

4.根据权利要求1所述的基于端云协同的室内皮基站检测与定位方法及装置，其特征在于，

目标跟踪的过程包括：构建基于YOLOv5s网络的目标检测模型，在所述目标检测模型中添加160*160检测特征图，在模型的head中17层后对特征图进行上采样，在检测层添加小目标检测层；采用添加后的模型进行目标跟踪。

5.根据权利要求1所述的基于端云协同的室内皮基站检测与定位方法及装置，其特征在于，将皮基站全部特征点在当前帧与上一帧之间移动距离的标准差作为跟踪累计误差；将当前帧与上一帧之间对应像素点的灰度值差值作为帧差分值；统计已跟踪视频数量，每跟踪一帧数量加一。

6.根据权利要求1所述的基于端云协同的室内皮基站检测与定位方法及装置，其特征在于，

最终坐标的计算过程包括：根据所述边界框与所述深度图计算皮基站的相对坐标，通过坐标系转换获得皮基站的绝对坐标，设定绝对坐标误差预设值，若误差不超过预设值，则将皮基站认为是同一个，将连续多帧图像得到的多个绝对坐标加权平均后的结果作为皮基站的最终坐标。

7.一种基于端云协同的室内皮基站检测与定位装置，其特征在于，包括：

嵌入式计算设备组成的端侧平台；云服务器组成的云侧平台。

8.根据权利要求7所述的基于端云协同的室内皮基站检测与定位装置，其特征在于，

所述端侧平台，包括：

图像采集模块，由双目摄像头、四轮智能小车组成，用于采集室内皮基站的图像；

深度估计模块，用于对图像做深度估计获取深度信息；

视频帧缓冲模块，用于存放采集的视频帧序列；

自适应送检模块，用于在跟踪过程中根据跟踪误差、当前帧与上一帧的差值、已跟踪的视频帧数量来自适应地将符合条件的视频帧送去云侧平台做检测，在保证皮基站坐标准确性的同时，减少逐帧检测所带来的网络带宽占用；

帧上传模块，用于将装置启动时的第一帧与自适应送检模块中第一确定模块、第二确定模块、第三确定模块所确定的视频帧的下一帧送入深度学习模型中检测；

跟踪模块，用于根据皮基站的特征点对皮基站进行跟踪；

坐标输出模块，用于将画面中的皮基站相对坐标转换为绝对坐标，之后对多个绝对坐标加权平均作为最终结果；

结果渲染模块，用于醒目地标出画面中的皮基站及其最终坐标。