[发明专利]一种用于隧道内的目标识别方法、系统及边缘计算设备

权利要求书

1.一种用于隧道内的目标识别方法，其特征在于，包括如下步骤：

步骤1：读取前置摄像头和后置摄像头的视频数据；

步骤2：将前置摄像头和后置摄像头的视频数据合并为一个数组，当读取成功时，将当前帧添加进数组；

步骤3：对前置摄像头和后置摄像头保存在数组中的当前帧图像进行预处理，当前帧图像判定为光照不理想时，跳过本次判断循环；当前帧图像判定为光照理想时，将图像大小缩放或扩展至设定大小，并将每个像素的每个通道的像素值量化处理；

步骤4：将图像按行展平为一维数组，输入到神经网络模型，得到预测的结果，预测的结果包括了每一个分类的种类以及其在图像中的坐标；

步骤5：对预测的结果进行非极大值抑制处理，对重复检测的结果进行筛选，去除多余的检测结果，保留最接近真值的一个；

步骤6：将结果中的目标按照分类及其坐标，分别用矩形框标记在图像中，标签用文字的形式标记在矩形框之上，标签的内容包括分类的类别和置信度分数；同时将结果通信给其他模块使用。

2.根据权利要求1所述的目标识别方法，其特征在于，在所述步骤1中，采用多线程的方式同时读取前置摄像头和后置摄像头的视频数据。

3.根据权利要求1所述的目标识别方法，其特征在于，所述步骤1包括：步骤A：判断读取的视频数据是否采用RTSP协议封装，如是，那么执行步骤B，否则，跳出程序并给出错误警告；

步骤B：初始化程序的运行日志和设备参数，如果边缘计算设备的GPU工作正常，则使用GPU执行程序的计算部分，程序的其他部分由CPU执行；如果未能检测到GPU工作正常，则使用CPU执行程序的计算部分，程序的其他部分同样由CPU执行；并加载神经网络模型。

4.根据权利要求1所述的目标识别方法，其特征在于，在所述步骤2中，前置摄像头和后置摄像头的视频数据用OpenCV读取，合并为一个数组；当读取成功时，将当前帧添加进数组；当网络不稳定时，所读到的图像数据为None类型，将空白帧添加进数组。

5.根据权利要求1所述的目标识别方法，其特征在于，在所述步骤3中，对前置摄像头和后置摄像头保存在数组中的当前帧图像进行预处理，当发现图像像素平均值接近黑色或白色图像时，判定为光照不理想，跳过本次判断循环；当判定为光照理想时，将图像大小缩放或扩展至640*640大小，并将每个像素的每个通道的像素值量化处理，从0～255标准化为0～1。

6.根据权利要求1所述的目标识别方法，其特征在于，在所述步骤6中，将结果通过JSON编码的方式通信给其他模块使用。

7.根据权利要求1所述的目标识别方法，其特征在于，在所述步骤4中，在神经网络模型中，将预处理后的数据通过卷积的方式获取原图像的特征图像，同时使用残差网络将输入和输出在通道上相加，获取的特征图像相较于原图像，尺寸更小，但是通道数增加；获取的特征图像每一个像素对应了原图像相应位置的多个像素的特征，当特征图表示了某一个像素位置存在目标识别的目标时，表示了原图上对应的位置存在目标识别的目标。

8.根据权利要求7所述的目标识别方法，其特征在于，在神经网络模型中，将原图通过不同尺寸的卷积核进行卷积运算，得到3种不同尺度下的特征图，将不同尺度下的特征图所识别的内容进行融合，得到整张原图的目标识别内容，融合后的新特征图所包含的内容有：被识别出的目标的坐标，描述目标的坐标使用了矩形框，描述方法是以原图的左上角顶点为原点，横向向右为X方向递增，纵向向下为Y方向递增，记录了矩形框的左上角和右下角的坐标，被识别出的目标其中心点应在左上角坐标和右下角坐标的中间，坐标以百分比形式给出；新特征图还包括被识别出的目标的置信度分数，新特征图还包括被识别出的目标的类别。

9.一种边缘计算设备，其特征在于，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现权利要求1-8中任一项所述的目标识别方法的步骤。