[发明专利]一种利用YOLOv5和OpenVINO进行火焰检测的嵌入式网关及其部署方法

权利要求书

1.一种利用YOLOv5和OpenVINO进行火焰检测的嵌入式网关，其特征在于：包括CPU、VPU、上位机通讯模块、以太网接口、HDMI/VGA视频输出、USB扩展接口、RAM、ROM、保护电路模块、实时时钟模块和复位电路模块；

所述CPU中央处理器使用轻量化的64位ARM架构平台；

所述VPU为Intel Movidius MYRIAD X低功耗高性能的VPU视觉处理单元，所述VPU作为协处理器用于深度学习及人工智能视觉应用加速，在此处即利用机器视觉加速对于机械臂动作视频流的推理的强大加速作用，通过全新神经计算引擎（Neural Compute Engine）的加速，所述VPU可以实现每秒1TFlops（万亿次）计算，总体峰值性能4TFlops，支持4K视频解码，支持4K/30Hz H.264/H.265、4K/60Hz M/JPEG格式，并且功耗极低；

该网关主要通过摄像头或网络摄像机，以ARM64架构的嵌入式CPU辅以Intel MovidiusMYRIAD X的VPU提供强大的推理加速功能来识别火焰，于直接用嵌入式的CPU进行推理，不仅在推理速度上有大幅度的提升，更是在运行的稳定性和推理准确率上有了大幅提高，其中的Intel Movidius MYRIAD X的VPU芯片，该VPU芯片通过全新神经计算引擎（NeuralCompute Engine）的加速，可以在功耗很低的情况下实现每秒万亿次DNN计算。

2.根据权利要求1所述的一种利用YOLOv5和OpenVINO进行火焰检测的嵌入式网关，其特征在于：所述上位机通讯模块和以太网接口的连接端均设置加密密钥，通过加密密钥作为网关安全认证。

3.一种利用YOLOv5和OpenVINO进行火焰检测的嵌入式网关部署方法，其特征在于：使用深度学习的方法，利用YOLOv5和OpenVINO进行火焰检测并将其在嵌入式终端部署，包含以下步骤：

步骤1：构建适用于OpenVINO优化部署的YOLOv5；

步骤2：构建火焰数据集；

步骤3：利用火焰数据集训练改进过的YOLOv5，并用OpenVINO优化加速得到适用于网关部署的模型文件；

步骤4：将上述得到的模型部署至网关，使网关拥有火焰检测和定位的能力。

4.根据权利要求3所述的一种利用YOLOv5和OpenVINO进行火焰检测的嵌入式网关部署方法，其特征在于：所述在步骤1中，构建适用于OpenVINO优化部署的YOLOv5时，使用更换激活函数等方法。

5.根据权利要求3所述的一种利用YOLOv5和OpenVINO进行火焰检测的嵌入式网关部署方法，其特征在于：所述在步骤1中，构建适用于OpenVINO优化部署的YOLOv5网络的关键在于替换OpenVINO不支持的网络层，为之后的模型优化部署创造条件，并得到符合OpenVINO要求的ONNX格式的模型文件。

6.根据权利要求3所述的一种利用YOLOv5和OpenVINO进行火焰检测的嵌入式网关部署方法，其特征在于：所述在步骤2中，构建火焰数据集，包括收集合适的火焰图片，使用标注软件标注出火焰的位置，将标注好的图片分成测试集和训练集。

7.根据权利要求3所述的一种利用YOLOv5和OpenVINO进行火焰检测的嵌入式网关部署方法，其特征在于：所述在步骤3中，使用火焰数据集训练改进过的YOLOv5，得到开放神经网络交换（Open Neural Network Exchange，ONNX）格式的火焰识别模型，之后使用OpenVINO转换为IR文件。

8.根据权利要求3所述的一种利用YOLOv5和OpenVINO进行火焰检测的嵌入式网关部署方法，其特征在于：所述在步骤4中，在网关部署使用OpenVINO的推理引擎，加速网关的推理性能，使性能有限的网关能高效的处理摄像头采集的视频图像数据，做到实时检测火焰。

9.根据权利要求3所述的一种利用YOLOv5和OpenVINO进行火焰检测的嵌入式网关部署方法，其特征在于：所述在步骤4中，模型部署至网关还包括对视频采集、视频处理、模型预测、预测处理和火焰报警；

视频采集采用以OpenCV配合USB摄像头或配合网络摄像头，相比于采用网络摄像头，使用USB摄像头可以显著降低视频采集的延时，提高整个系统的实时性；

视频处理采用了图像缩放、色彩通道变换、归一化等方法，确保数据格式符合模型的要求；

模型预测阶段使用了OpenVINO提供的Inference Engine，提供硬件层面的加速，使得网关的推理速度能满足实时性的要求；

预测处理针对预测结果的后处理这方面我们采用了阈值法和非极大值抑制，将多余的结果滤除；

火焰报警：当模型预测结果中出现了火焰的信号，网关将会发出报警。