[发明专利]基于深度学习的火情识别定位系统及方法

权利要求书

1.一种基于深度学习的火情识别定位系统，其特征在于，包括：边缘端和主机端；其中边缘端由边缘嵌入式计算设备、监控摄像头、北斗发送终端及无线网络发送终端组成，主机端由PC主机、北斗接收终端、无线网络接收终端、web浏览器组成；

所述边缘嵌入式计算设备被部署于火情监控点，连接所在监控点的监控摄像头、北斗发送终端及无线网络发送终端，设备中加载由PC主机或云服务器对卷积神经网络模型训练得到的权重文件；用于对图像进行识别，获取火情识别定位信息；

所述监控摄像头用于对监控点进行实时画面采集，并将采集的图像传入到嵌入式计算设备中；

所述北斗发送终端和无线网络发送终端分别对嵌入式计算设备获取的火情识别定位信息进行打包传输；

所述PC主机连接有北斗接收终端及无线网络接收终端；其中北斗接收终端，用于接收、解包北斗发送终端传输的火情识别定位信息，并传输给PC主机；无线网络接收终端，用于接收、解包无线网络发送终端传输的火情识别定位信息，并传输给PC主机；

所述web浏览器安装于PC主机上，用于对PC主机中的火情识别定位信息进行页面展示。

2.根据权利要求1所述的系统，其特征在于：边缘嵌入式计算设备根据图像识别结果向北斗发送终端发出定位指令，北斗发送终端接收到指令后通过北斗卫星进行定位信息的获取，最终得到火情识别定位信息。

3.一种基于深度学习的火情识别定位方法，其特征在于，包括如下步骤：

(1)制作火情数据集；

(1a)采集图片样本，组成样本集；

(1b)将样本集中的所有图片随机划分为两部分，分别作为训练集和验证集；

(1c)利用图片标注软件LabelImg对样本中每张图片的火焰部分进行标注，设置标签并生成标注文件；分别将训练集图片和验证集图片的路径及文件名写入到训练文本和测试文本中，合并整理为火情数据集；

(2)构建改进后卷积神经网络模型：

在现有目标检测网络SSD的基础上，采用轻量化特征提取网络对其进行优化，得到改进后卷积神经网络模型；

(3)训练模型：

在主机端，PC主机通过火情数据集中的训练文本找到训练集，使用训练集中的图片进行改进后卷积神经网络模型的训练，得到训练后网络模型及模型权重文件；

(4)移植模型：

在边缘嵌入式计算设备中安装深度学习框架TensorFlow、Keras及相关库文件，并采用与步骤(2)相同的方式构建改进后卷积神经网络模型；最后将主机端训练所得的训练后网络模型及模型权重文件移植到边缘嵌入式计算设备上；

(5)边缘端的监控摄像头采集监控点现场图片，并将其传入到边缘嵌入式计算设备；

(6)边缘嵌入式计算设备读取现场图片，通过训练后网络模型中对输入图片进行火情识别，得到识别结果；

(7)边缘嵌入式计算设备根据识别结果判断是否有火情发生，若存在火情，则生成包含火情信息和火情识别图片的火情现场信息，并继续执行步骤(8)；若不存在火情，则返回步骤(5)；

(8)边缘嵌入式计算设备将火情现场信息分别通过北斗发送终端与无线网络发送终端发出，即通过北斗和无线网络两种传输方式分别发送到主机端；

(9)主机端接收信息，并进行处理：

(9a)主机端的PC主机监听预先设定的端口号，接收套接字socket信息，并检查协议包头标志是否为b'\xff\xaa\xff\xaa'，若是，则判定为匹配，执行步骤(9b)完成解包操作；反之，判定为不匹配，终止解包并继续监听端口接收新的套接字socket信息；

(9b)PC主机通过无线网络接收终端接收无线网络发送终端发出的火情现场信息，对该信息内容进行解包操作，获取火情信息及图片二进制数据，并将其以火情信息命名后保存为图片格式；同时，PC主机通过北斗接收终端接收北斗发送终端发出的火情现场信息，对该信息内容进行解包操作，提取定位信息和火情信息；

(10)主机端在PC主机上搭建web浏览器页面，用于调取火情现场信息，并对该信息进行web浏览器页面展示。