[发明专利]一种基于张量流递归神经网络的检测分拨系统及方法

权利要求书

1.一种基于张量流递归神经网络的检测分拨系统，其特征在于，包括传感器单元、第一存储单元、第二存储单元、第三存储单元、图像融合单元、张量流递归检测单元和分拨处置单元；

传感器单元包括可见光摄像头和红外摄像头，传感器单元用于收集可见光图像和红外图像；

第一存储单元，用于存储可见光摄像头及红外摄像头拍摄到的图像数据；

第二存储单元，用于存储摄像头的编号及位置信息；

第三存储单元，用于存储网格员的编号、姓名、管理区域和联系方式信息；

图像融合单元，用于将可见光图像与神经网络图像进行融合；

张量流递归单元，用于将融合后的图像信息进行数据分析，并判断图中有无城管事件发生，并标记出发生城管事件的类型及图中的位置；张量流递归单元的输入参数为融合图像的张量流，输出参数为城管事件的标签；

分拨处置单元，用于将发生的城管事件按照摄像头位置以及网格员分管区域将发生的城管事件分拨给附近的网格员进行处置。

2.根据权利要求1所述的基于张量流递归神经网络的检测分拨系统，其特征在于，图像融合单元采用多层神经网络模型，其输入参数为可见光图像与红外图像，其输出参数为两者进行图像融合之后的RGB图像，RGB图像在可见光图像基础上突出红外信息。

3.根据权利要求1所述的基于张量流递归神经网络的检测分拨系统，其特征在于，张量流递归单元，包括CMS模块、RES模块、RESn模块和FC模块；

CMS模块，用于张量流的关键特征提取；CMS模块，包含CONV操作、MaxP操作和SoftP操作，其中，CONV操作为深层卷积操作，MaxP为极大值池化操作，SoftP为软加和操作；

RES模块和RESn模块用于对张量流的递归操作；RES模块包含两个CMS模块和一个递归累加操作；RESn模块包含零填充操作、CMS模块和n个RES模块；

FC模块，即，全连接层，用于对提取特征进行合成，以城管事件的检测结果。

4.根据权利要求1-3任一项所述的基于张量流递归神经网络的检测分拨系统还提出关于上述基于张量流递归神经网络的检测分拨系统的使用方法，其特征在于，包括以下步骤：

S1：收集传感器单元的数据，数据包含可见光图像数据和红外图像数据以及摄像头所在的位置信息；

S2：将图像数据存入第一存储单元，将传感器位置信息存入第二存储单元；收集网格员信息存入第三存储单元；

S3：将收集的两类图像数据利用图像融合单元进行图像融合；

S4：将图像融合的结果输入训练好的张量流递归单元，对融合后的图像进行城管事件检测；

S5：将张量流递归单元的检测结果输入分拨处置单元，分拨处置单元根据第二存储单元中的摄像头位置信息，结合第三存储单元中的网格员信息，将城管事件分拨给适宜的网格员进行处置。

5.根据权利要求1所述的基于张量流递归神经网络的检测分拨系统及方法，其特征在于，张量流递归单元进行模型框架的设计，其模型的训练和模型的验证包括以下步骤：

S51：设计基于张量流递归神经网络的城管事件检测方法的网络架构；

S52：制作城管事件张量流数据集及对应标签，并将其划分为训练数据集、验证数据集和测试数据集；

S53：利用城管事件训练数据集对设计好的基于张量流递归神经网络的城管事件检测方法的网络架构进行训练；

S54：利用城管事件验证数据集，验证训练好的基于张量流递归神经网络的检测精度，若精度低于预期值，则调整神经网络模型的各类超参数；

S55：利用城管事件测试数据集，对超参数调整完毕的基于张量流递归神经网络进行测试，若泛化误差高于预期值，则调整神经网络结构并重新进行训练和验证，直至泛化误差低于预期值为止。