[发明专利]基于机器视觉的施工安全监控方法及装置

权利要求书

1.一种基于机器视觉的施工安全监控报警方法，其特征在于：

在施工区域四周设置多个周边监测装置，在施工场地矩形区域的四个角上分别设置监测装置，在矩形区域的四个边上分别间隔10-20米设置监测装置；周边监测装置包括可见光相机和红外相机；

初始化可见光相机，每个可见光相机分别沿水平方向和俯仰方向进行扫描旋转，保证相机朝向施工区域的方向全部被扫描到，在扫描的同时进行拍照并记录拍摄每张照片时可见光相机的位姿；每一次扫描获得的图片均传输至管理平台，管理平台将每一张图片送入神经网络进行分析，从而准确判断该图片中的施工区域的风险等级，在风险等级高时，记录此时的相机位姿，从而固定该相机位姿；在可见光相机初始化后，同一周边监测装置中的红外相机直接设定为与其相同的位姿；

周边监测装置中的可见光相机和红外相机以一定频率拍摄其所对准的施工区域，并将图片送至管理平台，管理平台利用神经网络进行分析，当有异常人员或物体进入该高风险区时，通过神经网络进行识别报警；

神经网络处理步骤包括：

步骤1：对拍摄到的工地施工现场图像进行预处理，其目标是对输入图像的噪声进行抑制或者去除；包括：

1.1选取滤波卷积核K；

1.2对于源图像S，应用卷积核K，得到目标图像D，其中核函数如下：

其中，σ为函数的方差

步骤2：建立图像之间差分运动特征向量，通过度量前后帧图像之间的差异，建立图像随时间变化的特征向量，作为神经网络的输入信号；

步骤3：采用神经网络算法对输入信号进行识别，输入信号为步骤2所得差分运动特征向量D，输出为是否产生告警，可标识为{0,1}集合，0对应不产生告警，1对应产生告警；

其中在输入层与全连接层之间插入了含有局部运动信息的卷积层构成了神经网络，并且在训练神经网络时，选取交叉熵函数作为度量神经网络拟合效果的代价函数，该函数为

上式中，x是神经网络的输入，y是神经网络的输出值，a表示样本的真实值，n是样本数量。

2.如权利要求1所述的方法，其特征在于：还包括可见光图像和红外图像的融合步骤，具体包括：

步骤1、将图像Iv(R,G,B)按照如下公式映射到新空间Iv(V)，其中：

步骤2、设置如下的卷积窗口：

其中，u,v分别是窗口内部元素相对于窗口中心在横坐标和纵坐标上的偏移。对Iv(V)和Ir(R)分别应用四个卷积窗口，得到8张图像Iv(C1)、Iv(C2)、Iv(C3)、Iv(C4)和Ir(C1)、Ir(C2)、Ir(C3)、Ir(C4)；

步骤3、根据对应卷积窗口在红外图像和可见光图像上的响应，生成一张融合图像Im(C)，其每一个像素的值等于：

步骤4、根据融合图像Im(C)、Iv(V)生成一张新的RGB融合图像Im(R,G,B)，其中：

3.如权利要求2所述方法，其特征在于：如果发生报警事件，管理平台会定向发出声音警报，并且在能见度较低的情况下，管理平台可以通过直射光源照射报警区域。

4.如权利要求3所述方法，其特征在于：每个可见光相机和红外相机均安装在支架上，支架上设置水平旋转平台和俯仰旋转平台，使得相机在支架上可以在水平面中转动，方便调节相机光轴所对应的水平方向；同时相机可以在支架上俯仰转动，方便调节相机光轴所对应的垂直方向。

5.如权利要求4所述方法，其特征在于：每个相机的光轴对准矩形区域外接圆的圆心。

6.如权利要求1所述方法，其特征在于：在进行监控前对可见光相机和红外相机进行位姿初始化。

7.一种使用权利要求1-6所述方法的施工安全监控报警装置。