[发明专利]一种基于视觉的乱扔垃圾的检测方法及系统

权利要求书

1.一种基于视觉的乱扔垃圾的检测方法，其特征在于，包括以下步骤：

视频采集步骤：通过视频采集设备对进行视频采集，并将视频数据依时间先后分成前一视频帧f1，后一视频帧f2传输给目标检测器进行检测；

识别新增垃圾步骤：目标检测器在f1，f2中检测行人手上垃圾和地上垃圾，并且在f1中检测到行人手上垃圾后，和在f2中没有检测到行人手上垃圾时，确认为有新增垃圾；

确认新增垃圾步骤：将f1中的地上垃圾的坐标信息，f2中的地上新增垃圾的坐标信息进行处理比对，确认新增的地上垃圾；

提取垃圾特征步骤：通过垃圾特征提取器分别提取手上垃圾和地上垃圾特征向量；

特征比对步骤：通过垃圾特征提取器对手上垃圾和地上垃圾特征向量进行归一化特征向量处理，求两个向量的余弦相似度，并在相似度大于设定阈值时，认定为存在乱扔垃圾行为；

人脸检测步骤：在检测到乱扔垃圾行为后，通过人脸检测器检测到人脸，并裁剪人脸图像；

人脸特征提取步骤：通过人脸特征提取器提取到人脸的特征向量，上传至后台人脸数据库；

人脸数据查找步骤：将上传的人脸特征向量和后台人脸数据库求余弦相似度，在相似度大于设定阈值则认为此人多次乱扔垃圾。

2.如权利要求1所述的基于视觉的乱扔垃圾的检测方法，其特征在于，在所述人脸数据查找步骤中，人脸特征向量的余弦相似度小于或等于设定阈值时，认定此人为首次乱扔垃圾，在所述确认新增垃圾步骤中，f1中的地上垃圾为零时，地上的垃圾的坐标信息为空。

3.如权利要求1所述的基于视觉的乱扔垃圾的检测方法，其特征在于，在所述识别新增垃圾步骤中，目标检测器在设置间隔时间为t的两视频帧f1，f2中检测行人手上垃圾和地上垃圾，当f1中检测到手上垃圾后，并跟踪f2中的检测结果，在f2中没有检测到手上垃圾且检测到地上有新增垃圾后，进入确认新增垃圾步骤。

4.如权利要求3所述的基于视觉的乱扔垃圾的检测方法，其特征在于，在确认新增垃圾步骤中，设f1中地上垃圾有N个，则f1中地上垃圾为g1,g2,…,gn，f2中地上垃圾为g1,g2,…,gn+1，n为自然数。

5.如权利要求3所述的基于视觉的乱扔垃圾的检测方法，其特征在于，在提取垃圾特征步骤中，通过目标检测器检测到的手上垃圾和地上垃圾的坐标框信息，并依据坐标框信息截取到垃圾的图像块，并通过垃圾的图像块提取特征向量。

6.如权利要求1所述的基于视觉的乱扔垃圾的检测方法，其特征在于，在所述提取垃圾特征步骤中，手上垃圾和地上垃圾特征向量为256维特征向量，在所述人脸特征提取步骤中，提取到人脸的特征向量为256维特征向量。

7.如权利要求1所述的基于视觉的乱扔垃圾的检测方法，其特征在于，在检测到行人乱扔垃圾行为后，进行人脸检测并和后台数据库进行比对的过程，当识别到乱扔垃圾行为后，检测人脸，裁剪人脸，并对人脸提取特征信息生成256维特征向量，并将人脸特征向量和后台数据库做相似度比对，将人脸信息存入数据库并针对多次乱扔垃圾行为的人脸信息发送至管理终端。

8.如权利要求3所述的基于视觉的乱扔垃圾的检测方法，其特征在于，在f2中没有检测到手上垃圾且没有检测到地上垃圾新增后，继续间隔时间t，进入下一帧继续识别新增垃圾步骤。

9.如权利要求6所述的基于视觉的乱扔垃圾的检测方法，其特征在于，在所述特征比对步骤中，将提取垃圾特征步骤中得到的特征向量做归一化处理，然后求两个向量的余弦相似度，设特征向量为g＝(x1,x2,x3,..,x256)，则向量归一化公式为：g^＝g/|g|，其中|g|为向量g的模，|g|＝sqrt(x1²+x2²+x3²+…+x256²)。