[发明专利]一种夜间行人检测系统及基于该系统的行人检测方法

权利要求书

1.一种夜间行人检测系统的行人监测方法，该夜间行人检测系统由图像采集模块、处理器、电源模块、显示模块和存储模块组成，所述图像采集模块、电源模块、显示模块和存储模块均与所述处理器电性连接；

其特征在于：

利用红外摄像头采集夜间图像，夜间图像经过色度转换，得出HSL图像，然后使用图像形态学处理HSL图像以滤除噪点，再对HSL图像进行区域划分得出存在行人的区域，对存在行人的区域进行行人检测，提取行人的HOG特征，SVM分类器根据行人的HOG特征从数据库存储的夜间图像中识别出行人,不断训练训练SVM分类器,以提高夜间行人检测系统的准确率和抗干扰能力；

包括以下步骤:

步骤S1、视频流畅性优化；红外摄像头在夜间采集RGB图像，树莓派读取每一帧RGB图像，为每帧RGB图像分配一个顺序编号，顺序编号从1至30，同时计算图像的帧数，每读入30帧RGB图像，顺序编号清零然后重新计数，处理每帧RGB图像前先识别其顺序编号，如果顺序编号为奇数，则执行步骤S2，如果该帧RGB图像的顺序编号为偶数，那么直接输出该帧RGB图像，不再执行步骤S2；

步骤S2、图像预处理,

本步骤包括以下两个子步骤:

步骤S200、行人图像色度转换,夜间图像属于RGB图像，夜间图像经过色度转换后输出HSL图像,具体步骤如下，

提取夜间图像的三种颜色分量，这三种颜色分量分别是R颜色分量、G颜色分量、B颜色分量，然后对夜间图像的三种颜色分量分别归一化，然后扫描夜间图像的每行每列，将夜间图像的三种颜色分量换算为与之一一对应的HSL值，直到夜间图像的最后一个像素转换完毕，从而将夜间图像转换为HSL图像；

RGB图像转HSL图像用到变量公式1、变量公式2和变量公式3，变量公式1的变量公式为：

变量公式2为：

变量公式3为：

h表示色调，l表示亮度，s表示饱和度，max和min分别表示RGB三种颜色分量中的最大值和最小值,色度转换之后，根据变量公式3的计算结果记录下最大亮度的像素坐标，并将其设置为计算中心目标点(X,Y)，便于对图像进行掩码操作,

使用中心目标点(X,Y)作为结构元素来腐蚀经过变量公式2处理的图像，先创建一个3x3卷积核作为掩模，并使用HSL阈值来创建一个掩码，原始图像和掩模以(X,Y)为起点S执行按位运算,对于源图像数据f(x,y)，卷积算子为3×3，邻域平均掩模的计算公式为：

在该公式中，x表示图像的水平坐标,y分别表示图像的垂直坐标，

腐蚀公式2为：

此公式表示使用结构元素B对A进行腐蚀，并且与被其覆盖的二值图像做“与”操作，A被B腐蚀是所有位移Z的集合，

还需要用到膨胀公式，膨胀公式为：

此膨胀公式表示用结构元素B扫描图像A的每一个元素，并且与被其覆盖的二值图像做“或”操作，A被B膨胀是所有位移z的集合，

对Z中的集合A和B，使用B对A进行膨胀，用表示，

结合变量公式2和腐蚀公式，根据起点S左右下上四个方向的像素点得出以下公式：

其中，max和min分别表示取函数的最大值和最小值，再结合式腐蚀公式得出以下公式1和公式2,其中，公式1为，

公式2为：

n1,n2,n3,n4分别表示四个方向边界与中心(X,Y)的距离，

然后，在高亮度区域中使图像平滑，遍历高亮度区域并使用当前像素作为参考点来确定在3×3的四个方向上是否存在至少一个值为0的像素区域，若存在则该参考点是边界点，记录该边界点的坐标，直到找到边界点为止，最后，由公式2得到左、右、上和下边界点的坐标，分别是(xmin,Y)、(xmax,Y)、(X,ymin)和(X,ymax),初步确定图像上的高亮区域的中心坐标和边界坐标以及中心与边界的距离,为了进一步区分行人和其他高亮物体，对行人形状进行分析，以长方体作为模型设立了基本条件，设定长方体的长宽比范围在2:1至5:1，长方体的长宽比公式为：

5min(n₁+n₂，n₃+n₄)＞max(n₁+n₂，n₃+n₄)＞2min(n₁+n₂，n₃+n₄)，

其中，min表示取n1+n2和n3+n4中的最小值，max表示取n1+n2和n3+n4中的最大值；

步骤S201、图像形态学处理HSL图像；

图像形态学处理HSL图像包括腐蚀操作和膨胀操作，腐蚀操作需要调用OpenCV和Numpy库，腐蚀操作的具体过程是产生一个3×3的像素模版，通过像素模版扫描HSL图像中的所有像素点以及每个像素点的像素值，在遍历整个HSL图像的过程中，像素模版上的一个位置与HSL图像上的一个位置对应，像素模版的像素值与HSL图像上被像素模版覆盖的像素值进行与操作，当像素模版上的像素值与HSL图像上被像素模版所覆盖的像素值均为1时，所得到的腐蚀结果对应位置为1，否则，当像素模版上的像素值或HSL图像上被像素模版所覆盖的像素值为0时，所得到的腐蚀结果对应位置为0；

膨胀操作调用OpenCV和Numpy库，膨胀操作通过一个3×3的像素模版遍历整个图像，像素模版中的像素值与HSL图像上被像素模版覆盖的像素值一一进行或操作，当像素模版上的像素值与HSL图像上被像素模版所覆盖的像素值都为0时，所得到的膨胀结果对应位置为0，否则，当像素模版上的像素值或HSL图像上被像素模版所覆盖的像素值为1时，结果为1；

步骤S3、图像区域划分处理；

本步骤包括以下两个子步骤:

步骤S300、图像区域静态划分，

具体步骤如下:在HSL图像中作水平线LINE1和水平线LINE2,水平线LINE2先设置在HSL图像竖直方向的二分之一处，水平线LINE1的下面部分是有效区域和实际识别范围，其需要树莓派的处理器操作，水平线LINE2将HSL图像划分为上半区和下半区，上半区位于水平线LINE2的上方，上半区为天空，下半区位于水平线LINE2的下方，下半区为地面，下半区为存在行人的区域,水平线LINE1位于水平线LINE2的上方,水平线LINE1和水平线LINE2之间的间距等于HSL图像宽度的十分之一；

步骤S301、检测车道线,然后根据车道线调整水平线LINE2的位置，一旦检测到车道线,则进行图像区域动态划分,然后输出图像,图像区域动态划分是指先找到车道线最靠近HSL图像上边沿的像素点,过车道线最靠近HSL图像上边沿的像素点作水平线LINE2,

检测车道线的具体步骤如下：

(1)读取HSL图像，并对HSL图像进行灰度转换；

(2)对处理后的HSL图像进行边缘检测，通过OpenCV中的Canny算子可以做边缘检测运算，canny函数是:

cv2.Canny(Input，Minval，Maxval)，

其中,Input代表HSL图像，Minval代表最小阈值，Maxval代表最大阈值，最小阈值和最大阈值的设定直接影响到边缘提取的效果，为了确定真正的边界，设定的两个阈值Minval和Maxval,阀值范围是Minval至Maxval，当HSL图像的像素点A梯度高于阈值Maxval时可以认为是真的边界点，像素点C虽然低于Maxval,但高于Minval，同时与像素点A在同一条连续的线上，因此也可以认为是真正的边界点，而像素点B介于两阈值之间且不存在与其它超出阈值范围线相连，因此像素点B不是真正的边界点,具体地,阈值范围为50至120，边缘HSL图像edges＝cv2.Canny(gray,50,120)；

(3)对边缘检测后的HSL图像进行概率霍夫变换得到多条直线，通过OpenCV中的统计函数cv2.HoughLinesP(dst,lines,rho,theta,threshold,minLineLength,maxLineGap)，计算上述的边缘HSL图像，其中，dst为输入的二值化图像，lines表示储存检测到直线的参数，rho表示参数极坐标上半径ρ以像素值为单位的分辨率，theta表示参数极坐标上角度θ以弧度为单位的分辨率，threshold表示阈值的设定，即一条直线所需最少的曲线交点，minLineLength表示最少可以组成一条直线的点数量，点数量不足的直线被排除，maxLineGap表示一条目标直线上点的最大距离,具体地，检测直线lines＝cv2.HoughLinesP(edges,1,np.pi/180,100,10,10,30)；

(4)对直线进行分组，根据直线斜率的条件进行判别是否为车道线，斜率无限大或不存在的直线为电线杆，直线倾斜并存在斜率为车道线，车道线用较细的白色线标识出来，从而根据斜率判断电线杆和车道线；

(5)获取车道线最靠近HSL图像上边沿的像素点的y坐标值，过该像素点作水平线LINE2，水平线LINE2表示实际天空与地面的水平分界线，由此完成水平线Line2的定位；

步骤S4、对HSL图像的下半区进行行人检测，行人检测采用滑动窗口法提取ROI待检测窗口，滑动窗口法利用滑动窗口对HSL图像的下半区进行一定步长的扫描，滑动窗口缩放改变窗口的尺寸，扫描完毕后，获得可能是行人的ROI待检测窗口，具体步骤如下：

步骤S401、读取HSL图像的下半区；

步骤S402、创建滑动窗口，计算缩放因子对应的滑动窗口大小和步长；

步骤S403、根据步长，滑动窗口遍历HSL图像的下半区，直到获取待检测窗口；

步骤S404、待检测窗口经过检测获取行人的位置；

步骤S5、行人特征提取，将待检测窗口分割成若干细胞单元，每个细胞单元有八行，每行有八个像素点，对每个细胞单元进行梯度计算和边缘直方图处理，将细胞单元的直方图组合构成图像的特征，将上下左右相邻的四个细胞单元组合成块单元，梯度的方向设置有九个区间，角度范围为0～180度，每隔20度为一个区间，利用块单元遍历整个图像，利用HSL图像的梯度和边缘的方向密度分部表示图像的局部形状特征，HOG特征的提取过程：

①Gamma归一化，对图像进行规范化，降低局部阴影及背景的影响，Gamma归一化的公式为：

I(x，y)＝I(x，y)^gamma，

②计算图像梯度，主要是计算图像横坐标和纵坐标方向的梯度信息，并且计算每个像素位置的梯度方向值，最终得到行人轮廓和边缘信息，HSL图像中的像素点(x，y)的梯度公式为：

G_x(x，y)＝H(x+1，y)-H(x-1，y)，

G_y(x，y)＝H(x，y+1)-H(x，y-1)，

其中Gx(x，y)、Gy(x，y)、H(x，y)分别表示输入图像中像素点(x，y)处的水平方向梯度、垂直方向梯度和像素值，像素点(x，y)处的梯度增幅和梯度方向如下列公式所示：

③划分cell，构建每个cell单元的梯度方向直方图，将图像分成若干个“单元格cell”，一张64×128的图像，每8×8的像素组成一个cell，每2×2个cell组成一个block作为扫描窗口，以8个像素为距离长度进行扫描，共有7个扫描窗口在水平方向上，垂直方向上共有15个扫描窗口，总共有36×7×15＝3780个特征；

④归一化梯度直方图,把每个单元格cell所对应的方向统计数据转换为单维向量，即对方向梯度个数进行编码，(8,10,6,12,4,5,8,6,14)，得到单个cell的9个特征，每个block包含2×2个cell也就是2×2×9＝36个特征，最后所得到的特征数为36×7×15＝3780；

⑤收集HOG特征，最后将检测窗口中所有重叠的block进行HOG特征的收集，将它们合并为最后的特征向量，最后将这些特征向量提供给分类器使用，进行样本训练和测试；

步骤S6、设置SVM分类器，由步骤S5中的HOG特征作为样本，在训练数据库中设置多张夜间图像，利用训练数据库训练SVM分类器，SVM分类器根据HOG特征识别训练数据库中各种姿态的行人。