[发明专利]一种基于视频图像的快速高效的车流量计算方法

权利要求书

1.一种基于视频图像的快速高效的车流量计算方法，它通过安装在道路上的摄像机或者图像采集卡设备收集到车辆视频图像并对其进行处理分析，它的方法步骤为：

一、生成路面区域及摄像机位置：

输入视频图像，将路面区域信息和摄像机位置信息作为一个网络的两个任务分别进行训练；收集不同路面的图像数据，对图像数据选取路面区域的5个边界关键点进行数据标注；标注摄像机相对于路面的位置信息；

对于同一个网络任务，设计loss时将路面区域信息和摄像机位置的loss加以权重进行调节，使得二者数据维度相平衡：

根据生成的路面区域计算生成虚拟拌线；

二、生成原始采样图：

将每一条数据按照虚拟拌线倾斜角度方向顺序排开，形成原始采样图：

2.1虚拟拌线点集数据：

生成的虚拟拌线由两个点表示，记录虚拟拌线的宽度为SW，计算虚拟拌线覆盖的所有点集的数据，并记录所有的点集，记为[(x1,y1),(x2,y2)......(xn,yn)]所有的点集数据代表了每一帧视频数据的待采集数据；

2.2 创建采样图：

根据虚拟拌线的宽度，创建原始采样图，记为SrcSample；创建远大于实际帧数的图像数据；

2.3 填充采样图：

对于第1帧数据，将该帧数据上对应的点集数据根据位置信息放入SrcSample图的[(M+ x1,y1),(M + x2,y2)......(M + xn,yn)]；记录该条数据的两个端点(X_S1,Y_S1),(X_S2,Y_S2)；对于第2帧数据，根据摄像机位置信息放入Sample图第2行对应的位置，如果摄像机在右侧，按照[(M + x1 - SW * (times - 1),y1 + SW * (times - 1)),(M + x2 - SW* (times - 1),y2 + SW * (times - 1))......(M + xn - SW * (times - 1),yn + SW* (times - 1))]摆放；如果摄像机在左侧，按照[(M + x1 + SW * (times - 1),y1 + SW* (times - 1)),(M + x2 + SW * (times - 1),y2 + SW * (times - 1))......(M + xn+ SW * (times - 1),yn + SW * (times - 1))]摆放；....... 依次执行直至第1200次数据，完成生成原始采样图，记录最后一条数据的两个端点(X_E1,Y_E1),(X_E2,Y_E2)，其中SW即为采样线的宽度1，times为第n张图像数据；

三、透视变换：

对原始采样图进行透视变换，透视变换的通用公式为：，其中实现线性变换， 实现平移变换，实现透视变换，实现全比例变换；

透视变换的数学表达式为：；

获取的原始采样图中记录有4对坐标点，即原图的坐标分别为(X_S1,Y_S1),(X_S2,Y_S2)和(X_E1,Y_E1),(X_E2,Y_E2)，变换后的坐标设置宽为W和高为H，因此变化后的4个坐标点为(0,0),(0,H)和(W,H),(W,0)，根据上面的转换公式建立透视变换矩阵，并完成从原始采样图到鸟瞰图的转换；

四、轻型稀疏卷积神经网络算法模型训练：

从原始图像上固定位置采集的数据，该位置没有车通过时，上下行像素变化在k个像素之内；如果超过该值，记为两行之间发生跳变；

轻型稀疏卷积神经网络算法的具体步骤如下：

4.1标注流量时序图像车辆个数，假设标注样本数据共有T张，通常T>=M；

4.2根据流量时序图像素突变的特征，结合卷积神经网络的思想，算法公式为：；

其中表示每一列像素跳变的比例，表示该列的特征矩阵，为待训练的特征向量，N表示标注的车辆个数；

，

其中V_j表示第j行的像素值，k为阈值，H为图像的高度；

4.3模型训练：

4.3.1从T张数据集选择W张数据，初始时选择第1~W张，初始最小误差值ErrorMin为较大的数；通过W张数据，解出；

4.3.2测试剩余的T-W张数据，根据对应的和求出预测结果，并记录预测结果与实际标注数据之间的差值，记录差值为Error；如果Error小于最小误差值ErrorMin，则更新Error为ErrorMin，同时记录对应的值；

4.3.3选择第2~W+1张数据，通过W张数据，解出；然后执行第4.3.2步；

4.3.4循环执行4.3.2和4.3.3，直至ErrorMin不再变化；

4.3.5计算绝对误差的比例，该比例作为后面模型预测时的调整参数；

其中ErrorMin为上述训练过程中最小的误差值，N_i为对应图像的标注数据；

五、上下行统计：

5.1统计每一列车道跳变次数记为；

5.2循环统计一定次数的跳变数据，将每次结果累加为A_i，其中；

5.3从左侧车道往右侧车道统计A_i小于一定阈值的列，统一保存到数组J_i中；如果该列A_i小于阈值，则J_i为0；否则为1；

5.4统计数组J_i连续为0的起始位置以及连续长度；根据先验知识该区域应该在图像宽度的0.3~0.8范围之内，选取连续为0长度最长的区间段作为中间的绿化带或者护栏区域，根据该段的起始位置求出中间的上下行分界线；

六、模型预测：

步骤一只需要完成一次，后续每一帧数据都进行步骤二的运算，当满足计算周期时进行步骤三的运算，使用步骤三生成的流量时序图根据上面训练的模型参数，完成车流量统计，并结合上下行信息完成上下行的流量统计。