[发明专利]一种基于视频信号的事件识别方法

摘要

本发明属于图像识别技术领域，具体为一种基于视频信号的事件识别方法，其能够对被监控对象的某一动作或此对象的某状态变化过程进行识别，提高监控效率，其包括事件训练和事件识别两个步骤，事件训练步骤只需执行一次，事件训练执行完毕后，事件识别可执行任意次；其中，事件训练步骤包括训练用视频段获取及预处理、训练用组图像构造和对训练用组图像进行特征提取三个步骤；事件识别步骤包括识别用视频段获取及预处理、识别用组图像构造、对识别用组图像进行特征提取和对识别用视频段分类四个步骤。

主权项

1.一种基于视频信号的事件识别方法，其特征在于，其包括事件训练和事件识别两个步骤，事件训练步骤只需执行一次，事件训练执行完毕后，事件识别可执行任意次；事件训练步骤包括训练用视频段获取及预处理、训练用组图像构造和对训练用组图像进行特征提取三个步骤；事件识别步骤包括识别用视频段获取及预处理、识别用组图像构造、对识别用组图像进行特征提取和对识别用视频段分类四个步骤；训练用视频段获取及预处理步骤包括以下子步骤：1.1训练用视频段获取：利用摄像头拍摄含有待识别事件的视频；1.2训练用视频段预处理：对步骤1.1中的视频进行剪截，去掉与待识别事件无关的帧形成母视频；训练用组图像构造步骤包括以下子步骤：2.1样本图像采集：计算采样时间间隔、确定样本图像采集位置、将母视频中样本图像采集位置的帧图像取出；2.2构造母视频的事件对象模板：构造样本图像的事件对象模板、构造母视频的事件对象模板；2.3构造训练用组图像；对训练用组图像进行特征提取步骤包括以下子步骤：3.1构造关联图像矩阵集；3.2构造投影矩阵：关联图像矩阵集的0均值化、构造左投影矩阵、构造右投影矩阵；3.3对关联图像矩阵集作投影；识别用视频段获取及预处理步骤与训练用视频段获取及预处理步骤相同；识别用组图像构造步骤与训练用组图像构造步骤相同；对识别用组图像进行特征提取步骤与对训练用组图像进行特征提取步骤相同；对识别用视频段分类步骤：将事件识别步骤中的母视频的特征和事件训练步骤中的母视频的特征进行比较并进行判定；步骤2.1样本图像采集具体包括：2.1.1计算采样时间间隔：设母视频为视频A，视频A对应的时间长度为t秒，视频为X帧/秒制式，设置一个样本数m＞0，计算时间间隔d＝t/m；2.1.2确定样本图像采集位置：第i个图像采集的位置si＝1+25*(i‐1)*d，i≥1，即s1是视频A的第1帧图像的位置，s2是视频A的第1+25*d帧图像的位置，之后以此类推；2.1.3将视频A中样本图像采集位置的帧图像取出，设pi是位置si的帧图像，P为存放帧图像pi的样本图像集，样本图像集P中的图像帧数为m+1；步骤2.2构造母视频的事件对象模板具体包括：2.2.1构造样本图像的事件对象模板：(a)在样本图像集P中，计算pi与pi+1或pi与pi‐1位置的两帧图像之差，亦即将pi与pi+1或pi与pi‐1位置的两帧图像对应的图像矩阵作矩阵减法而得到新的矩阵，再对此新矩阵的所有元素取绝对值；将此两帧图像之差的计算结果存于qi；(b)对qi进行腐蚀和膨胀处理，消除其背景干扰点；(c)对qi进行二值化操作：取一阈值θ>0，对图像矩阵qi的所有元素，若该元素值大于θ则将该元素值置1，否则置0；此时qi就是样本图像pi的事件对象模板；2.2.2构造视频A的事件对象模板：(a)从i＝1起，依次对q1和qi+1进行或操作，或操作的结果存于q，直至i＝m为止；或操作指将图像矩阵q1和qi+1的对应元素进行逻辑或的操作；(b)在q中搜寻包含所有非0元素的最小矩形区域，将q中落入此矩形区域的所有元素的元素值置1；此时图像矩阵q就是关于视频A的事件对象模板；2.3构造训练用组图像：在样本图像集P中，用模板q依次对pi作乘法操作，结果仍存放于pi；乘法操作指将图像矩阵q和图像矩阵pi的对应元素作乘法操作；此时样本图像集P即为训练用组图像；步骤3.1构造关联图像矩阵集具体宝包括：设R是视频A的关联图像矩阵集，则对于一个事先选择的关联数k，有：r1是p1、p2、p3、…、pk的关联组成，r2是p2、p3、p4、…、pk+1的关联组成，其余以此类推，这样的r1、r2、…、rm‐k就是视频A的关联图像矩阵集；这里的关联组成，是指这样一种操作：如果pi、pi+1、pi+2、…、pi+k的行有h个元素，则ri的某行的元素依次为：pi(1)、pi(2)、…、pi(h)、pi+1(1)、pi+1(2)、…、pi+1(h)、…、pi+k(1)、pi+k(2)、…、pi+k(h)，其中pi(j)是pi中与ri的某行相同行的第j个元素；亦即ri的每一行都是由pi、pi+1、pi+2、…、pi+k的相同各行的依次首尾联接而组成；步骤3.2构造投影矩阵具体包括：3.2.1：关联图像矩阵集的0均值化：设关联图像矩阵集的矩阵数为n，则(a)计算均值(b)计算c_i＝r_i‑u；3.2.2构造左投影矩阵：(a)计算(b)计算C_U的特征值，将这些特征值降序排序，取其中前l个特征值，(c)找出与此l个特征值对应的特征向量，(d)将这些特征向量依次作为矩阵U的列；矩阵U就是所求的左投影矩阵；其中是c_i的转置矩阵；3.3.3构造右投影矩阵；(a)计算(b)计算C_V的特征值，将这些特征值降序排序，取其中前l’个特征值，(c)找出与此l’个特征值对应的特征向量，(d)将这些特征向量依次作为矩阵V的列；矩阵V就是所求的右投影矩阵；其中是c_i的转置矩阵，步骤3.3对关联图像矩阵集作投影具体包括：作矩阵计算bi＝UTciV，这里一组bi就是视频A的特征。