[发明专利]目标行为识别方法及装置、存储介质、终端

说明书

一种目标行为识别方法及装置、存储介质、终端，目标行为识别方法包括：获取待识别视频；对各帧待识别图像进行目标检测，以分别得到各帧待识别图像中的运动目标和车道线；将每帧待识别图像中识别得到的运动目标和车道线按照像素坐标映射在同一映射图像中；在每一映射图像中确定运动目标与路面的接触线为水平基准线，并确定运动目标在水平基准线上的第一像素坐标，以及车道线的两条线在水平基准线上的第二像素坐标和第三像素坐标；计算每一映射图像中第一像素坐标与第二像素坐标和第三像素坐标的相对位置关系，以得到待识别视频中运动目标的行为时间序列数据。本发明技术方案能够实现高速远距场景下运动目标的动作识别。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种目标行为识别方法及装置、存储介质、终端。

背景技术

车道闯入行为预测问题的主要技术是视频动作识别，更准确地是高速远距场景下的视频动作识别。视频动作识别是指由一段连续的视频(即图像帧序列)，识别出视频中目标(人)的动作。视频中包含两类特征：时间特征和空间特征，时间特征是不同帧(不同时刻)图像对应的像素变化的特征。空间特征是一帧图像中的像素特征。同时提取时空特征需要计算一帧之内和不同帧之间的像素的关系。

对于视频动作识别，目前有两种主流的方法3D卷积神经网络和双流方法。3D时空卷积方法利用3D卷积核同时捕捉时间和空间特征。3D卷积核是相比二维卷积增加了一个维度，3D卷积核可以计算连续几帧的同一区域的像素关系，因此可以同时提取时间和空间特征，从而实现视频的动作识别。双流方法则包含了光流网络支路和图像网络支路，用光流图像表示时间特征。光流是空间运动物体在观察成像平面上的像素运动的瞬时速度。光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。双流方法在光流网络支路中用2D卷积核提取时间特征，在图像网络支路中提取空间特征，然后将二者融合，实现时空特征的提取，进而对视频动作分类。

但是，3D卷积和双流方法不适用于高速远距场景。高速远距场景，即摄像头高速运动，且动作目标与摄像头距离大于预设距离，例如100米。在这种情况下，图像帧中运动目标的不规则视觉变化和图像的剧烈抖动均可能导致图像帧的变化不能真实反映目标的实际运动。无论是3D卷积方法还是光流方法，考虑到其提取的都是图像帧中对应像素的变化特征，因此仅根据图像中目标区域像素的绝对变化，显然是不能识别其整个行为的。此外，由于距离较远，动作目标仅占据视频图像帧平面中的小部分像素空间，3D卷积和双流方法都会提取整个图像的像素特征，包括背景，运动目标特征占比很小，因此这些方法难以捕捉如此小目标的动作特征，更难以准确预测其行为意图。

发明内容

本发明解决的技术问题是如何实现高速远距场景下运动目标的动作识别。

为解决上述技术问题，本发明实施例提供一种目标行为识别方法，目标行为识别方法包括：获取待识别视频，所述待识别视频包括多帧待识别图像；对各帧待识别图像进行目标检测，以分别得到各帧待识别图像中的运动目标和车道线；将每帧待识别图像中识别得到的运动目标和车道线按照像素坐标映射在同一映射图像中，每帧待识别图像具有对应的映射图像；在每一映射图像中确定所述运动目标与路面的接触线为水平基准线，并确定所述运动目标在所述水平基准线上的第一像素坐标，以及所述车道线的两条线在所述水平基准线上的第二像素坐标和第三像素坐标；计算每一映射图像中第一像素坐标与第二像素坐标和第三像素坐标的相对位置关系，以得到所述待识别视频中所述运动目标的行为时间序列数据，所述行为时间序列数据包括按照多帧待识别图像对应的时刻顺序排列的多个相对位置关系。

可选的，所述计算每一映射图像中第一像素坐标与第二像素坐标和第三像素坐标的相对位置关系包括：根据每一映射图像中所述第二像素坐标和所述第三像素坐标确定所述车道线的中心点在所述水平基准线上的第四像素坐标；计算每一映射图像中所述第一像素坐标与第四像素坐标的差值，以作为所述相对位置关系。