[发明专利]一种基于目标识别的视频融合方法及装置

权利要求书

1.一种基于目标识别的视频融合方法，其特征在于，具体包括以下步骤：

S1、获取X光机扫描包裹发送的X光机视频流；

S2、基于所述X光机视频流，进行新包裹判定，若所述X光机视频流包含新包裹，则执行步骤S3；若所述X光机视频流不包含新包裹，则执行步骤S5；

所述新包裹通过以下步骤获得：

将当前新包裹对应的视频帧图片设为基准图片；

提取基准图片之后的第N帧视频帧图片，获取第N帧视频帧图片中的去重区间，其中，所述去重区间为当前新包裹与第N帧视频帧图片之间两两相对的边缘之间的区间，所述去重区间至少部分包括当前新包裹的沿传送带传送方向的运动距离；

判断所述第N帧视频帧图片中的去重区间内是否存在至少一个包裹；

若存在，在所述至少一个包裹中，获取去重区间中距离相对的边缘最近的包裹确定为新包裹；

S3、基于所述新包裹对应的视频帧图片，获取新包裹的位置信息A以及新包裹的移动速度C，以及新包裹图片；

S4、将所述新包裹图片进行检测处理，获得新包裹图片中对应于目标的位置信息B；

S5、基于当前新包裹的位置信息A、当前新包裹移动的速度C以及当前新包裹图片中对应于目标的位置信息B获得所述目标在下一帧视频帧图片中的预测区域，基于所述预测区域进行配置，以实现对所述目标的跟踪；

还包括：

对所述基准图片进行包裹识别，获得所述基准图片中对应于各个包裹的区域信息；

基于所述各个包裹的区域信息，选取与起始侧之间距离最小的区域信息为基准区域信息，所述起始侧为包裹像素在视频帧图片中最先出现的一侧；

所述区域信息包括各个包裹在视频帧图片中外边框的坐标信息；

当起始侧为视频帧图片的最右侧时，所述基准区域信息为新包裹右下顶点的Y轴坐标ry；

所述去重区间通过以下步骤获得：

计算新包裹的移动速度C；

将所述ry减去包裹移动的像素C*n，即ry’＝ry-C*n；

将Y轴坐标(ry’+α，w-β)之间的区间作为去重区间，所述α、β为补偿量。

2.根据权利要求1所述的一种基于目标识别的视频融合方法，其特征在于，所述新包裹图片，还可以由以下步骤得到：

从所述X光机视频流中选取待识别的视频帧图片；

以所述待识别的视频帧图片为基准图片，遍历所述X光机视频流中所述基准图片之后的每一帧视频帧图片，将所述基准图片与当前遍历的视频帧图片进行识别与判定处理；

以及在判定为新包裹时从当前遍历的视频帧图片中提取新包裹的位置信息A；

基于新包裹的位置信息A对所述当前遍历的视频帧图片进行切图处理，获得新包裹图片。

3.根据权利要求2所述的一种基于目标识别的视频融合方法，其特征在于，所述识别与判定处理还包括以下步骤：

对所述当前遍历的视频帧图片进行包裹识别，获得所述当前遍历的视频帧图片中对应于各个包裹的区域信息；

基于所述当前遍历的视频帧图片中对应于各个包裹的区域信息，判定去重区间以内的是否存在区域信息，若存在则将当前遍历的视频帧图片判定为包含新包裹图片，并将所述去重区间以内区域信息确定为新包裹的位置信息A。

4.根据权利要求1所述的一种基于目标识别的视频融合方法，其特征在于，所述新包裹的移动速度C具体通过以下步骤获得：

以新包裹的图片对应的视频帧图片为第0帧图片，前i帧图片为第i帧图片(i∈[1,N])，计算第j(j＝1，2，…，N)帧图片与第j-1帧图片内包裹的水平位移d_xj；

根据所述水平位移d_xj获得水平位移的平均值

基于所述水平位移的平均值与帧间时间ΔT，计算所述新包裹的移动速度

5.根据权利要求1所述的一种基于目标识别的视频融合方法，其特征在于，所述步骤S3具体包括以下步骤：

将所述新包裹图片输入到目标识别模型中，以通过所述目标识别模型对从所述新包裹图片中识别出的目标进行标注；

获取所述目标识别模型输出的标注结果，其中，所述标注结果中标注框的坐标信息，将所述标注框的坐标信息确定为新包裹图片中对应于目标的位置信息B。