[发明专利]一种图像处理方法及装置

说明书

技术领域

本发明涉及视频图像处理技术领域，尤其涉及一种图像处理方法及装置。

背景技术

在交通路口、银行、小区等多种场景进行视频监控时，每天产生大量数据。为了便于从中查找某一特定目标，可以对一系列视频图像进行压缩处理。

传统的视频图像压缩技术，仅仅对无运动目标的图像帧进行剔除。这种压缩方式形成的视频仍然很长。

为了进一步对视频进行压缩，减少视频帧数，提出了视频浓缩的概念。所谓视频浓缩，是指将前景目标的运动序列进行时间上的偏移，使得前景目标的运动序列之间的相对时间间隔缩短。

视频浓缩的处理过程如下：

对前景目标进行跟踪，得到每个前景目标的跟踪记录。具体的，对前景目标进行跟踪是指，对同一前景目标在多帧视频图像中的外接矩形的坐标信息、在多帧视频图像中的外接矩形图像信息、同一前景目标在原始视频中出现的时间信息等等进行记录。其中，前景目标是通过前景检测确定的。其中，同一前景目标在多帧视频图像中的外接矩形图像信息依时序组成该前景目标的运动序列。

对运动序列进行时间上的偏移。例如，在进行时间偏移处理时，使得待偏移的运动序列与已经完成偏移的运动序列（可以是多个运动序列经过时间偏移后的组合）之间存在遮挡的帧数不超过遮挡阈值。其中，判断运动序列之间是否存在遮挡时，具体是判断两个运动序列相同帧的前景目标是否存在遮挡，如果是，则这两个运动序列在这一帧上存在遮挡。如果遮挡阈值设置为0，则经过时间偏移处理后，各个运动序列之间不存在遮挡。

将经过时间偏移的运动序列与浓缩背景序列进行图像拼接，完成视频浓缩处理。其中，浓缩背景序列是从运动序列对应的背景图像中提取得到的。

现有的视频浓缩技术，在对前景目标的运动序列进行时间偏移时，没有考虑到前景目标之间在原始视频中的运动关系。例如，对于原始视频中正在行走交谈的两个人，经过前景目标跟踪记录，分别生成这两个人对应的运动序列。在经过时间偏移处理后，这两个运动序列在时间上可能不再重合，导致在浓缩视频中，这两个人无法同时出现。又例如，对于移动过程中在原始视频中有遮挡的两个前景目标，由于前景目标跟踪的方式不同，每个前景目标在遮挡前后可能被识别为两个运动序列，两个前景目标遮挡时被识别为一个运动序列。在经过时间偏移处理后，前景目标将无法按照遮挡前、遮挡过程中、遮挡后的时序出现在浓缩视频中。

发明内容

本发明的目的是提供一种图像处理方法及装置，以解决现有视频浓缩处理过程无法保证前景目标之间在浓缩视频与原始视频中的运动关系一致的问题。

本发明的目的是通过以下技术方案实现的：

一种图像处理方法，包括：

对原始视频的视频图像进行前景检测和前景目标跟踪，获取前景目标的跟踪记录，每个前景目标的跟踪记录包括前景目标在所述原始视频中出现的时间信息、前景目标在多帧视频图像中的外接矩形的坐标信息和前景目标在多帧视频图像中的外接矩形图像信息按时序排列构成的运动序列；

将各个运动序列划分为多个运动序列集合；每个运动序列集合至少包含一个运动序列；对于包含两个或两个以上运动序列的运动序列集合，其中的每个运动序列对应的前景目标与该运动序列集合中的至少一个运动序列对应的前景目标在所述原始视频中出现的时间有重合；

根据各个运动序列集合中的运动序列对应的前景目标在所述原始视频中出现的时间信息，确定各个运动序列集合的时间偏移步长，并按照确定的时间偏移步长对各个运动序列集合进行时间偏移处理；

将经过时间偏移处理的运动序列集合与浓缩背景序列进行图像拼接，得到浓缩视频图像。

一种图像处理装置，包括：

跟踪记录获取模块，用于对原始视频的视频图像进行前景检测和前景目标跟踪，获取前景目标的跟踪记录，每个前景目标的跟踪记录包括前景目标在所述原始视频中出现的时间信息、前景目标在多帧视频图像中的外接矩形的坐标信息和前景目标在多帧视频图像中的外接矩形图像信息按时序排列构成的运动序列；

运动序列集合划分模块，用于将各个运动序列划分为多个运动序列集合；每个运动序列集合至少包含一个运动序列；对于包含两个或两个以上运动序列的运动序列集合，其中的每个运动序列对应的前景目标与该运动序列集合中的至少一个运动序列对应的前景目标在所述原始视频中出现的时间有重合；