[发明专利]一种利用眼动监测提高视频POI低损编码效率的方法

说明书

本发明公开了一种利用眼动监测提高视频POI低损编码效率的方法。现有方法总存储量过大，使用具有很大局限性。本发明方法通过眼动仪检测人眼观看视频采集关联视频图像的POI；通过人眼POI关联的视频区域进行无损或低损编码压缩，对非POI区域进行高损编码压缩；通过多人观看视频的眼动POI进行融合形成动态POI；通过前端摄像机的双码流编码能力，前端输出原始码流的同时，输出基于人眼捕捉高价值区域的POI的分区编码压缩码流；通过后端的POI二次视频流编码，或通过反馈POI给前端的准实时POI视频流编码。本发明方法大幅降低了视频容量，从而大幅压缩编码率。

技术领域

本发明属于图像处理技术领域，具体涉及一种利用眼动监测提高视频POI低损编码效率的方法。

背景技术

在视频图像中出现的POI(兴趣点，Point of Interest)部分是用户最为感兴趣的部分，人在监看视频图像的过程中眼睛注视在画面的某个物体、目标上，或者某个场景的变化上等，这些关注点即是POI。对于视频图像中用户关注点以外的部分，可适当降低要求。在视频图像的存储过程中，都采用基于视频压缩的编码技术进行视频编码。目前基于取样编码的压缩技术均是有损压缩，即一定是对图像画质等有损伤的压缩技术，用户在解码后获取的视频图像与原始未经压缩的视频图像相比是有一定差异的，而如何提高压缩比又最大程度减少压缩过程对原始图像的损伤就是必须面对的最大问题。

视频编码是指通过特定的视频压缩技术，将某个视频格式的文件转换成另一种视频格式文件的方式，目前比较常用的视频编解码标准MPEG4、H.264、H.265等。低损失编码是指通过对视频中POI区域的无损或低损失取样压缩编码技术，而对非POI区域进行高损失压缩的模式，可以实现在减少视频存储容量的同时不损失视频图像中的价值信息。现有的低损失编码方案主要有以下两种：

一、利用AI智能技术，在视频图像中检测活动的人、车、物品等目标。也可以分析某个区域或边界分割线有目标穿越等，甚至可以通过分析某些指定的动作，如打架、人员聚集、人员突然跑动等，还有结构化提取与视频摘要/浓缩等。在视频图像中划定虚拟线圈或警戒分割线，当有目标进出或越过虚拟警戒线时触发存储，提取告警前后t秒(一般±10秒)的短视频。没有出现告警时段或不是出现在虚拟线圈或指定规则的时间不予存储。通过智能分析提取视频图像中出现的人、车、物、环境等的特征属性类的描述信息，并记录相关时空属性信息。存储的时候可以提取出现目标时的前后t秒(一般±10秒)的短视频后与特征属性信息关联存储，也可以只存储目标出现的时间戳与特征属性信息，不单独保存短视频，使用时按照特征属性信息检索后的时间戳去调取录像。采用对视频关键帧的提取，然后再组合成新的视频，最为视频摘要简要显示视频段的经过。视频浓缩采用的是分析视频出现人、车或其他指定目标，以自动或半自动的方式进行目标与北京的分离，对各个目标的运动轨迹进行分析，将不同的目标拼接到一个共同的背景场景中，并将它们以某种方式进行组合，生成新的视频段。

该技术仅能提取指定的一些目标，无法提取更多人们感兴趣的目标，甚至是静态目标，也无法通过前后情景变化去关注目标。由于须存储目标出现前后10秒的短视频，当视频中出现较多目标时，针对每个目标均对应一段短视频。通过实际测试，最终的视频存储量远大于正常视频存储量。实际应用中，除了需要准确获取目标信息外，还需要对原始视频的保存，并存储时间戳信息，按需去调取另行存储的原始视频，原始视频存储量没有减少。同时，提取的视频摘要仅仅是对视频的截取，是对原始视频的截取，损失了大量的原始图像帧或片段，必须进行智能分析出指定的目标，然后按目标出现进行画面叠加，同时必须存储原始视频，总存储量远大于原始视频。

二、采用视频动态侦测方法，也叫运动检测，通过分析视频变化来触发监控录像和自动报警。通过分析视频图像的前后变化比例，当画面有较大变化：比如有人走过，镜头被移动，如果超过阈值就能自动启动存储，一般有帧差法、背景差分法等。

帧差法：对图像序列相邻两帧或三帧间采用基于像素的时间差分通过阈值化来提取出图像中的运动区域，如果指定图像区域的像素值变化很大，超过了设置的阈值就触发启动视频录像。