[发明专利]可穿戴设备的图像序列场景分割方法

说明书

技术领域

本发明属于图像处理技术领域，特别涉及一种图像序列场景分割方法，可用于各个场景中代表性图像的提取，大幅度降低生活日志的数据冗余。

背景技术

目前，图像序列分割方法的研究对象主要集中在普通应用中，而针对可穿戴设备中图像应用的研究却较少，同时，可穿戴设备的应用方兴未艾，在不同领域均有很大的发展空间。

可穿戴设备即直接穿在身上，或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备，更是通过软件支持以及数据交互、云端交互来实现强大的功能，可穿戴设备将会对人们的生活、感知带来很大的转变。例如我们熟知的谷歌眼镜(Google Project Glass)，是由谷歌公司于2012年4月发布的一款“拓展现实”眼镜，它极大的颠覆了人们对电子设备的使用方法，可以通过声音控制拍照、视频通话和辨明方向，以第一视角记录生活，完全解放双手。

人类的记忆力总是有限的，健忘便是常见的一种记忆力出错现象。多年来，人们一直幻想能在人脑中植入能储存记忆的元件等方法来增强自己的记忆力。尽管这种技术仍然停留在幻想阶段，但人类却一直在努力发明助记技术。从古代原始人的壁画方式，到现代人发明的硅半导体存储技术，而摄像技术也是其中的一种。不过普通的摄像设备一般只能记录在时间上有所间断的几段视频或几张图片，不能比较完整地记录下事件的整个过程和每一个环节。而最近微软研究院的一个研究小组则试图在这方面有所突破，他们在摄像设备中加入摄像头和传感器，可以自动以数秒的短时间进行拍摄，以便对记忆起到更好更细致的还原作用。研究小组并将这种可穿戴设备起名为SenseCam。

利用可穿戴设备进行生活记录，不仅可以帮助那些记忆力不好的人群，比如患有神经退行性疾病的人等，并且等若干年之后，人们还可以和其他人分享以前的生活场景，提高生活质量和增强幸福感。微软的SenseCam基本上就是一台具有超广角鱼眼镜头的数码相机，可以像挂件一样挂在胸前以第一视角记录用户的日常生活。SenseCam采用全自动拍摄的设计，使用者可以选择每三十秒自拍一张，或者也可以透过内置的光热传感器，在环境有所变化时再进行拍摄。然而，问题随之而来，持续的穿戴此生活记录仪设备产生大量的图像数据，经年累月，可能保存数几千万张照片，数据量可能高达250TB。过去10年来，计算机的计算能力大幅度提高，面对浩瀚的信息海洋，人们迫切希望能够快速高效地获取所需要的特定图像信息，能高效检索、分析并显示海量信息，并有效地组织和管理大规模的图像数据。

鉴于利用可穿戴设备得到的图像序列具有明显的时间性和场景性等特点，即人们在不同的时间段可能做不同的事情。研究者们一般通过分析相邻帧间的相似性的方法，将这些数据分割成若干场景。理想情况下把一天的时间所获取的图像数据，分割成吃早饭、公司上班、午饭、打篮球、回家等不同的场景，为以后的检索、查看提供了很大的便利。更进一步，可以通过挑选每个场景中典型的高质量图像，形成场景的表示集合，大大的降低了数据冗余，从而便于进行后续更多的处理。因此，针对大量的存在冗余的图像数据，如何进行有效地场景分割已成为一个重要的研究课题。目前，主要集中在视频分割、特征提取、描述结构分析和镜头检索等方面。

借助镜头分割可将图像序列分成一系列镜头，但以镜头为单元划分视频节目常基于视觉特征进行，这表明镜头内容的语义信息尚未很好的利用。另一方面，镜头还不足以描述有语义意义的事件或活动。为此，需要对图像序列进行更高层的抽象，将内容上有关系的镜头结合起来，常称为镜头聚类，或者情节分割、镜头聚集等，而因此得到的镜头集合体也有多种叫法，如场景，视频片断、情节、故事单元等。类似于用关键帧代表镜头，也可以使用有代表性的帧来代表镜头聚集体，以简洁地表达基于语义内容层次的场景内容。目前关于对图像序列进行场景分割的方法主要有以下几类：