[发明专利]用于提供媒体数据和元数据组合的方法和系统

说明书

技术领域

本发明涉及一种提供媒体数据和元数据组合的方法、一种用于提供媒体数据和元数据组合的系统。本发明还涉及包括压缩视频和元数据组合的信号，其中压缩视频是可通过对来自图像序列的图像的图像数据应用至少一个视频压缩技术获取的。本发明还涉及一种处理此信号的方法、用于处理此信号的系统和计算机程序。

背景技术

US 2009/0192961 A1描述了一种用于基于用户兴趣适配媒体流的比特率的系统。收集的生物信息数据可以用来确定用户的情感兴趣并且可选地调节媒体的比特率和/或将导航选项呈现给存储的媒体的一个或多个选择的部分。生物信息数据可以包括心率、呼吸率、皮肤电反应、瞳孔扩张、血压、体温等。可以从传感器收集生物信息，该传感器可以包括皮肤电传感器、麦克风、温度计、加速计等。在实施例中，用户兴趣的变化可以触发可变比特率编码器基于配置选项来调节所捕获的音频/视频的比特率处理。例如，数码摄影机可以在图片捕获期间获取生物信息数据。当用户兴趣被检测为高时，图像分辨率和百万像素计数会增加，将该图片存储为高保真度图像。收集的生物信息数据可以作为元数据存储在图像中以用在重放和导航。

已知系统的问题在于其限于在捕获时可以获取的生物信息数据。仅获取了特征化附连到传感器的人的生物信息数据。每个另外的人都需要所描述类型的附加生物信息传感器，并且每个人必须合作。

发明内容

期望的是提供一种上面所提及类型的方法、系统、信号和计算机程序，其允许利用特征化在视频中表示的主题中的过程的元数据来高效提供视频数据。

为此，根据第一方面，提供了一种提供视频数据和元数据组合的方法，包括：

- 获取由视频摄影机捕获的图像序列；

- 从图像序列中提取至少一个信号，

其中每个提取的信号特征化光强度和颜色的至少一个的局部时间变化并且携带与有生命的主体的至少一个生物信息信号相对应的信息；

- 对来自该序列的图像的图像数据应用至少一个视频压缩技术以获取压缩的视频数据；

其中所述至少一个信号从在将所述至少一个压缩技术应用到来自那些图像的图像数据之前的状态的图像中提取；以及

- 提供具有用于特征化在所述图像的至少部分中表示的有生命的主体（subject）中的至少一个生物过程的元数据的压缩的视频数据，

这个过程引起从该主体捕获的光的强度和颜色的至少一个的局部时间变化，

其中所述元数据至少基于所提取的信号的至少一个。

图像序列中表示的主体通常将是有生命的主体。引起光的强度和颜色的至少一个的局部时间变化的过程一般将是独立于主体的任何外部可见部分的任何移动的内部过程。然而，在一些应用中它可以是主体的可见部分的内部移动（例如，主体的部分相对于针对该主体固定的参考帧的旋转或相互移动）的过程。在有生命的主体和内部过程的情况下，提取的信号携带与至少一个生物信息信号相对应的信息。

通过提供压缩的视频数据，该方法是相对高效的。因为压缩的视频数据，尤其是使用预测编码获取的压缩视频数据，通常不再适合于提取表示光强度和颜色的至少一个中的局部时间变化的信号，该信号可以用来获取特征化在图像中表示的主体中的至少一个生物现象的数据，所以本方法提供了这样的元数据，其对应于特征化生物现象的这些数据，或者适合用于获取这些数据。该方法基于从压缩前的图像序列中提取至少一个信号，以使得由图像的至少部分中表示的主体中的过程引起的强度和/或颜色的小规模变化仍旧表示在所提取的信号中。通过基于这样提取的信号，也即通过提取多个信号，该方法能够用来获取特征化图像序列中表示的多个人的数据而无需提供附加的传感器。该方法主要还独立于有生命的主体的合作意愿，因为不需要在身体上放置传感器。该方法例如在监督应用中适合于结合压缩的视频来提供生物信息数据。该生物信息数据可以用来标识需要更严密监视的压缩视频部分。因为视频被压缩，具有相对低容量的数据传输网络可以用于从摄影机系统收集视频和元数据。该系统可以容易地被布置为使得通过能够获得压缩的视频的人确定事件的性质来实现对由元数据信号传递的事件的短期响应。

该方法的实施例包括取决于至少基于提取的信号的至少一个的获取部分的数据的分析结果来适配至少一个压缩技术的应用。