[发明专利]向用户提供由视频流中的运动检测触发的物理刺激的方法和装置

说明书

技术领域

本发明涉及用于处理视频信号的方法和装置。

背景技术

在常规电影院中的常规TV上观看视听内容或者甚至近来在计算机或移动设备上观看视听内容不是完全沉浸其中的体验。已经例如通过使用IMAX影院做出许多尝试以便改善体验。然而，即使在这样的影院中，环绕声也不能完全创建“身临其境”的错觉。

特别的难点在于，重新创建加速的感觉是非常困难的。

US5762612中陈述了一种在虚拟环境中提供附加激励的提议，该文献描述了电流前庭激励。在该方法中，将刺激施加到特别地至少在耳后的头部区域以便激励前庭神经以诱导前庭不平衡的状态，这可以增强虚拟现实环境。

发明内容

依照本发明，提供了依照权利要求1的方法。

本发明人已经认识到，必须产生附加信号以便增大视听数据流的真实性是麻烦的。很少有电影或电视节目包括常规视频和音频流之外的附加流。而且，也很少有用于计算机的游戏程序产生这样的附加流。仅有的例外是用于非常特定的设备的游戏程序。

通过从图像的视频流自动地产生刺激数据，可以增强现有以及新内容的真实感。

因此，该方法基于任意视听流重新创建可以施加到人体或环境的物理刺激。不需要特殊的视听数据。

运动数据可以通过以下所述来提取：

-通过计算多个像素块中的每一个的运动数据估计场景的主运动

-分析运动数据的分布；以及

-如果在运动数据的分布中存在主峰，那么将该峰的运动标识为运动特征。

提取运动数据的另一种方法包括对前景和背景进行运动分割并且将前景和背景的对应运动计算为运动特征。

非视听刺激可以是电流前庭刺激。该方法增强了用户体验而无需过多的传感器和装置。事实上，可以将电流前庭刺激发生器结合到头戴送受话器中。

可替换地，非视听刺激可以是用户皮肤的触觉激励。

非视听刺激的又一可替换方案是施加非视听刺激，包括物理地移动用户身体或其部分。

附图说明

现在，为了更好地理解本发明，将仅仅通过示例参照附图描述若干实施例，在附图中：

图1示出了依照本发明的装置的第一实施例；

图2示出了图1装置中使用的电流前庭激励单元；

图3示出了依照本发明的装置的第二实施例；

图4示出了用来提取运动特征的方法的第一实施例；以及

图5示出了用来提取运动特征的方法的另一实施例。

这些附图是示意性的并且不按比例。在不同附图中，相同或相似的部件被给予相同的附图标记，并且与其相关的描述不必要加以重复。

具体实施方式

参照图1，本发明的第一实施例包括视听发生器10，该视听发生器提供包含视频流12和一个或多个音频流14的视听内容。该视听发生器可以是计算机、DVD播放器或者任何适当的视听数据源。应当指出的是，在这种情况下，术语“视频流”12在其严格意义上用来表示视频数据(即图像序列)并且不包括音频流14。当然，在任何特定应用中，可以根据需要混合音频和视频流并且将其作为单个数据流传输或者分开传输。

视听处理器20接受音频和视频流12、14。它包括视听再现引擎22，该视听再现引擎接受音频和视频流12、14并且在这里为计算机监视器26和扩音器28的输出装置24上输出它们。可替换地，输出装置24可以例如是具有集成的扬声器的电视机。

视频流12也被馈送到运动处理器30中，该运动处理器从视频流代表的图像序列中提取运动特征形式的运动信息。典型地，运动特征将与图像中表示的主运动和/或前景的运动有关。下文讨论了进一步的细节。

运动处理器30连接到刺激控制器32，该刺激控制器又连接到刺激发生器34。刺激控制器被设置成将运动特征转换成刺激信号，该刺激信号然后馈送到使用时激励用户36的刺激发生器34。刺激控制器34的输出因而是适于控制刺激发生器34以便将非视听物理刺激施加到用户的控制信号。

在该实施例中，刺激发生器是类似于US5762612中所述的电流前庭刺激(GVS)发生器。参照图2，该发生器包括集成到头带38中的柔性传导片40，头带可以从前额越过耳朵固定在用户头部周围，在颈部后由紧固件42固定。可替换地，头戴式耳机可以用于该目的。GVS提供了通过在耳后对准前庭神经电刺激用户头部而创建加速感觉的相对简单的方式。通过这种方式，用户可以仅仅停留在他所处的位置(坐、立、卧)并且仍然体验到与视频场景关联的加速感觉。

图3中示出的可替换实施例提供了如下的另外的特征。应当指出的是，可以单独地提供这些附加特征中的一些或全部。