[发明专利]从数字音频信号自动产生触觉事件的系统和方法

说明书

本申请是国际申请日为2007年11月14日、国际申请号为PCT/US2007/009029、国家申请号为200780013161.2、发明名称为“从数字音频信号自动产生触觉事件的系统和方法”的申请的分案申请。

相关引用

本申请要求基于2006年4月13日提交的名称为“音乐-触觉码转换”、发明人Stephen D.Rank和Christopher J.Ullrich共同拥有的美国临时专利申请序列号60/792,137的优先权的利益。

技术领域

这里描述的主题总体涉及触觉领域，更具体地说，涉及产生对应于数字音频或音频/视频文件的触觉效果(haptic effect)控制信号或触觉音轨。

背景技术

在用户接口装置中能触知的振动通常是所希望的。触摸使空间感觉：在整个世界上你用于引导你的途径的那些感觉——视觉、声音、和触摸成为一体。触摸产生几毫秒的反射速率响应，并且提供视觉和声音加在一起也不能替代的完整性。

在用户接口装置中，具有匹配声音的能触知的振动是很有用的，例如当在蜂窝电话上播放音乐文件时。末端用户装置的音频可以用两种方式编码：结构化的表象格式，例如将被播放的声音符号化地编码成已知的符号串(例如，乐器数字接口或“MIDI”)的协议；和数字采样的音频，其是一组的音频波形的周期性采样。

近来，采样的音频文件能够通过手工转换来转换。设计人收听、分析并判断采样的音频文件，并且选择采样的音频特征，从所选择的特征中产生触觉效果。但是，人类设计介入是有限的资源。

所需要的是将音乐文件转换成触觉效果的自动或半自动的方法。

发明内容

在一实施例中，用于处理数字音频信号的方法包括将音频信号分离成多个子频段信号，将至少一个子频段信号分段成多个事件；将触觉效果分配给至少一个事件，以产生由致动器输出的触觉事件。

在一实施例中，用于处理数字音频信号的设备包括用于将音频信号分离成多个子频段信号的电路；用于将至少一个子频段信号分段成多个事件的电路；用于将触觉效果分配给至少一个事件以产生触觉事件的电路；以及被构造成输出触觉事件的致动器。

在一实施例中，用于处理数字音频信号的设备包括：用于将音频信号分离成多个子频段信号的装置；用于将至少一个子频段信号分段成多个事件的装置；和用于将触觉效果分配给至少一个事件以产生由致动器输出的触觉事件的装置。

在一实施例中，该系统和方法计算音频信号的频谱分解(spectral decomposition)。在一实施例中，该系统和方法指定事件之间的最小的分隔时间。在一实施例中，该系统和方法在第一触觉事件之前指定最小的致动器启动时间。在一实施例中，该系统和方法指定多个触觉事件中的每个触觉事件的最小的持续时间。在一实施例中，该系统和方法指定事件之间的最小的分隔时间。在一实施例中，该系统和方法在第一触觉事件之前指定最小的致动器启动时间。在一实施例中，在子频段内信号的事件对应于用户规定的每秒钟的触觉效果的平均数。在一实施例中，在子频段信号内的事件具有小于最大混叠目标值的混叠值。在一实施例中，该系统和方法在指定的时间段上计算平均值，用于一个或多个子频段信号的参数。

在一实施例中，如果子频段信号的参数的短期值超过用于该参数的平均值的多倍(multiple)，则该系统和方法指定事件。在一实施例中，该系统和方法计算音频信号的频谱分解的功率谱；至少部分地根据该功率谱选择频率；并且至少部分地根据所选择的频率识别事件。在一实施例中，该系统和方法将触觉事件存储在能够与网络上的客户机通信的服务器中，其中服务器为客户机提供触觉事件。

附图说明

包含在本说明书中并构成本说明书的一部分的附图示出了本发明的一个或多个实施例，并且与详细描述一道用于说明本发明的原理和装置。

在附图中：

图1是用包含一系列音符、和弦和休止符的传统的纸页音乐形式以视觉可见的方式表示的音乐作品的一部分。

图2是采样的音频信号的一部分的时间-幅度图。

图3是示出根据实施例的用于触觉效果映射的方法的处理流程图。

图4是根据实施例的系统部件(piece)的整体结构图。

图5是示出根据实施例的用于图4的音乐作品的高频和中频子频段信号的滤波的时间-幅度曲线图。