[发明专利]基于音频和身体移动的主动动作

说明书

本公开涉及基于音频和身体移动的主动动作。本文公开的各种具体实施包括通过以下方式来确定用户对音频内容感兴趣的装置、系统和方法：确定移动(例如，用户的头部晃动)与检测到的音频内容(例如，在背景中播放的音乐节拍)具有基于时间的关系。一些具体实施涉及获得对应于物理环境的第一传感器数据和第二传感器数据，该第一传感器数据对应于该物理环境中的音频并且该第二传感器数据对应于该物理环境中的身体移动。基于该第一传感器数据和该第二传感器数据识别该音频的一个或多个元素与该身体移动的一个或多个方面之间的基于时间的关系。基于识别该基于时间的关系来识别对音频的内容感兴趣。可以基于识别对该内容感兴趣来主动执行各种动作。

技术领域

本公开整体上涉及使用传感器获得信息以理解物理环境并提供音频和/或视觉内容的电子设备。

背景技术

许多电子设备包括从该设备周围的物理环境捕获音频的麦克风。可以分析此类音频信息以识别设备周围环境中的歌曲和其他声音，并且提供关于此类声音的信息。

发明内容

本文公开的各种具体实施包括通过以下方式来确定用户对音频内容感兴趣的装置、系统和方法：确定移动(例如，用户的头部晃动)与检测到的音频内容(例如，在背景中播放的音乐节拍)具有基于时间的关系。一些具体实施涉及由具有执行存储在非暂态计算机可读介质上的指令的处理器的设备执行的方法。该方法涉及获得对应于物理环境的第一传感器数据和第二传感器数据，该第一传感器数据对应于该物理环境中的音频并且该第二传感器数据对应于该物理环境中的身体移动。该方法基于该第一传感器数据和该第二传感器数据识别该音频的一个或多个元素与该身体移动的一个或多个方面之间的基于时间的关系。例如，这可以涉及确定设备的用户正使他的头部随着在物理环境中播放的音乐的节拍晃动。此类头部晃动可被认为是对音乐感兴趣的被动指示。在另一示例中，基于用户运动的类型(例如，对应于兴奋行为)和/或在音频中发生显著事件(例如，触地得分)的时间不久之后的移动，该用户运动被认为是对兴趣的指示。该方法基于识别基于时间的关系来识别对音频的内容感兴趣。例如，这可以涉及确定特定的歌曲正在播放，以及基于匹配歌曲的节拍的用户的运动来确定他/她对歌曲感兴趣。

可以基于识别对该内容感兴趣来主动执行各种动作。例如，设备可以呈现内容的标识(例如，显示歌曲的名称、艺术家等)，呈现对应于内容的字词的文本(例如，歌词)，和/或呈现用于重新播放内容、在离开物理环境后继续体验内容、购买内容、下载内容和/或将内容添加到播放列表中的可选选项。在另一示例中，识别内容的特性(例如，音乐类型、节奏范围、乐器类型、情感意境、类别等)，并用于为用户识别附加内容。

可以有效地使用设备资源来确定用户对音频内容感兴趣。这可以涉及基于设备处的不同触发器通过不同的功率状态移动。例如，可以选择性地执行音频分析，例如，基于检测到身体移动，例如，头部晃动、脚打节拍、欢欣雀跃、挥舞拳头、面部反应或指示用户兴趣的其它移动。类似地，可例如基于音频分析来选择性地执行确定音乐正在播放。利用身体移动的各个方面来比较音频元素可以例如基于确定身体移动和音乐在物理环境中同时发生而被选择性地执行。识别音频的源属性例如，歌曲名称、艺术家、内容提供商等，可以基于成功地识别基于时间的关系。仅在适当的情况下选择性地执行分析可以显著地有助于有效使用电子设备的处理、存储、电力和/或通信资源。

根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。