[发明专利]基于颜色特征和运动分析的自动触觉生成

说明书

本公开涉及基于颜色特征和运动分析的自动触觉生成。公开了基于视觉颜色特征和运动分析自动生成触觉的设备、系统、和方法的示例。在一个示例中，接收具有多个帧的视频，并且通过向多个帧应用颜色掩码来生成视频的掩码帧。检测两个掩码帧之间的事件，并且针对这些掩码帧生成光流估计。基于光流生成与事件相对应的至少一个触觉效果。可以将所生成的一个或多个触觉效果输出到触觉文件或触觉输出设备或它们二者。

技术领域

本申请一般地涉及触觉设备，更一般地涉及基于颜色特征和运动分析的自动触觉生成。

背景技术

传统上，机械按钮向电子设备的用户提供物理触觉。但是，随着电子设备的大小的减小以及电子设备的便携性的增加，电子设备上的机械按钮的数目减少甚至一些电子设备不具有任何机械按钮。触觉输出设备可以被包括在这样的设备中，以向用户输出触觉效果。

发明内容

描述了基于颜色特征和运动分析自动生成触觉的设备、系统、和方法的各种示例。

公开的一种示例方法包括：接收具有多个帧的视频；通过向多个帧中的第一帧应用第一颜色掩码(color mask)，生成第一掩码帧(masked frame)；通过向多个帧中的第二帧应用第二颜色掩码，生成第二掩码帧，其中，第二帧在第一帧之后；检测第一掩码帧和第二掩码帧之间的事件；估计第一掩码帧和第二掩码帧之间的光流；至少部分地基于光流，生成与事件相对应的触觉效果；以及通过触觉输出设备产生触觉效果。

公开的一种示例非暂态计算机可读介质，包括被配置为将由处理器执行的一个或多个软件应用。在该示例中，一个或多个软件应用被配置为：接收具有多个帧的视频；通过向多个帧中的第一帧应用颜色掩码，生成第一掩码帧；通过向多个帧中的第二帧应用颜色掩码，生成第二掩码帧，其中，第二帧在第一帧之后；检测第一掩码帧和第二掩码帧之间的事件；估计第一掩码帧和第二掩码帧之间的光流；至少部分地基于光流，生成与事件相对应的触觉效果；以及通过触觉输出设备产生触觉效果。

公开的一种示例设备包括显示器、触觉输出设备、以及与显示器和触觉输出设备通信的处理器。在该示例中，处理器被配置为：接收具有多个帧的视频；通过向多个帧中的第一帧应用第一颜色掩码，生成第一掩码帧；通过向多个帧中的第二帧应用第二颜色掩码，生成第二掩码帧，其中，第二帧在第一帧之后；检测第一掩码帧和第二掩码帧之间的事件；估计第一掩码帧和第二掩码帧之间的光流；至少部分地基于光流，生成使得触觉输出设备输出与事件相对应的触觉效果的触觉信号；将第一帧和第二帧输出到显示器；以及将触觉信号输出到触觉输出设备，以使得触觉输出设备在第二帧被显示在显示器上时产生触觉效果。

所提到的这些说明性示例不用于限制或限定本公开的范围，而用于提供帮助理解本公开的示例。在提供进一步描述的具体实施例部分详细描述说明性示例。通过审查本说明书可以进一步理解各种示例提供的优点。

附图说明

本专利或申请文件包括至少一幅彩色附图。本专利或专利申请公开的具有一幅或多幅彩色附图的副本将根据请求和必要费用的支付由专利局提供。

结合到本说明书中并且组成本说明书的一部分的附图示出了一个或多个具体示例并且与示例的描述一起用来说明具体示例的原理和实施方式。

图1A、1B、和1C示出了根据实施例的用于基于颜色特征和运动分析自动生成触觉的示例计算设备。

图2示出了根据实施例的用于基于颜色特征和运动分析自动生成触觉的示例系统。

图3示出了根据实施例的基于颜色特征和运动分析自动生成触觉的示例方法。

图4A和4B示出了根据实施例的在应用颜色掩码之前的示例视频帧(图4A)和在应用颜色掩码之后的示例视频帧(图4B)。

图5A和5B示出了根据实施例的一个掩码视频帧(图5A)和随后的连续掩码视频帧(图5B)之间的事件的检测。