[发明专利]用于记录与多媒体数据一起使用的触觉数据的系统和方法

说明书

本公开的一个方面涉及用于记录与多媒体数据一起使用的触觉数据的系统和方法，具体公开了一种系统，包括被配置为记录关注主体的音频和/或视频并且输出关注主体的记录的记录器，以及与记录器相关联的非接触传感器。非接触传感器被构造和布置为从与记录器基本上相同的视角并且与记录器同时地测量关注主体的移动和/或振动。系统包括控制器，所述控制器被配置为将由非接触传感器进行测量所测得的关注主体的移动和/或振动变换为用于发送到触觉显示设备的触感数据流，以用于与记录器对关注主体的记录一起回放，并且将与所测得的移动和/或振动相对应的触觉效果与记录同步地提供给触觉显示设备的用户。

技术领域

本发明涉及用于记录与多媒体数据一起使用的触觉数据的系统和方法。

背景技术

在现场和前期制作内容的生成中，均存在用于建立和获取动作的完善的技术。在基于位置的现场体育赛事的情况下，例如，现场制作人通常在赛事之前提前一周到两周到达，设置各个摄像机的位置以便生成引人注目的、对来自拍摄现场的多媒体数据流的现场制作(播送)。对于现场制作团队来说正常的是，对一组现场麦克风进行预混，以针对每个摄像机位置生成“以自我为中心”的声场，用于丰富播送内容的接收者的体验。

例如，在体育场上，被架置在看台以上的摄像机可以包括均匀混合的观众声音效果与赛场声音效果。赛场侧的摄像机可以具有抛物线麦克风或聚焦式麦克风以生成更强的赛场存在感。在运动员处架置的摄像机可以具有在运动员处架置的麦克风，并且可以与赛场侧摄像机混合以提供以运动员为中心的体育场体验。虽然类似的策略被用于针对电影和电视的前期制作的内容，但要进行显著更多的音频后期制作编辑以生成最终的产品。

发明内容

理想的是，通过将触觉内容添加到可以被流式传输并且被回放给电子设备用户的播送内容，生成针对观众在电子设备上观看现场体育赛事和其他娱乐活动的更沉浸式的体验。同样理想的是，通过使得真实世界的触觉数据更容易获得、并且在尽可能少的人为介入的情况下变换真实世界的触觉数据，使得触觉内容更普遍，以便促进体验的传播和用户对体验的接受。

根据本发明的方面，提供了一种系统，所述系统包括被配置为对关注主体的音频和/或视频进行记录并且输出对关注主体的记录的记录器，所述系统还包括与记录器相关联的非接触传感器。非接触传感器被构造和布置为从与记录器基本上相同的视角并且与记录器同时地测量关注主体的移动和/或振动。所述系统包括控制器，控制器被配置为将由非接触传感器进行测量所测得的关注主体的移动和/或振动变换为用于发送到触觉显示设备的触感数据流，以用于与记录器对关注主体的记录一起回放，并且将与测得的移动和/或振动相对应的触觉效果与记录同步地提供给触觉显示设备的用户。

在实施例中，非接触传感器包括激光测振仪。在实施例中，非接触传感器包括跟踪设备。

在实施例中，非接触传感器包括视频流分析算法。

在实施例中，记录器和非接触传感器位于相同的位置。

在实施例中，系统包括第一伺服机构，其被控制器控制并且被构造和布置为将非接触传感器移动到具有与记录器基本上相同的视角的位置和/或取向。在实施例中，系统具有第二伺服机构，其被控制器控制并且被构造和布置为移动记录器。第一伺服机构与第二伺服机构同步，以使得非接触传感器的移动同步于记录器的移动。

在实施例中，系统包括第二传感器，其被构造和布置为与被记录器记录的主体相接触并且感测主体的移动和/或振动。控制器还被配置为将从非接触传感器和第二传感器接收到的数据进行组合，并且将组合得到的数据变换为触感数据流。在实施例中，控制器包括变换器，其被构造和布置为对具有不同的采样率和/或灵敏度的传感器信号进行混合，并且输出经变换的组合数据。