[发明专利]非线性媒体片段捕获和编辑平台

说明书

用户界面技术为用户歌手提供了用于对视听内容进行向前和向后遍历的机制，视听内容包括在录制时、在编辑期间和/或在回放时的基音提示、波型或包络型的表演时间线、歌词和/或其他时间同步内容。对所选表演部分的重新捕获、对团体声部的协调以及配音都可以被促进。直接滚动到表演时间线、歌词、基音提示和其他时间同步内容中的任意点将允许用户方便地通过捕获或视听编辑会话进行移动。在一些情况下，可以通过与团体声部信息(诸如在二重奏的引导式短形式捕获中)相对应的表演时间线、歌词、基音提示和其他时间同步内容来引导用户歌手。擦刷器允许用户歌手方便地对于时间同步内容进行前和向后移动。

技术领域

本发明一般涉及对视听表演的捕获和/或处理，并且具体地涉及用户界面技术，该用户界面技术适合于对编码音频和/或视觉表演的媒体片段进行捕获和操纵，以有或没有协作的情况下进行非线性捕获、重新捕获、配音或口型同步。

背景技术

移动电话、个人媒体播放器、便携式计算设备、流媒体播放器和电视机顶盒的安装基数在数量上每天都在增长并且其计算能力也每天都在增长。这些设备无处不在，深深扎根于世界各地人们的生活方式中，这些设备中的许多超越了文化和经济壁垒。在计算方面，这些计算设备提供的速度和存储能力可与不到十年前的工程工作站或工作组计算机相当，并且通常包括强大的媒体处理器，使其适合于实时声音合成和其他音乐应用。实际上，一些现代设备，诸如iPod和其他或Android设备，相当有能力支持音频和视频处理，同时提供适用于高级用户界面的平台。

诸如Smule Ocarina^TM、I Am T-Pain^TM、Smule(fka Sing！Karaoke^TM)、Gitar！By和Magic等可从Smule公司获得的应用已经表明先进的数字声学技术可以通过使用此类设备来实行以提供引人入胜的音乐体验。当研究者寻求将他们的创新转变为可部署在现代手持设备和媒体应用平台上的商业应用时，在处理器、存储器和其他有限的计算资源所施加的现实世界的限制下和/或典型的无线网络的通信带宽和传输延迟限制下，仍然存在巨大的实践挑战。需要改进的技术和功能能力，尤其是对于视听内容和用户界面。

发明内容

已经发现，尽管移动设备平台和媒体应用执行环境施加了实践限制，但是包括声乐(vocal)音乐的视听表演可以被捕获并与包括其他用户的表演的视听内容进行协调，以创造引人入胜的用户体验。在一些情况下，个人用户的声乐表演(连同表演同步视频)在移动设备上被捕获，其中歌词与伴奏音轨的可听渲染相对应地以卡拉OK式呈现。例如，可以使用用户界面设计来促进表演捕获，从而向用户歌手视觉地呈现歌词和基音提示(pitchcue)，并由此提供时间同步的音频伴奏音轨的可听渲染。在共有的于2015年10月30日提交的标题为“Coordinating and Mixing Audiovisual Content Captured FromGeographically Distributed Performers(对从地理上分散的表演者捕获的视听内容进行协调和混合)”的美国专利9,866,731中详细描述了示例性技术，包括用于对地理上分散的表演者的视听内容进行捕获、协调和混合的示例性技术。

基于这些技术和相关技术，可以设想出用户界面改进，以向用户歌手提供用于对视听内容进行向前和向后遍历的机制，视听内容包括在录制时、在编辑期间和/或回放时的基音提示、波型或包络型表演时间线、歌词、视频和/或其他时间同步内容。以这种方式，可以促进对所选表演部分进行重新捕获、对团体声部进行协调以及配音。直接滚动到表演时间线、歌词、基音提示和其他时间同步内容中的任意点将允许用户方便地通过捕获或视听编辑会话移动。在一些情况下，可以通过与团体声部信息(例如在针对二重奏的引导式短形式捕获中)相对应的表演时间线、歌词、基音提示和其他时间同步内容来引导用户歌手。在一些或所有情况下，擦刷器(scrubber)允许用户歌手方便地对于时间同步内容向前和向后移动。在一些情况下，与擦刷器有关地，还支持时间同步视频捕获和/或回放。