[发明专利]用于实时控制具有多个流的远程视频制作的系统及方法

说明书

本申请案涉及用于实时控制具有多个流的远程视频制作的系统及方法。本发明涉及传递具有广播质量的实时或接近实时视频的基于云的视频制作系统及对应的方法。来自相同源的视频经编码为至少两个单独的流，一者具有低延迟，且另一者具有较高延迟及较高质量。每一流的对应帧具有相同的时间戳。所述两个流在单独的信号路径上发送。第一信号路径是具有低延迟的实时控制RTC路径，且用于将较低质量的视频内容从视频源传送到制作者用户接口。第二信号路径以比在所述第一信号路径上提供的视频质量更高的视频质量提供相同的视频内容，但具有更长的延迟。然后，可对较高延迟流执行基于较低延迟流的来自所述用户接口的命令。

本申请案要求2020年5月1日申请的第63/018,717号美国临时申请案的利益，且其是2019年3月29日申请的共同拥有且共同待决的第16/369,957号美国申请案的部分接续申请案，第16/369,957号美国申请案要求2018年4月5日申请的第62/652,978号美国临时申请案的利益，其中每一申请案为了所有目的以引用方式并入本文中并作为本文的一部分。

技术领域

本申请案涉及用于实时控制具有多个流的远程视频制作的系统及方法。

背景技术

本发明涉及视频制作的领域。更具体地说，本发明涉及一种基于云的视频制作系统，其使得能够对来自多个源的视频进行实时或接近实时的操纵。

特定来说，本发明涉及满足对于交互、预览及控制需要低延迟视频，而传递给消费者的信号的视频质量需要非常高的视频制作过程中的需求。应理解，本文公开的用于与基于云的视频制作搭配使用的相同技术还可用于正常视频制作。

为了传输广播质量视频信号，延迟常常比某些情况下(例如新闻主播或电视主持人实时地与一或多个远程嘉宾进行视频会议)的实时交互需求更长。然而，实时视频会议系统很难传递广播质量视频。

提供使得能够与视频内容进行实时或接近实时交互同时仍使得能够进行广播质量视频制作的方法及设备将是有利的。提供这些特征作为基于云的视频制作系统的部分以制作实况视频内容也将是有利的。

本发明的方法及设备提供前述及其它优点。

发明内容

本发明涉及一种基于云的视频制作系统，其使得能够对来自多个源的视频进行实时或接近实时的操纵。

根据用于使用多个流进行实时视频制作的方法的实例实施例，来自一或多个视频源中的每一者的视频内容经编码为至少两个单独的流，来自所述一或多个视频源中的每一者的第一视频流包括具有低延迟的所述视频内容的低质量版本，且来自所述一或多个视频源中的每一者的第二视频流包括具有较高延迟的所述视频内容的较高质量版本。所述第一视频流及所述第二视频流的对应视频帧具有相同的视频时间戳。提供第一信号路径，用于以所述低延迟将所述第一视频流从所述一或多个视频源传送到用户接口。提供第二信号路径，用于以所述较高延迟将所述第二视频流从所述一或多个视频源传送到所述用户接口。发送包括命令的控制信号(例如，从所述用户接口到控制单元)，用于从所述一或多个视频源选择并操纵所述视频内容。所述命令可基于在所述第一信号路径上接收的所述第一视频流中的一或多者。对来自在所述第二信号路径上接收的所述第二视频流中的一或多者的视频内容执行所述命令以制作视频节目。

可在一或多个缓冲器处缓冲所述第二视频流，以解决执行所述命令时的延迟。所述缓冲可启用倒带及即时重放特征。包括所述用户接口的用户装置可适于接收所述第一信号路径上的所述第一视频流。云制作服务器可适于接收所述第二信号路径上的所述第二视频流。所述命令可从所述用户装置传送到所述云制作服务器的控制单元。

所述用户装置可包括用于显示来自所述一或多个视频源的所述第一视频流的显示器。

所述控制信号可进一步包括用于受制于所述命令的所述视频帧中的每一者的所述视频时间戳。当所述缓冲器的输出处的所述视频时间戳与在所述控制信号中接收的所述视频时间戳匹配时，执行所述命令。