[发明专利]实现交互特效的系统和方法

说明书

方法和系统在视频流媒体中实现了有效特效。在一个实施例中，装置根据解码过程对视频帧进行解码实现特效。所述解码过程包括：访问多个视频流(其中，每个流源自摄像机阵列的相应摄像机)；解码来自所述多个视频流的帧。来自第一摄像机的第一流包括：基于所述第一流中的预测(P)帧编码的第一主特效预测(SP)帧；以及基于来自第二摄像机的第二流中所包括的主特效预测(SP)帧编码的第一辅特效预测(SP)帧。所述方法还包括使用主辅特效预测(SP)帧来渲染特效。

技术领域

本发明实施例大体涉及视频特效领域。

背景技术

数字计算机、计算器、音频设备、视频设备和电话系统等许多电子技术有助于在商业、科学、教育和娱乐等大多数领域中分析和传送数据，从而提高生产力并降低成本。系统通常涉及在带宽有限的通信网络上传送大量视频信息。传统的通信方法经常尝试通过各种编码方案来减少或压缩信息。然而，传统的编码方案的尝试可能是存在限制且存在问题的(例如，对特效的尝试等)。

虽然对于视频和通信编码的传统尝试可减少通过网络传送的信息量，但是它们通常带来很大的处理开销。处理开销可涉及或占据大量的处理资源，从而影响性能。一些方案尝试编码/解码视频流中的帧，且通常涉及来自前一帧的信息，用于编码/解码后一帧。从一个视频流变为另一个视频流的传统尝试通常涉及在新流的开始点或定义的点处再次执行编码操作。这些方法可能存在问题。

近年来，互联网上的视频流媒体很流行。各种互联网流媒体协议(例如，HTTP等)利用现有的互联网基础设施，通常容易穿透NAT和防火墙。然而，传统视频流媒体通常具有严格的带宽和延迟要求，这使得公共互联网上保证流媒体服务质量(quality of service，简称QoS)非常具有挑战性，因为网络状况经常不断变化。对于某些视频流媒体应用，例如运动、娱乐表演、远程医疗和远程教育，人们可能对其特效感兴趣，例如冻结(例如，子弹时间等)和扫描。然而，在互联网上实现特效是具有挑战性的。已对自适应流媒体技术提出了各种尝试(例如，包括HTTP直播流(Apple HTTP live streaming，简称HLS)和Microsoft平滑流等)，然而现有的自适应流方法或尝试(例如，HTTP直播流、平滑流和DASH等)通常不在其方案中提供指定的特效。

发明内容

本发明描述了在视频流媒体中实现有效特效的方法和系统。在一个实施例中，一种装置包括：处理器，其通过根据解码过程或方法对视频帧进行解码来实现特效；存储器，其存储与所述特效的渲染相关的视频信息。存储器也存储用于处理器实现特效(例如，冻结时间特效和扫描特效等交互特效)的指令。在至少一种实现方式中，渲染视频的过程或方法包括：访问由摄像机阵列捕捉的多个视频流(其中，每个流源自摄像机阵列的相应摄像机)；解码来自所述多个视频流的第一流的帧，其中，所述第一流来自第一摄像机。示例性第一流包括：独立于其他帧进行解码的初始(I)帧；基于所述第一流中的其他帧解码的预测(P)帧；基于所述第一流中的所述预测(P)帧编码的第一主特效预测(SP)帧；基于所述多个视频流的第二流中所包括的主特效预测(SP)帧编码的第一辅特效预测(SP)帧，其中，所述第二流来自第二摄像机。所述方法还包括：使用所述第一流的所述主特效预测(SP)帧和所述第二流的第一辅特效预测(SP)帧来渲染特效。应当理解，可能存在各种摄像机阵列设置方式。例如，第一和第二摄像机在摄像机阵列内以圆形或直线设置方式彼此相邻。

在一种示例性实现方式中，所述渲染特效包括基于所述第一流的所述主特效预测(SP)帧和所述第二流的所述第一辅特效预测(SP)帧生成要显示的帧。在一种实现方式中，渲染多个显示帧是基于第二流的第一辅特效预测(SP)帧和第二流的多个预测(P)帧的。在一个实施例中，所述第一流还包括第二辅特效预测(SP)帧，其基于所述多个视频流中来自第三摄像机的第三视频流中所包括的主特效预测(SP)帧编码，其中，所述第一和第三摄像机在所述摄像机阵列内彼此相邻。所述渲染特效还可以包括基于所述第二流的主特效预测(SP)帧和所述多个视频流的第三流的第一辅特效预测(SP)帧渲染要显示的帧。