[发明专利]启用媒体编排的方法、客户端设备和控制器系统

说明书

本发明涉及启用媒体编排的方法。媒体编排将多个设备编排成处理至少一个媒体流。例如由客户端设备执行的第一方法涉及接收（1）涉及某个媒体编排的通信信道构建信息，基于通信信道构建信息向控制器系统传输（3）请求，该请求表示在客户端设备与控制器系统之间建立与该某个媒体编排有关的通信信道的第一步骤，以及在已经建立所述通信信道之后通过该通信信道从控制器系统接收（11）控制信息。例如由控制器系统执行的第二方法涉及接收（5）该请求，基于该请求确定（7）编排会话，以及在已经建立所述通信信道之后通过该通信信道向客户端设备传输（9）涉及该编排会话的控制信息。

技术领域

本发明涉及启用媒体编排（media orchestration）的方法，所述媒体编排将多个设备编排成处理至少一个媒体流。

本发明还涉及一种使得计算机系统能够执行这样的方法中的任何方法的计算机程序产品。

本发明进一步涉及一种用于启用媒体编排的客户端设备和一种用于启用媒体编排的控制器系统，所述媒体编排将多个设备编排成处理至少一个媒体流。

背景技术

运动图像专家组（MPEG）是由ISO和IEC形成以设置用于音频和视频压缩及传输的标准的管理机构工作组。在最近创建用于在异构环境中的高效编码和媒体递送（MPEG-H）和通过HTTP的动态自适应流式传输（MPEG-DASH）的标准之后，MPEG已经开始致力于创建用于媒体编排（MPEG-MORE）的标准。在2016年2月美国加利福尼亚州圣地亚哥的ISO/IEC JTC1/SC29/WG11的MPEG会议114中公布的出版物“Context and Objectives for MediaOrchestration v.3”（N16131）提供了对MPEG-MORE的背景和目标的初始描述。媒体编排包括对媒体捕获的编排、对媒体消费的编排和对媒体变换的编排。媒体编排不包括媒体递送。

对媒体捕获的编排是关于控制哪个设备捕获什么以及何时和如何捕获，以及它们如何使这可用。它们捕获什么是关于它们的位置和定向以及它们用于捕获的能力，例如缩放能力。它们何时捕获是关于开始和停止捕获。如何捕获这是关于帧速率、分辨率、麦克风增益、白平衡设置等。它们如何使这可用是关于事物，比如使用的编解码器、递送的元数据、要应用的可能变换。

对媒体消费或呈现的编排是关于控制哪个设备播出什么以及何时和如何播出。播出什么是关于检索什么内容以及应当播出该内容的哪些部分。何时播出是关于与其他设备的播出同步。如何播出是关于确切地在哪里播出某些东西，例如在屏幕中的内容部分的定位、在房间中的音频对象的定位、要应用的可能变换，例如音量或亮度调整。

对媒体变换的编排是关于将变换应用于所捕获的媒体。这可能是改变捕获内容的方式，例如改变帧速率，进行编码，应用某些滤波器或掩码等。这也可以是组合内容，例如执行拼接或组合输入以用于增强输入。内容的编辑也可以被视为这的一部分，改变内容在空间和时间上的排列，例如将这与从各种镜头和记录中的完整电影的创建相比较。

与以服务器为中心（即服务器管理回放设备）的SMIL（同步多媒体集成语言，由万维网联盟颁布的标准）不同，MPEG-MORE以客户端设备为中心（在本规范中源和宿（sink）被共同称为“客户端设备”）。在传统的以客户端设备为中心的架构中，客户端周期性地检索新的配置文件。这具有如下缺点：服务器无法使客户端立即检索新配置，但具有容易通过防火墙通信的优点。

“Context and Objectives for Media Orchestration v.3”介绍了编排器功能和控制器功能的概念，但没有描述控制器功能传输什么控制信息和编排器功能与客户端设备如何通信。SMIL和“Context and Objectives for Media Orchestration v.3”都没有指定如何在以客户端设备为中心的架构中实现与媒体编排有关的客户端设备的实时协调。

发明内容