[发明专利]低时延移动设备视听流传输

说明书

一种用于经由移动计算设备进行音频和视频的低时延流传输的方法，以促成高质量的实时交互式流传输体验。该方法包括接收通过执行应用程序生成的应用音频流、通过执行应用程序生成的应用视频流、麦克风音频流和相机视频流。应用音频流和麦克风音频流被混合以产生经混合的音频流。应用视频流和相机视频流被合成以产生经合成的视频流。经混合的音频流被编码以产生经编码的音频流，并且经合成的视频流被编码以产生经编码的视频流。经编码的音频和视频流被打包成一个或多个流传输分组，并且被输出到远程计算设备。

技术领域

本发明涉及视听流传输。

背景技术

视听流传输允许用户经由诸如互联网等信息网络向观众受众广播视听内容。用户可以向观众受众广播任何类型的视听内容。例如，用户可以流传输视频游戏玩法、用户生成的节目(例如，实况表演、播客)、电子竞技(E竞技)和其他事件(例如，展板(panel)、新闻发布会和展厅活动)。

发明内容

提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的概念的选集。本概述并不旨在标识所要求保护的主题的关键特征或必要特征，亦非旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中提及的任何或所有缺点的实现。

一种用于经由移动计算设备进行音频和视频的低时延流传输的方法，以促成高质量的实时交互式流传输体验。该方法包括接收通过执行应用程序生成的应用音频流、通过执行应用程序生成的应用视频流、麦克风音频流和相机视频流。应用音频流和麦克风音频流被混合以产生经混合的音频流。应用视频流和相机视频流被合成以产生经合成的视频流。经混合的音频流被编码以产生经编码的音频流，并且经合成的视频流被编码以产生经编码的视频流。经编码的音频和视频流被打包成一个或多个流传输分组，并且被输出到远程计算设备。

附图说明

图1描绘了示例使用场景，其中移动计算设备将带有游戏玩家音频和视频的视频游戏音频和视频流传输到远程设备。

图2示意性地示出了示例计算环境，其中移动计算系统提供低时延视听流传输。

图3示意性地示出了示例流传输管线。

图4示出了用于在时间上同步经编码的音频和视频流的示例办法。

图5和6示出了用于使用计算系统来流传输音频和视频的示例方法。

图7示出了示例计算系统。

具体实施方式

在一些情形中，视听内容可以被“实况地”流传输，以允许在用户正在流传输时与用户进行观众交互。在该讨论的上下文中，实况意指被感知为实时或近似实时。例如，不同的观众可以在“聊天”界面中向广播用户发送问题和评论。广播用户可接着提供回答这些问题和/或提供与聊天相关的评论的实况评论。广播用户和观众之间的互动可能是时间敏感的。例如，当广播用户正在实况流传输时，广播用户可以接收来自观众的关于如何玩视频游戏的指令。然而，如果指令由于高时延而被延迟，则指令可能不再适用于视频游戏的当前状态。而且，由于高时延视听流而导致的广播用户和观众之间的延迟了的交互可能导致被观众负面地感知到的脱节体验。

相应地，本公开涉及一种用于执行低时延视听流传输以实现高质量、实时交互式流传输体验的办法。具体而言，输入音频流经由音频编码器被编码以产生经编码的音频流。输入视频流经由视频编码器被编码以产生经编码的视频流。如果音频编码器和视频编码器具有不同的时钟参考，则音频编码器和视频编码器可能提供分开的非同步的时间戳。这种时间偏差可能导致在经编码的音频流和经编码的视频流之间的漂移。因此，时间戳校正操作被执行以同步经编码的音频和视频流以便防止这种漂移。经编码的音频和视频流任选地可以进一步被剥离对低时延视听流传输而言不需要的由视频和/或音频编码器生成的元数据。所得到的经同步的、经编码的音频和视频流被一起打包成流传输分组，并经由计算机网络输出到流传输服务器计算系统，以供分发给不同的观众计算设备。