[发明专利]防止重放延迟的媒体重放设备和媒体服务设备

说明书

提供防止重放延迟的媒体重放设备和媒体服务设备。所述媒体重放设备可包括延迟检测模块以检测重放延迟。重放延迟检测可通过单次测量确定由网络、解码和渲染引起的延迟。当发生重放延迟时，可以通过请求服务器提供具有改变的配置文件的媒体数据来消除重放延迟。由于可通过多个重放延迟因素的单次测量来确定重放延迟，因此可以以适合于无插件环境的方式简单并稳定地执行媒体重放。

本申请要求于2017年2月10日提交的第62/457,203号美国临时申请的优先权，于2017年1月20日提交到韩国知识产权局的第10-2017-0009963号韩国专利申请以及于2017年7月11日提交到韩国知识产权局的第10-2017-0087666号韩国专利申请的优先权，所述专利申请的公开通过引用全部合并于此。

技术领域

与示例性实施例一致的设备和方法涉及在web浏览器上重放媒体，更具体地讲，涉及用于确定并预防网络延迟的媒体重放设备和方法。

背景技术

为了使用户通过互联网在web浏览器上重放媒体数据，提供了一种使用将编解码器、解码器、渲染器等写入本地代码中的插件的方法。作为web浏览器插件的代表性示例，ActiveX和Netscape插件应用编程接口(NPAPI)被广泛使用。

ActiveX是由Microsoft使用以下两种技术的组合开发：组件对象模型(COM)和对象链接与嵌入(OLE)。然而，狭义上讲，它表示在作为web浏览器的Internet Explorer中以扩展的形式使用的ActiveX控件。ActiveX用于在Internet Explorer web浏览器中播放媒体。

NPAPI是针对Netscape浏览器开发的应用编程接口(API)，并且在功能上与Internet Explorer的ActiveX相似。NPAPI是针对以插件的形式使用外部应用程序以增强web浏览器的功能而提供的API，并主要被web环境用于其萌芽阶段中。换句话说，它被开发为在早期的网页上播放音乐和视频。例如，有Java Applet、Adobe Flash、Real Player等。

然而，由于插件被黑客用作散布恶意代码的途径，因此web浏览器不再支持插件。就NPAPI而言，制作并发行Chrome的Google在发布Chrome版本45之后不再支持NPAPI。就ActiveX而言，在被用作Windows 10的默认浏览器的Edge版本的发布之后，Microsoft不再支持ActiveX。

作为用于在没有插件的web浏览器上重放媒体的方法，基于超文本标记语言5(HTML5)的视频标签执行解码。当使用视频标签执行解码时，可以以优异的性能处理高分辨率视频和高fps(每秒传输帧数)视频。然而，对由视频标签支持的视频格式有限制，并且视频标签当前仅支持三种格式：MP4、WebM和Ogg。

可通过使用以JavaScript实现的解码器来缓解由于对编解码器格式的限制导致的视频标签的缺点。由于JavaScript解码器可根据视频格式执行解码，因此可以对视频标签不支持的编解码器格式的视频进行解码。因此，在本公开中，媒体重放设备被配置为根据视频编解码器格式选择性地使用视频标签和JavaScript解码器。

在web浏览器上的媒体重放中，除了插件之外，还应该考虑媒体重放延迟。重放延迟可给用户造成不便，并可对用于实时直播视频重放的重放环境和实时信息传输非常重要的视频监控产生负面影响。

web浏览器中的媒体重放的第一延迟因素为由于网络引起的延迟。在移动装置的使用迅速增加的环境中，由于网络带宽和计算装置的不良性能引起的网络延迟成为重放延迟的主要因素。第二延迟因素为当以JavaScript实现解码器时可能发生的延迟。由于JavaScript的动态特性，在高分辨率的视频中，JavaScript解码器的性能可急剧下降，从而导致重放延迟。第三延迟因素为由于渲染引起的延迟。根据计算装置的性能(例如，当中央处理器(CPU)或图形处理器(GPU)不能处理渲染所需的计算量时)可发生渲染延迟。