[发明专利]用于同步再现视频和音频的媒体重放设备和媒体服务设备

说明书

提供用于同步再现视频和音频的媒体重放设备和媒体服务设备。在媒体重放设备中，对音频进行缓冲以在视频被输出的时间点输出该音频，从而同步视频和音频的输出。媒体重放设备即使在通过不同的解码器对视频和音频进行解码时，重放也可输出与音频同步的视频。因此，可以在没有插件的环境下实现与嵌入在web浏览器中的解码器分离的解码器，从而降低对媒体的编解码器格式的依赖性。

本申请要求于2017年2月10日提交的第62/457,203号美国临时专利申请、要求于2017年1月20日提交到韩国知识产权局的第10-2017-0009963号韩国专利申请以及于2017年7月11日提交到韩国知识产权局的第10-2017-0087661号韩国专利申请的优先权，所述专利申请的公开通过引用全部合并于此。

技术领域

与示例性实施例一致的设备和方法涉及用于在web浏览器上同步地再现视频和音频的媒体重放设备和方法，更具体地讲，涉及用于当基于容器对视频或音频进行解码时，通过对视频和音频进行同步来再现媒体的设备和方法。

背景技术

为了使用户通过互联网在web浏览器上重放媒体数据，提供使用以本地代码(native code)编写编解码器、解码器、渲染器等的插件的方法。作为web浏览器插件的代表性示例，ActiveX和Netscape插件应用编程接口(NPAPI)被广泛使用。

ActiveX是由微软使用两种技术(组件对象模型(COM)和对象链接与嵌入(OLE))的组合而开发。然而，狭义上讲，它表示在作为web浏览器的Internet Explorer浏览器中以扩展(add-on)的形式使用的ActiveX控件。

NPAPI是针对Netscape浏览器开发的应用编程接口(API)，并在功能上与InternetExplorer浏览器的ActiveX类似。NPAPI是为了增强web浏览器的功能而被提供使用插件形式的外部应用程序的API，并在它的萌芽阶段被首先用于web环境。换句话说，它被开发为在早期web页面上播放音乐和视频。例如，存在Java Applet，Adobe Flash，Real Player等。

然而，由于插件有时会被黑客滥用于散布恶意代码，所以很多主流web浏览器不再支持插件。至于NPAPI，制作并发行Chrome的谷歌在发布Chrome版本45之后不再支持NPAPI。此外，作为Windows 10的默认浏览器的Microsoft Edge browser不再支持ActiveX。

作为用于在没有插件的情况下在web浏览器上重放媒体的方法，基于HTML5的视频标签来执行解码和渲染。HTML5是由万维网联盟(W3C)和web浏览器开发者开发的HTML第五标记语言，并且提供能够不使用插件而通过视频标签来播放媒体的环境。自Chrome 4.0、Explorer 9.0、Firefox 3.5、Safari 4.0和Opera 10.5以来，它充分支持HTML5视频标签。

当使用视频标签来执行解码时，高分辨率视频和高fps视频可以以优异的性能进行处理。然而，对由视频标签支持的视频格式存在限制，并且视频标签当前仅支持三种格式：MP4、WebM和Ogg。更具体地讲，视频标签支持诸如以下编解码器格式：MP4的H.264、WebM的高级音频编码(AAC)、MP3、VP8、VP9、Vorbis以及Opus、Ogg和Vorbis的Theora。视频标签不支持作为视频编解码器格式的H.265或者作为音频编解码器格式的G.711和G.726。

可通过使用以JavaScript实现的解码器来减轻由于对编解码器格式的限制引起的视频标签的缺点。由于JavaScript解码器可在对视频格式没有限制的情况下执行解码，所以可以对视频标签不支持的编解码器格式的媒体进行解码。