[发明专利]实现与多媒体文件内容互动的方法及装置

说明书

提供了一种实现与多媒体文件内容互动的方法及装置。所述实现与多媒体文件内容互动的方法包括：检测播放器正在播放多媒体文件；获取所述多媒体文件的对象标记文件，所述对象标记文件标注对象在所述多媒体文件中的对象信息；结合所述对象标记文件来解释正在播放的所述多媒体文件的所述对象信息；检测来自用户的互动输入，所述互动输入与所述对象相关；以及基于来自所述用户的互动输入，执行与所述对象相关联的操作。通过实现用户与多媒体文件内容的互动，可以为用户主动地选择和获取多媒体文件中的特定内容的信息。

技术领域

本公开总地涉及一种用于实现用户与多媒体文件内容互动的方法及其系统。

背景技术

目前流行的音视频文件格式包括H.264、H.265、MPEG4、AVC、以及AVS等，例如，可以是各种压缩比率(有损或无损)。然而，这些文件格式的大多数并不包含对音视频内容中的对象的描述，其中，音视频内容中的对象可以包括：相对应的视频内容中的人物、物体、文字、背景等，以及音频内容本身中的音乐、人物间的对话等。虽然MPEG4包括有一些对视频内容中的对象的描述，但是这些描述非常复杂，其目的只是为了对视频内容进行更加有效的编码。另外，在MPEG4中，视频对象的描述被放在MPEG4文件格式中，因此该视频对象的描述只能在MPEG4格式中使用，缺乏广泛的适用性。

当今流行的弹幕网站和播放器，在播放音视频文件的同时允许用户发表文字信息并将该文字信息显示在正播放的视频中，方便用户间的交流。但是，这种弹幕式的交流方式也没有对音视频文件中的对象进行标记和描述，也不允许用户对音视频文件中的对象进行定制操作。

发明内容

本公开的实施例提供了一种与多媒体文件内容互动的方法及装置，使得用户可以主动地选择和获取多媒体文件中的特定内容的信息。

本公开的至少一个实施例提供了一种实现与多媒体文件内容互动的方法，包括：检测播放器正在播放多媒体文件；获取所述多媒体文件的对象标记文件，所述对象标记文件标注对象在所述多媒体文件中的对象信息；结合所述对象标记文件来解释正在播放的所述多媒体文件的所述对象信息；检测来自用户的互动输入，所述互动输入与所述对象相关；以及基于来自所述用户的互动输入，执行与所述对象相关联的操作。

例如，所述操作包括以下至少一个：基于来自所述用户的互动输入，为用户个性化所述多媒体文件，使得所述播放器播放被个性化的所述多媒体文件；在所述多媒体文件中实时编辑所述对象；改变在所述多媒体文件中预先设定的、与所述对象相关的互动方式；在浏览器中打开与所述对象相关的网页，其中，所述对象标记文件包括所述网页的链接或者生成链接的方法；打开新窗口来显示关于所述对象的描述和图片；和打开对话框来促进与所述多媒体文件的互动。

例如，为所述用户个性化所述多媒体文件包括：基于所述对象过滤所述多媒体文件的帧画面，使得所述播放器只播放包括所述对象的帧画面。

例如，在播放所述多媒体文件之前，所述方法还包括：接收所述多媒体文件；识别和标记所述对象在所述多媒体文件中的所述对象信息；以及根据所述对象信息，生成所述对象标记文件，其中，所述对象标记文件将所述对象与所述操作相关联。

例如，所述对象信息包括所述对象在所述多媒体文件的每个帧画面中的位置信息、形状信息、大小信息和内容信息中的至少一项。

例如，所述对象标记文件为可扩展标记语言格式或另一种标记语言格式，所述对象信息以二进制格式保存在所述对象标记文件中。

本公开的至少一个实施例还提供了一种实现与多媒体文件内容互动的装置，包括：解释模块，用于检测播放器正在播放多媒体文件，获取所述多媒体文件的对象标记文件，以及结合所述对象标记文件来解释正在播放的所述多媒体文件的对象信息，其中，所述对象标记文件标注对象在所述多媒体文件中的所述对象信息；输入检测模块，用于检测来自用户的互动输入，所述互动输入与所述对象相关；以及操作执行模块，用于基于来自所述用户的互动输入，执行与所述对象相关联的操作。