[发明专利]增强现实视频生成器、播放器及其生成方法、播放方法

说明书

技术领域

本发明涉及多媒体技术，尤其涉及一种增强现实视频生成方法、增强现实视频生成系统及对应的增强现实视频播放方法及播放器。

背景技术

随着计算机通信技术、互联网技术以及多媒体技术的发展，视频得到了越来越广泛的应用，不管是通过离线下载方式，还是通过在线视频网站，亦或是SNS社交平台上，视频无处不在，用户几乎可以选择在任意时段，通过客户端建立与视频播放服务器的网络连接，查看视频播放服务器提供的各类视频，例如，电影、电视剧，选取自己喜好的视频，点击进行播放、观看。

然而现有视频观看方式基本不具备交互功能，用户在观看视频的过程中，只能被动的接收视频播放信息，不能够充分的参与到视频应用中，用户的个性化需求难以得到满足。

发明内容

本发明的目的是提供一种增强现实视频生成方法、增强现实视频生成系统及对应的增强现实视频播放方法及播放器，解决现有视频缺乏交互性的缺陷，可让用户在观看视频的过程中，随时参与到视频应用中，体验前所未有的视频交互方式，例如当用户观看某视频时，看上了某角色提的包包，可点击包包进入该包的介绍及购买链接等。

为了实现上述发明目的，本发明提供了一种增强现实视频生成方法，包括：

对原视频数据进行解码，逐帧获取视频帧图像；

逐帧对视频帧图像进行特征提取，提取出来的特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；

对每一视频帧图像的特征描述数据进行分类并降维，得到每一视频帧图像各特征点对应的标签数据；

将每一视频帧图像的标签数据在图像数据库中进行匹配检索，得到当前视频帧图像中所有与数据库中样本图像匹配的目标区域及相应的样本图像索引值，并获取相应样本图像对应的增强显示数据；

将检索成功的视频帧图像的帧数、目标区域位置信息以及每一目标区域对应的增强显示数据写入增强数据文件；

所有视频帧图像处理完毕后，将原视频数据与增强数据文件融合封装，形成增强现实视频。

其中，所述图像数据库中存储有样本图像内容数据和标签数据，样本图像内容数据包括：样本图像索引值，特征点数量及每个特征点的位置信息、尺度、方向和特征描述信息；每个标签数据包括标签、该标签对应的特征点所属样本图像的索引、该标签对应的特征点的位置信息或该标签对应的特征点在样本图像内容数据中存储的序列号。

优选的，所述对每一视频帧图像的特征描述数据进行分类并降维，得到每一视频帧图像各特征点对应的标签数据，具体为：利用分类器对每一视频帧图像的特征描述信息进行分类，找出前n种最优分类结果，每种分类结果中每个类别对应一个分类索引值，n为3～15范围内的自然数；在n种分类结果中，分别结合每个特征描述信息所属分类的分类索引值，对特征描述信息进行降维处理，将降维后的结果数据作为对应特征点的标签，每个特征点对应n个标签数据；所述将每一视频帧图像的标签数据在图像数据库中进行匹配检索，具体为：将标签数据与数据库中对应分类索引中的所有标签进行遍历匹配，计算该视频帧图像与数据库中各样本图像的匹配分值；匹配分值高于设定阈值的样本图像即为与当前视频帧图像某区域匹配的样本图像。

优选的，所述方法还包括目标跟踪，即当某一视频帧图像检索成功后，从该视频帧图像特征数据集中筛选出检索成功的子图像区域中的特征数据，将其用于在后续视频帧图像中进行目标跟踪；当跟踪丢失时，再对当前帧视频帧图像进行特征检测与图像检索。

优选的，所述增强显示数据包括交互元素和/或交互事件，其中交互元素包括视频、图像、音频、网页、文本、3D模型、URI地址中的一种或多种。

相应的，本发明还提供了一种增强现实视频生成系统，包括图像数据库、视频解码模块、图像特征提取模块、特征处理模块、图像搜索模块和数据融合模块，其中：

所述视频解码模块，用于对原视频数据进行解码，逐帧获取视频帧图像；

所述图像特征提取模块，用于逐帧对视频帧图像进行特征提取，提取出来的特征数据集包括每个特征点在图像区域内的位置信息、尺度、方向和特征描述信息；

所述特征处理模块，用于对每一视频帧图像的特征描述数据进行分类并降维，得到每一视频帧图像各特征点对应的标签数据；

所述图像搜索模块，用于将每一视频帧图像的标签数据在图像数据库中进行匹配检索，得到当前视频帧图像中所有与数据库中样本图像匹配的目标区域及相应的样本图像索引值，并获取相应样本图像对应的增强显示数据；