[发明专利]利用网络信息挖掘的视频内产品注释

权利要求书

1.一种用于向一个或者多个用户提供视频中的产品注释的计算机方法，所述方法包括：

接收用于产品注释的视频，所述视频包括多个视频帧；

从所述视频帧提取多个关键帧；以及

对于每个关键帧：

生成所述关键帧的可视化表示；

比较所述可视化表示与多个产品可视签名；以及

基于所述比较，确定所述关键帧是否包含由所述产品可视签名之一所标识的产品。

2.根据权利要求1所述的方法，其中从所述视频提取多个关键帧包括：

在所述视频的固定点提取所述多个关键帧中的每个关键帧。

3.根据权利要求1所述的方法，其中生成关键帧的所述可视签名包括：

从所述关键帧提取多个可视特征；

将所述多个可视特征分组成多个集群；以及

生成多维视觉词袋直方图作为所述关键帧的所述可视签名。

4.根据权利要求3所述的方法，其中关键帧的所述多个可视特征是所述关键帧的尺度不变特征转换（SIFT）描述符。

5.根据权利要求1所述的方法，还包括：

对于多个产品中的每个产品：

收集所述产品的多个训练图像；以及

根据所述产品的所收集的训练图像来生成所述产品的可视签名。

6.根据权利要求5所述的方法，其中收集产品的所述多个训练图像包括：

从专家产品库收集所述产品的多个专家产品图像；

对于所述产品的每个专家产品图像：

从多个网络资源搜索多个相关产品图像；以及

基于在相关产品图像中的每个相关产品图像与所述专家产品图像之间的相似度测量来选择预定数目的相关产品图像，

其中所述专家产品图像和所选择的相关产品图像包括所述产品的所述训练图像。

7.根据权利要求5所述的方法，其中根据所述产品的所收集的训练图像来生成所述产品的可视签名包括：

将集体稀疏化方案应用于所述产品的所述训练图像，其中在生成所述产品的所述可视签名时减少与在相关产品图像中包含的所述产品无关的信息。

8.根据权利要求5所述的方法，其中根据所述产品的所收集的训练图像来生成所述产品的可视签名包括：

通过预定数目的迭代来迭代地更新所述产品的所述可视签名。

9.根据权利要求5所述的方法，其中产品的所述多个专家产品图像包括所述产品在不同视图的专家产品图像。

10.根据权利要求1所述的方法，其中确定关键帧是否包含由所述产品可视签名之一所标识的产品包括：

估计在所述关键帧的所述可视化表示与所述多个产品可视签名中的每个产品可视签名之间的产品相关度；以及

基于所估计的产品相关度，确定关键帧是否包含由所述产品可视签名之一所标识的产品。

11.一种存储可执行计算机程序指令的非瞬态计算机可读存储介质，所述可执行计算机程序指令用于向一个或者多个用户提供按需数字资产托管服务，所述计算机程序指令包括用于以下操作的指令：

从用户接收用于产品注释的视频，所述视频包括多个视频帧；

从所述视频提取多个关键帧；以及

对于每个关键帧：

生成所述关键帧的可视化表示；

比较所述可视化表示与多个产品可视签名；以及

基于所述比较，确定所述关键帧是否包含由所述产品可视签名之一所标识的产品。

12.根据权利要求11所述的计算机可读存储介质，其中用于从所述视频提取多个关键帧的所述计算机程序指令包括用于以下操作的指令：

在所述视频的固定点提取所述多个关键帧中的每个关键帧。

13.根据权利要求11所述的计算机可读存储介质，其中用于生成关键帧的所述可视签名的所述计算机程序指令包括用于以下操作的指令：

从所述关键帧提取多个可视特征；

将所述多个可视特征分组成多个集群；以及

生成多维视觉词袋直方图作为所述关键帧的所述可视签名。

14.根据权利要求13所述的计算机可读存储介质，其中关键帧的所述多个可视特征是所述关键帧的尺度不变特征转换（SIFT）描述符。