[发明专利]基于第一人称视角购物视频的购物分析方法

权利要求书

1.一种基于第一人称视角购物视频的购物分析方法，其特征在于，具体包括：

将完整的购物视频划分为多个视频片段；

针对每一视频片段，从所述视频片段中提取N帧图像帧，其中，N为大于1的整数；

使用非局部神经网络分析提取的图像帧获得所述视频片段对应的购物动作类型；非局部神经网络的基本网络为ResNet50，将ResNet50转换为3D ResNet50网络，在3D ResNet50网络的前三个block的结尾均插入一个非局部块，并

根据获得的各视频片段对应的购物动作类型，识别预设购物动作类型的视频片段对应的商品，包括：将预设购物动作类型对应的视频片段输入分类网络得到所述视频片段中包含的商品类型，所述商品类型包括食材类或非食材类；对于食材类商品，使用多分类模型识别其中关键帧的商品；对于非食材类商品，使用多物体检索的方法检索关键帧中的非食材商品；对于食材类商品识别，包括以下子步骤：2.a.1提取视频片段的图像帧的关键帧；2.a.2将关键帧依次输入预训练好的空间正则化网络，得到该帧在每一个食材类别上的预测分数；2.a.3所有关键帧的对应类别分数相加，除以关键帧数量，得到视频片段在每个食材类别上的预测分数；

对于非食材商品识别，具体包括以下子步骤：

2.b.1提取视频片段的图像帧的关键帧；

2.b.2预处理，使用网络公开的商品数据集RPC，训练一个fast r-cnn网络；RPC数据集包括多张商品图，每张图片用多个检测框bbox给所有检测框bbox一个统一的标签“商品”类别；在训练时，构建一个商品图像库，该库包含多个商品图像，每个图像都包含一个商品，并且是干净背景的，对于该商品图像库的所有图片，使用紧凑视觉搜索技术建立提取特征，建立索引；

2.b.3对每一个关键帧，使用训练好的fast r-cnn进行商品区域的检测，产生多个检测框bbox，以及检测框bbox的预测分数，保留预测分数大于0.5的检测框bbox；

2.b.4对每个关键帧，使用检测框bbox对图像进行剪裁，生成多个局部图；

2.b.5对每个关键帧，将其剪裁出的多个局部图，每个局部图都使用紧凑视觉搜索技术提取特征，使用商品库建立的索引，在商品库中检索相关的商品，得到每个局部图的相关商品列表，其中相关程度从高到低；

2.b.6对于一个视频片段的多个关键帧，每个关键帧都有多个局部图，每个图有一个相关商品列表，按照局部图的预测分数得到相关商品列表；

建立识别出的商品与其对应的购物动作类型之间的对应关系。

2.如权利要求1所述的方法，其特征在于，所述预设购物动作类型包括挑选动作和购买动作；以及

建立识别出的商品与其对应的购物动作类型之间的对应关系，具体包括：

确定购买动作对应的视频片段中识别的前若干商品作为购物记录；

确定挑选动作对应的视频片段中识别的前若干商品作为用户感兴趣的商品记录。

3.如权利要求1所述的方法，其特征在于，所述步骤2.a.2的空间正则化网络包括：

将关键帧依次输入ResNet50，提供粗略的类预测以及初步特征f_cls；

将初步特征f_cls输入空间正则化模块，生成两个特征图，注意力特征图f_att和置信度特征图f_cof；

然后f_att被f_cof重新加权，并输出一系列卷积层的精确预测结果通过对f_att进行线性转换样得到一个粗略的预测

通过得到预测值。

4.如权利要求3所述的方法，其特征在于，所述步骤2.b.2和步骤2.b.5中的紧凑视觉搜索技术的特征提取包括兴趣点检测，局部特征选择，局部特征描述，局部特征压缩，局部特征位置压缩，局部特征聚合。

5.如权利要求4所述的方法，其特征在于，对于插入的非局部块，位置i的输出为其中，x_i为位置i的输入，x_j为位置j的输入，g(x_j)＝W_gx_j，其中W_g是一个可学习的权重矩阵。