[发明专利]基于第一人称视角购物视频的购物分析方法

说明书

本发明涉及人工智能应用技术领域，特别涉及一种基于第一人称视角购物视频的购物分析方法。具体包括：将完整的购物视频划分为多个视频片段；从所述视频片段中提取N帧图像帧；分析提取的图像帧获得所述视频频段对应的购物动作类型；并根据获得的各视频片段对应的购物动作类型，识别预设购物动作类型的视频片段对应的商品；建立识别出的商品与其对应的购物动作类型之间的对应关系。本发明用第一人称视角的消费者购物视频，进行全面的消费分析，相对于基于图片的分析方法，本专利节省了消费者拍摄和上传的负担，并且可以全面地分析整个购物过程，得到完整的消费记录。

技术领域

本发明涉及人工智能应用技术领域，特别涉及一种基于第一人称视角购物视频的购物分析方法。

背景技术

消费者购物的分析与记录是分析消费者偏好，发现影响购买的关键因素，定向推荐与帮助消费者购物的基础，对商场的智能化服务和消费者生活质量提升有重要意义，具有巨大的商业价值。

图1展示了传统的消费分析。基于用户上传的商品图片，检测商品存在的区域，对每一个区域提取图像特征，同时对于数据库中商品图片提取特征，将拍摄图片每个区域的特征与数据库图片特征进行对比，得到最终的商品识别结果。这种方法依赖用户的手动拍摄与上传，低效、操作繁琐且难以获得全面的消费分析，一旦用户忘记拍摄或上传，将不能得到全面的消费者购物记录，这种方法得到的“商品-用户”关系单一，不能利用购物全过程的丰富的消费者行为建立“商品-用户”的多种关联。

发明内容

本发明实施例提供了一种基于第一人称视角购物视频的购物分析方法，用第一人称视角的消费者购物视频，进行全面的消费分析，相对于基于图片的分析方法，本专利节省了消费者拍摄和上传的负担，并且可以全面地分析整个购物过程，得到完整的消费记录。

根据本发明实施例的第一方面，一种基于第一人称视角购物视频的购物分析方法，具体包括：

将完整的购物视频划分为多个视频片段；

针对每一视频片段，从所述视频片段中提取N帧图像帧，其中，N为大于 1的整数；

分析提取的图像帧获得所述视频频段对应的购物动作类型；并

根据获得的各视频片段对应的购物动作类型，识别预设购物动作类型的视频片段对应的商品；

建立识别出的商品与其对应的购物动作类型之间的对应关系。

所述预设购物动作类型包括挑选动作和购买动作；以及

建立识别出的商品与其对应的购物动作类型之间的对应关系，具体包括：

确定购买动作对应的视频片段中识别的前若干商品作为购物记录；

确定挑选动作对应的视频片段中识别的前若干商品作为用户感兴趣的商品记录。

分析提取的图像帧获得所述视频频段对应的购物动作类型，具体包括：

使用非局部神经网络分析提取的图像帧获得所述视频频段对应的购物动作类型。

识别预设购物动作类型的视频片段对应的商品，具体包括：

将预设购物动作类型对应的视频片段输入分类网络得到所述视频片段中包含的商品类型，所述商品类型包括食材类或非食材类；

对于食材类商品，使用多分类模型识别其中关键帧的商品；

对于非食材类商品，使用多物体检索的方法检索关键帧中的非食材商品。

非局部神经网络的基本网络为ResNet50，将ResNet50转换为3D ResNet50 网络，在3D ResNet50网络的前三个block的结尾均插入一个非局部块。

对于食材类商品识别，包括以下子步骤：