[发明专利]一种基于人体姿态识别的个性化推荐服务系统

说明书

本发明公开了一种基于人体姿态识别的个性化推荐服务系统，包括以下步骤：提取用户的浏览记录，使用算法获取含有人体表演的视频；通过时序信息预测视频中人体的3D关节点；将多个视频中的3D关节点编码为同一个用户偏好特征向量，同时，获取商品信息，使用深度学习方法将商品信息编码为特征向量；使用图神经网络的特征交互算法交互商品特征向量，获取更有表征力的特征；计算用户偏好特征向量和商品特征向量相似度，排序并推荐。本发明使用视频中提取的人体姿态数据来完成推荐任务，能够十分巧妙的利用人体姿态所反应的丰富语义信息，该类推荐方式能够更好的适用于推荐表演型商品。

技术领域

本发明涉及个性化推荐领域，具体涉及一种基于人体姿态识别的个性化推荐服务系统。

背景技术

人体姿态是人体重要的生物特征之一，有很多的应用场景，如：步态分析、视频监控、增强现实、人机交互、金融、移动支付、娱乐和游戏、体育科学等。姿态识别能让计算机知道人在做什么、识别出这个人是谁。而个性化推荐系统是互联网和电子商务发展的产物，它是建立在海量数据挖掘基础上的一种高级商务智能平台，向顾客提供个性化的信息服务和决策支持。近年来已经出现了许多非常成功的大型推荐系统实例，与此同时，个性化推荐系统也逐渐成为学术界的研究热点之一。

近年来，人类表演、直播等产业日趋成熟，为观看者提供表演或直播视频的个性化推荐服务逐渐成为业界和学术界的研究热点。然而，现有的个性化推荐算法均采取直接从提取图像特征和以及从用户记录中提取特征的方式来完成推荐任务。这些方法并没有考虑到视频中的人体姿态所带来的丰富语义。即，目前暂时缺乏利用人体姿态识别技术完成个人性化推荐的推荐系统。

发明内容

针对上述问题，本发明的目的是通过挖掘用户历史观看视频，借助深度学习方法对视频进行人体姿态估计，使用人体姿态结果获取用户偏好；使用深度学习方式对商品抽取特征；通过匹配用户偏好和商品特征，完成对商品的推荐兴趣排序，从而提高推荐精度，较好的发掘用户历史浏览信息中的人体姿态语义信息。

为实现上述目的，本发明提供一种基于人体姿态识别的个性化推荐服务系统，包括以下步骤：

(1)、提取用户的浏览记录，使用算法获取含有人体表演的视频；

(2)、通过时序信息预测视频中人体的3D关节点；

(3)、将多个视频中的3D关节点编码为同一个用户偏好特征向量，同时，获取商品信息，使用深度学习方法将商品信息编码为特征向量；

(4)、使用图神经网络的特征交互算法交互商品特征向量，获取更有表征力的特征；

(5)、计算用户偏好特征向量和商品特征向量相似度，排序并推荐。

进一步的，所述步骤(1)中，为获取人体表演的视频，对用户浏览数据进行分类识别；具体来说，获得用户浏览数据库字段后，使用文本分类网络，获得该浏览记录浏览内容是否为视频，若是，判断该内容是否为人体表演视频。

进一步的，所述步骤(2)中，由获得的人体表演视频中预测人体的3D关节点；预测方式为：使用图像特征提取骨干网络和3D卷积获取时序图像特征图，将特征图编码为关节点热图，从热图中直接预测3D关节点坐标X,Y,Z，所预测人体3D关节点数量最少为18个。

进一步的，所述步骤(3)中，编码用户偏好特征向量，对于每个人体，将其关节点坐标输入全连接网络，编码为长度为C的特征向量；对于所有的N个人体，将得到N个长度为C的特征向量，对N个特征向量，使用注意力机制加权的方式，聚合为一个长度为C的用户偏好特征向量。

进一步的，所述步骤(3)中，编码商品特征向量，对于每个商品，记录其所有特征，该特征使用文本描述；使用深度神经网络将其编码为商品特征向量；