[发明专利]一种基于主题模型的商品推荐方法及系统

说明书

技术领域

本发明涉及电商网站的商品推荐，尤其涉及一种基于主题模型的商品推荐方法及系统。

背景技术

随着电商行业的发展，商品数量急剧增长。对于广大消费者，除去带有强烈目的的购物行为(搜索)外，在海量商品信息中发现感兴趣的商品；找到和欲购商品有关联的商品是很困难的事。对于电商网站，提升商品的点击率，转化率也是很难的。很多电商网站通过诸如“猜你喜欢”，“看了又看”，“相关推荐”之类的商品推荐方式向用户推荐与用户终端上显示的商品的相关商品。目前主要有三种商品的推荐方法：

第一种是基于用户的协同过滤推荐方法，简称UserCF：在数据集完善、且内容丰富的情况下，准确率较高，而且不需要对商品内容进行挖掘的基础上，就能进行准确推荐。但是，随着系统使用者数量的增多，过于庞大的用户相似度矩阵，使得计算时间变长。

第二种方法是基于物品的协同过滤，简称ItemCF。该方法给用户推荐那些与他们以前喜欢的物品相类似的物品。因为ItemCF通过用户行为挖掘商品间的相似性，并未考虑用户间的兴趣差别，也没有考虑商品的内容相关性，导致其在商品推荐的准确度上效果一般；它也没有考虑在不离线更新商品相似度表的情况下，将新的商品推荐给用户。同时，在电商推荐领域，由于商品的更新非常快，远远超过了新用户的加入速度，因此，ItemCF需要维护和更新一个庞大的商品相似度表，使得其计算及更新的代价非常巨大，且效率变得很低。

第三种方法是一种最直观最易理解的推荐方法—基于内容的推荐。建立商品信息之间内在内容的联系，将关联商品推荐给用户。

商品内容的关联主要建立在图像，文本，人工设置的基础上。传统的文本相关推荐方法，大多数基于字面文本内容相似度的计算。例如基于TF-IDF的相似度计算方法是非常常用的方法，但这类算法的拥有一些缺陷，比如仅仅能感知文本的表面含义，无法在文本的隐含语义层面来进步挖掘相似性。所以，引入主题特征来建立文本内容的关联。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于主题模型的商品推荐方法及系统。

本发明的目的是通过以下技术方案来实现的：一种基于主题模型的商品推荐方法，该方法包括以下步骤：

(1)收集原始数据：定时更新电商词库；整理各大电商商品类目并映射到自有类目体系；采集电商商品入库。

(2)文本预处理：遍历商品库，对商品的文本信息分词过滤，做成词袋。

(3)训练主题模型：获取类目及关联类目中的全部商品词袋，通过LDA机器学习库训练得到“主题-词”矩阵。

(4)处理商品主题分布：根据“主题-词”矩阵，遍历类目及关联类目下的全部商品词袋，得到商品的多维主题分布：(T₁,T₂,T₃,...T_V,)，其中主题特征向量T_v＝(w₁,w₂,w₃,...,w_K)，且v是商品序号，V是类目及关联类目下的商品总数，w_i是该商品文本信息在第i个主题下的权值，i是主题序号，K是主题个数。对商品的多维主题分布做降维处理：商品的主题向量T_v仅保留权值从大到小前n的主题，n大于等于1且小于主题个数K，实现主题向量的降维，商品投影在n维空间。设定降维次数N，得到N个商品主题分布。

(5)根据文本相关性，获取商品的文本近似商品。

(6)根据主题相关性，获取商品的相关商品，具体包括以下子步骤：

(6.1)找到输入商品在N个商品主题分布中的位置，在第i个商品主题分布中，选择x_i个商品主题向量，x₁,x₂,...,x_N依次增大、依次减少或根据线上点击情况确定，取出x₁,x₂,...,x_N个商品。

(6.2)计算原始商品主题向量的余弦相似度：根据商品的主题特征向量T_v＝(w₁,w₂,w₃,...,w_K)和商品的多维主题分布内所有向量T′_u、进行余弦相似度计算：取得相似度从大到小前Q个商品作为相关商品。