[发明专利]一种基于用户偏好异构性分析的推荐方法

说明书

本发明公开了一种基于用户偏好异构性分析的推荐方法，步骤为：对Amazon公开数据集及进行数据筛选，得到符合要求的数据集；对处理好的文本数据进行分词分句并对文本数据进行词向量训练和名词短语提取；使用深度学习框架构建推荐系统模型；把预先处理好的文本数据分成训练集和测试集，使用构建好的模型对训练集进行训练，并对训练好的模型应用于测试集进行评价得到最优的推荐模型。本发明采用联合学习网络结构，分别处理文本多粒度信息的特征学习网络，还有用来学习用户和项目关联信息的协同过滤网络，数据处理中使用Spacy来提取名词性短语，并通过Word2Vec学习词语特征向量，减少输入网络的数据维度增强网络的推荐精度。

技术领域

本发明属于计算机深入学习和推荐系统的技术领域，尤其涉及一种基于用户偏好异构性分析的推荐方法。

背景技术

到2020年全球产生的数据量将达到惊人的35.2ZB，这意味着数据对人们生活的影响越来越大，人们无时无刻在产生数据。其中隐藏的信息量非常巨大。如果能拿到相关行业的数据加以分析并应用一定会对相关行业的发展产生很大的影响。可是如何提取其中有用的信息就成了一个很大的问题。因此推荐系统应运而生，其核心是通过借助用户交互数据来对用户的偏好特征进行分析，然后预测用户对其他物品的喜好程度。可是由于交互数据的稀疏性，有很多预测数据并不能很好的体现用户的真实偏好。所以如何增加推荐系统的推荐精度，并且如何解决冷启动问题等一系列问题正在成为推荐系统领域的热点研究方向。

基于短文本分析的推荐方法以其能够直接反映用户主观喜好的特点受到了很多研究人员的关注。目前，利用短文本信息做推荐主要有两方面的研究，一是使用短文本进行情感识别，通过对短文本的极性判别来预测用户对项目的偏好的极性(如喜欢/不喜欢)。另外一种研究是使用短文本进行用户评分的预测。近些年，针对短文本的研究有了很大进展。其中有人利用word2vec词向量来改进词性特征，也有人人使用LDA主题模型对文本进行分类。还有人利用贝叶斯网络对文本进行层次化话题构建，在保证准确率的情况下扩充了原内容。近几年，随着深度学习的发展，出现了基于深度学习的短文本分析方法。比如有人把word2vec和CNN网络相结合来挖掘不同层次的语义信息从而发现句子中更高抽象级别的特征。一些热把情感分析和传统推荐方法结合发现用户的兴趣特征。另一些研究人员使用元数据结合深度学习模型来改善推荐系统性能。但是以上方法虽然使用了评论文本却仅仅是把文本转变成单一向量来进行训练分析没有考虑到本身文本结构和词性的影响。这些方法均是基于独立同分布的假设，即假设文本对于反映每个用户的偏好所起的作用是一样的，其很难通过短文本充分挖掘用户的个性化偏好。

发明内容

基于以上现有技术的不足，本发明所解决的技术问题在于提供一种基于用户偏好异构性分析的推荐方法，通过考虑文本结构和词性的不同，来发现用户评论文本中隐藏的用户的异构性偏好，提升推荐性能。

为了解决上述技术问题，本发明通过以下技术方案来实现：

本发明提供一种基于用户偏好异构性分析的推荐方法，包括以下步骤：

步骤1：对Amazon公开数据集及进行数据筛选，得到符合要求的数据集；

步骤2：对处理好的文本数据进行分词分句并对文本数据进行词向量训练和名词短语提取；

步骤3：使用深度学习框架构建推荐系统模型；

步骤4：把预先处理好的文本数据分成训练集和测试集，使用步骤3构建的模型对训练集进行训练，并对训练好的模型应用于测试集进行评价得到最优的推荐模型。

优选的，在步骤1中对数据筛选的步骤如下：

步骤1.1：利用Python读取原始json数据文件并转换成CSV文件；

步骤1.2：然后从中筛选用户评论总数大于10条的数据，同时去除文本数据过长的数据。

在步骤2中的词向量训练和名词性短语提取步骤如下：