[发明专利]一种基于双向LSTM的相关新闻挖掘方法及系统

说明书

本申请公开了一种基于双向LSTM的相关新闻挖掘方法及系统，方法包括：获取用户点击的新闻序列，对新闻序列中的新闻id进行嵌入，得到新闻id的向量；基于新闻id的向量，利用聚类算法生成的搜索树得到新闻id的相关新闻。本申请基于用户点击行为的双向LSTM神经网络模型的相关新闻挖掘方法，相比基于内容的精确匹配的方法，有效的提升了用户体验，减少了由于内容冗余造成的新闻资源位浪费并加快了相关新闻的计算速度。同时，利用搜索树检索相关新闻，速度快于传统穷举法，有效的节省了计算时间。

技术领域

本申请涉及信息处理技术领域，尤其涉及一种基于双向LSTM(Long Short-TermMemory，长短期记忆网络)的相关新闻挖掘方法及系统。

背景技术

随着互联网的发展，业务量的急剧增长，如何让机器更智能化，高效化的学习，代替人类并更好的去完成一些高质量的工作(如，新闻质量评分，个性化推荐，计算广告业务等等)，是当今工业界核心的问题之一。

机器学习是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能的学科。

机器学习虽然发展了几十年，但还是存在很多没有良好解决的问题，例如图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐等等。目前通过机器学习去解决这些问题的思路都是这样的(以视觉感知为例子)：

从开始的通过传感器来获得数据，然后经过预处理、特征提取、特征选择，再到推理、预测或者识别；最后一个部分，也就是机器学习的部分，绝大部分的工作是在这方面做的，也存在很多的报道和研究。

而中间的三部分，概括起来就是特征表达。良好的特征表达，对最终算法的准确性起了非常关键的作用，而且系统主要的计算和测试工作都耗在这一大部分。但，这块实际中一般都是人工完成的，靠人工提取特征。

传统的机器学习方法需要手工地选取特征，是一件非常费力、启发式(需要专业知识)的方法，能不能选取好很大程度上靠经验和运气，而且它的调节需要大量的时间。

在新闻推荐领域中，新闻的相关性计算尤为重要，新闻特征较多，如关键字、话题、标题词、所属频道、媒体等等，通常几百万至上千万不等。

传统的新闻相关性计算方式多采用精准匹配等方式进行计算，存在以下缺点：

由于新闻篇数多、特征总量大，利用特征精准匹配的方法计算每篇新闻的top n个相关新闻耗时较长，如果新闻总量是n，特征数为m，那么时间复杂度为O(m*n²)。而且过于精准的挖掘方法泛化性差，造成相同内容重复和冗余，不利于用户兴趣探索，例如《今年底宁夏所有开发区污水集中处理设施全部投用》和《今年年底宁夏所有开发区污水集中处理设施全部投用》仅仅差了一个字，内容高度重合，不应反复给用户展示。而且通过内容相关很难挖掘出一些热点新闻，给用户体验带来了极大的负面影响。传统的穷举搜索，速度慢、效率低。

因此，如何解决现有的相关新闻挖掘的缺陷，是一项亟待解决的问题。

发明内容

有鉴于此，本申请提供了一种基于双向LSTM的相关新闻挖掘方法，基于用户点击行为的双向LSTM的相关新闻挖掘方法，相比基于内容的精确匹配的方法，有效的提升了用户体验，减少了由于内容冗余造成的新闻资源位浪费并加快了相关新闻的计算速度。

本申请提供了一种基于双向LSTM的相关新闻挖掘方法，包括：

获取用户点击的新闻序列；

对所述新闻序列中的新闻id进行嵌入，得到新闻id的向量；

基于所述新闻id的向量，利用聚类算法生成的搜索树得到所述新闻id的相关新闻。

优选地，所述获取用户点击的新闻序列包括：