[发明专利]一种基于BLEU指标的热门信息流推荐方法及装置

说明书

本申请公开了一种基于BLEU指标的热门信息流推荐方法及装置，所述方法包括：爬取多个第一资源的资源信息，获取第一信息流内容；将第一信息流内容进行数据清洗，得到第一信息流集合；获取第二资源的资源信息，得到第二信息流集合；将第一信息流集合与第二信息流集合进行笛卡尔积关联，分别计算第一信息流集合中的每条信息流与第二信息流集合中的每条信息流的BLEU相似得分；为第一信息流集合中的每条信息流在第二信息流集合中筛选出与其相似得分最高的信息，得到第三信息流集合；基于所述第三信息流集合中的信息流向用户终端进行推荐。本申请能够在一定程度上提高用户体验，并有利于提高客户端程序、APP以及网站的粘性。

技术领域

本发明涉及网络通信技术领域，尤其涉及一种基于BLEU指标的热门信息流推荐方法及装置。

背景技术

在目前的互联网时代，能够安装于台式计算机或者笔记型计算机等终端设备中的客户端程序、以及能够安装于智能移动电话以及平板电脑等终端设备中的APP(例如，网易公开课或者微博等)的数量越来越多，另外，可供用户利用其浏览器进行访问的网站数量也越来越多。在用户使用其客户端程序或者APP的过程中，或者在用户利用浏览器访问网站的过程中，往往会涉及到向用户的终端设备下发用于形成首页或者列表页或者内容页等页面的信息流推送数据。

目前，向用户的终端设备下发信息流推送数据的方式通常为：工作人员(也可以称为编辑)在运营后台进行内容推荐，且推荐的内容通常具有权重值以及更新xi时间，运营后台根据各内容的权重值以及各内容的更新时间对各内容进行排序，并根据排序结果顺序选取内容以形成各信息流内容单元，之后，根据信息流内容单元形成信息流推送数据，并向用户的终端设备下发。

然而，在海量的信息流中，如何快速选取出优质的信息流是个不小的难题。本发明中技术方法利用当前网络中优质信息流内容，通过计算能够快速从自有信息流中挖掘出优质内容，从而解决优质信息流选取困难且耗时耗力的难题。

发明内容

本发明的目的在于提供一种基于BLEU指标的热门信息流推荐方法及装置，以解决上述技术背景中提出的问题。

为实现上述目的，本发明采用以下技术方案：

本申请第一个方面公开了一种基于BLEU指标的热门信息流推荐方法，包括：

爬取多个第一资源的资源信息，获取第一信息流内容，所述第一信息流内容具有第一排序；

将第一信息流内容进行数据清洗，得到第一信息流集合，所述第一信息流集合的信息流顺序保留第一排序；

获取第二资源的资源信息，得到第二信息流集合；

将第一信息流集合与第二信息流集合进行笛卡尔积关联，分别计算第一信息流集合中的每条信息流与第二信息流集合中的每条信息流的BLEU相似得分；

为第一信息流集合中的每条信息流在第二信息流集合中筛选出与其相似得分最高的信息，得到第三信息流集合，所述第三信息流集合中信息流的条数与排序与第一信息流集合保持一致；

基于所述第三信息流集合中的信息流向用户终端进行推荐。

优选地，所述第一资源为公开的第三方热门榜单信息流数据，例如，如微博、新浪、腾讯新闻。

优选地，在所述爬取多个第一资源的资源信息前，所述方法还包括：从与全网热门话题对应的全网新闻源中筛选出多个目标新闻源，所述目标新闻源中的热榜信息，用于基于网络爬取技术进行实时爬取。

优选地，所述爬取多个第一资源的资源信息，包括：获取预先配置的在线库中各网页的网页文字代码。

优选地，所述数据清洗的规则，包括、但不限于：去除特殊字符，去除HTML格式，删除过长、过短的文本，繁体转简体，去除包含url、拼音的无意义符号。