[发明专利]一种面向移动互联网自适应增量的内容聚合方法及系统

摘要

本发明公开了一种面向移动互联网自适应增量的内容聚合方法及系统，对m个目标源网站预处理，记录m个目标源网站的导航页面数据，建立关于长度和数量的二维数学模型；爬取m个目标源网站，向下爬取每个目标源网站所存在的多个页面，计算每个页面的二维正态分布置信概率；并将按照降幂次序排列，及将每个页面下对应url地址的目标页面进入url地址池；爬取url地址池中位于顶部的url地址所对应目标页面，将所有url地址并进入url地址池，向量化计算相似度；判断是否异常；对url地址池中所有目标页面分析，爬取所需信息及进入信息所在页面；通过贝叶斯选择筛选并更新二维分布权重。本发明大大提高信息获取效率，减小了服务器负载量，保证了获得信息的完整性。

主权项

一种面向移动互联网自适应增量的内容聚合方法，其特征在于，包括以下步骤：步骤1、对m个目标源网站预处理，记录m个目标源网站的导航页面数据，该数据包括m个目标源网站导航页面的深度N、url地址长度和数量、平均页面url地址数量；根据所记录的m个网站导航页面数据，建立关于长度和数量的二维数学模型；步骤2、依次爬取所述m个目标源网站，向下爬取每个目标源网站所存在的[1.2*N]+1个页面，记录所得目标源网站的平均页面url地址数量、url地址长度和数量，计算每个页面的二维正态分布置信概率；并将每个页面的置信概率按照降幂次序排列，及将每个页面上所有url地址加入url地址池；步骤3、爬取url地址池中位于顶部的url地址所对应目标页面，将该url地址所对应目标页面中所有url地址并进入url地址池，并弹出该位于顶部的url地址；依次爬取url地址池中剩下的url地址地址所对应目标页面，向量化计算各url地址对应目标页面的相似度；步骤4、根据计算所得相似度是否达到预设阈值，及位于顶部的url地址是否存在进行递归操作，判断异常，包括：当相似度未达到预设阈值且位于顶部的url地址仍然存在，则重复步骤3；当位于顶部的url地址不存在，则异常退出；当相似度达到预设阈值但未递归完毕，则重新执行上述步骤1至3直到递归完毕；步骤5、对url地址池中所有url地址所对应目标页面分析，获取目标信息；并进行贝叶斯选择筛选以完成内容聚合，及更新二维数学模型的二维分布权重。