[发明专利]一种基于增量贝叶斯算法的主题爬虫方法

摘要

一种基于增量贝叶斯算法的主题爬虫方法，使用增量学习思想训练贝叶斯分类器的步骤，基于增量贝叶斯算法进行在线主题爬虫的步骤：输入初始训练集和增量训练集；对初始训练集和增量训练集进行分词等预处理；根据初始训练集和朴素贝叶斯原理训练出初始分类器，针对增量训练集中的数据，使用初始分类器对样本进行分类，根据分类结果进行分类模型的更新；初始化优先级队列、已访问链接集合、增量贝叶斯分类器，并将初始网页链接加入到优先级队列中；根据网页链接是否含有主题关键词，如果含有，则对增量贝叶斯分类模型进行更新。每次选择优先级队列中优先级最高的网页进行网页下载，重复上述步骤直到满足条件。

主权项

1.一种基于增量贝叶斯算法的主题爬虫方法，其特征在于：使用增量学习思想训练贝叶斯分类器的步骤，基于增量贝叶斯算法进行在线主题爬虫的步骤，所述使用增量学习思想训练贝叶斯分类器的具体步骤为：步骤100，输入初始训练集和增量训练集；步骤101，对初始训练集和增量训练集进行分词等预处理；步骤102，根据初始训练集和朴素贝叶斯原理训练出初始分类器，初始分类器主要包含类先验概率p(ci)和特征的类条件概率p(wk|ci)，分类模型公式为：其中，wk为样本的第k个特征，ci为第i个类别步骤103，针对增量训练集中的数据，使用初始分类器对样本进行分类，根据分类结果进行分类模型的更新；步骤104，如果分类结果正确，则类先验概率p(ci)的更新公式为：特征的类条件概率p(wk|ci)的更新公式为其中，N为所有文档总数，Ni为类别为ci的文档总数，wk为测试样本的第k个特征，dt为测试样本，ct为初始分类器预测的类别；步骤105，如果分类错误，则保持类先验概率不变，特征的类条件概率p(wk|ci)的更新公式为步骤106，输出并保存模型至主题爬虫的存储系统；基于增量贝叶斯算法进行在线主题爬虫的具体步骤为：步骤200，给定初始网页链接、待爬取主题和主题关键词；步骤201，初始化优先级队列PriorityQueue、已访问链接集合VisitedList、增量贝叶斯分类器，并将初始网页链接加入到优先级队列中；步骤202，取PriorityQueue队列中优先级最高的链接，下载网页的同时将链接加入到VisitedList集合中；步骤203，从网页中提取标题、内容、发布时间信息，并存入数据库中；步骤204，提取网页中包含的超链接，计算超链接的优先级并加入到PriorityQueue队列中，超链接优先级的计算公式为：L(μ)＝F(url)·(λ·Score(anchor_text)+(1‑λ)·Score(page_text))其中，anchor_text为锚文本，page_text为网页文本，Score()函数为计算文本与主题之间的相关度函数，即使用增量贝叶斯分类器计算文本的主题相关度，url为超链接字符串，F(url)函数则是根据url文本是否含有与主题关键词的计算函数；步骤205，根据网页链接是否含有主题关键词，如果含有，则对增量贝叶斯分类模型进行更新，具体更新公式剪步骤103；步骤206，重复步骤202‑205，直到满足条件为止。