[发明专利]一种双维度分类提取网页链接的方法

摘要

一种双维度分类提取网页链接的方法，构建了对板块标题进行分类的贝叶斯分类器以及针对链接标题进行匹配的卷积神经网络，并将两种分类器有机结合起来，提高了网页中与主题相关链接提取的准确度，改变了以往需要设计网站特征模板和用户填写模板的方式，通过程序智能地发现并自动地提取感兴趣的链接，无需设计网站特征模板，也无需用户填写模板，节省了大量的人力物力，借助于机器学习的方式，提高了处理速度，能够适应网页的结构或样式的频繁更新，并提高了获取主题相关链接的准确度。

主权项

1.一种双维度分类提取网页链接的方法，其特征在于包括以下步骤：a、首先构建一个对网页中板块标题进行分类的贝叶斯分类器以及一个针对网页中链接标题进行匹配的卷积神经网络；b、为贝叶斯分类器和卷积神经网络分别获取并标记一定数量的样本形成训练集和测试集，对于贝叶斯分类器，其训练集和测试集中的样本为板块的标题；对于卷积神经网络，其训练集和测试集中的样本为链接的标题，样本分为正负两类，正样本与目标主题相关，负样本与目标主题无关；c、利用训练样本对贝叶斯分类器和卷积神经网络分别进行训练，直至在测试集上取得较好的性能；d、利用网络爬虫抓取网页，保存至本地，并利用工具从网页中提取出链接；e、判断所提取的候选链接之间的关系，将拥有相同父标签的链接信息聚为同一类，每一类对应于一个板块，同时提取出每个板块的标题；f、使用贝叶斯分类器对网页中每一个板块的标题进行分类，找出与目标主题相关的板块；g、使用卷积神经网络对与目标主题相关的板块中包含的链接信息进行分类，判断是否与目标主题相关，获得了已经训练好的卷积神经网络后，就可以对主题相关板块中的链接进行匹配，具体的步骤如下：首先将待匹配的链接语句，用ansj_seg项目进行分词，细化句子的粒度，然后用word2vec获得待匹配的链接语句中的每个词的词向量，最后用已经训练好的卷积神经网络对句子进行扫描，即用一个滑动窗口从左至右进行扫描，每个窗口内有多个词，每个词由一个向量表示，最后神经网络即可输出该链接是否匹配；h、逐一分析每个与主题相关的板块，如果卷积神经网络所识别出的主题相关链接数量占相应板块中所有链接数量的80%以上，认为匹配成功，将该板块的所有链接输出；否则，匹配失败，不输出该板块的链接。