[发明专利]一种双维度分类提取网页链接的方法

权利要求书

1.一种双维度分类提取网页链接的方法，其特征在于包括以下步骤：

a、首先构建一个对网页中板块标题进行分类的贝叶斯分类器以及一个针对网页中链接标题进行匹配的卷积神经网络；

b、为贝叶斯分类器和卷积神经网络分别获取并标记一定数量的样本形成训练集和测试集，对于贝叶斯分类器，其训练集和测试集中的样本为板块的标题；对于卷积神经网络，其训练集和测试集中的样本为链接的标题，样本分为正负两类，正样本与目标主题相关，负样本与目标主题无关；

c、利用训练样本对贝叶斯分类器和卷积神经网络分别进行训练，直至在测试集上取得较好的性能；

d、利用网络爬虫抓取网页，保存至本地，并利用工具从网页中提取出链接；

e、判断所提取的候选链接之间的关系，将拥有相同父标签的链接信息聚为同一类，每一类对应于一个板块，同时提取出每个板块的标题；

f、使用贝叶斯分类器对网页中每一个板块的标题进行分类，找出与目标主题相关的板块；

g、使用卷积神经网络对与目标主题相关的板块中包含的链接信息进行分类，判断是否与目标主题相关，获得了已经训练好的卷积神经网络后，就可以对主题相关板块中的链接进行匹配，具体的步骤如下：首先将待匹配的链接语句，用ansj_seg项目进行分词，细化句子的粒度，然后用word2vec获得待匹配的链接语句中的每个词的词向量，最后用已经训练好的卷积神经网络对句子进行扫描，即用一个滑动窗口从左至右进行扫描，每个窗口内有多个词，每个词由一个向量表示，最后神经网络即可输出该链接是否匹配；

h、逐一分析每个与主题相关的板块，如果卷积神经网络所识别出的主题相关链接数量占相应板块中所有链接数量的80%以上，认为匹配成功，将该板块的所有链接输出；否则，匹配失败，不输出该板块的链接。

2.根据权利要求1所述的一种双维度分类提取网页链接的方法，其特征在于：所述a步骤中贝叶斯分类器的联合概率公式为：P( C, X ) = P( C | X ) * P( X ) = P( X | C )* P( C )，所得到的贝叶斯公式：P(C|X)=P(X|C)*P(C)/P(X)，其中C =“该板块与主题相关”， X =“训练集中的信息含有标题文本的概率”。