[发明专利]一种主题网络爬虫方法、装置及介质

权利要求书

1.一种主题网络爬虫方法，其特征在于，所述方法包括：

采集给定网站中的产品信息，对所述产品信息按照主题进行分类标注，得到训练样本；

利用训练样本对遗传算法+BP神经网络模型进行训练，得到训练好的模型；

输入要采集的目标网站url、采集的主题、采集阈值，对目标网站进行数据采集，采用超链接广度优先遍历策略，获取与主题同级的页面；

对获取到的页面进行数据清洗，将清洗完成后的数据输入训练好的模型中，得到优解，并对优解对应的页面进行采集、存储，并输出关键字段；

其中，所述利用训练样本对遗传算法+BP神经网络模型进行训练，得到训练好的模型，包括：在将测试集输入BP神经网络模型中进行测试、进行模型生成测试的过程中，若出现部分主题精度倾斜、权重过高的情况，将其降低权重，对训练集数据进行过采样，增加小类样本数的个数，进行训练，当满足终止条件后，停止训练，生成最终模型，并记录相关参数；

而且，所述利用训练样本对遗传算法+BP神经网络模型进行训练，得到训练好的模型，具体为：

将训练样本按照设定的比例分为训练集与测试集；

设置遗传算法的相关参数，所述相关参数包括种群规模、迭代次数、交叉概率和变异概率；

构建结构为2-3-1的BP神经网络模型，输入层数为2，神经网络层数为3，输出层数为1；

将训练集中的数据归一化处理后加入BP神经网络模型生成预测数据，并将预测数据与预设的期望数据之间的误差作为适应度函数；

将训练集作为种群，初始化种群，对种群进行实数编码，随机生成第一代染色体，根据个体采用适应度函数分别计算每一条的适应程度，根据个体得到的初始权重，预测出个体期望输出的绝对误差值E作为个体适应度值F，计算公式为：

其中，n为输出节点数，y_i为i节点的期望输出，o_i为i节点实际输出，k为实验系数0.1；

对所有个体按照特征适应度大小进行排序，得出概率分配表，将概率值分配给每个个体，基于概率用赌盘选择法产生下一代个体，个体的选择概率为：

其中，f_i为个体适应度值F的倒数，N为种群个体数目，通过均匀杂交、交叉染色体，生成大量染色体，以较低概率进行变异操作，复制其染色体，得到最优初始权值和阈值；

将得到的最优初始权值和阈值作为BP神经网络模型的参数；

将测试集输入BP神经网络模型中进行测试，计算测试误差，当满足终止条件后，停止训练，得到训练好的模型。

2.根据权利要求1所述的方法，其特征在于，所述采集给定网站中的产品信息，对所述产品信息按照主题进行分类标注，得到训练样本，具体为：

采集带有明确主题分类网站中主题数据的网页源码，整合多个网站中的主题数据，建立主题体系，使用爬虫爬取网页源码；

从网页源码中解析并筛选出主题特征，并在主题栏中标注所属主题，得到训练样本，所述主题特征包括：产品名称、描述内容、产品类目信息、产品详情和相关推荐产品。

3.根据权利要求1所述的方法，其特征在于，还包括：模型生成测试中，若存在部分主题精度倾斜，权重过高的情况，则降低其权重，并对训练集数据进行过采样，达到样本均衡，各类主题均衡的目的，生成最终模型。

4.根据权利要求1所述的方法，其特征在于，所述输入要采集的目标网站url、采集的主题、采集阈值，对目标网站进行数据采集，采用超链接广度优先遍历策略，获取与主题同级的页面，具体为：输入要采集的网站url、采集的主题、以及采集的数量，使用广度优先遍历策略遍历出所有与起始页面相关联的url，建立新的url列表，并判断新列表相较于之前列表有无新增的url，如果有，则针对于新的url列表进行页面源码的获取与解析，直到不再新增url为止；

其中，广度优先遍历策略为：从某个顶级url V出发，访问该url所链接页面上的所有超链接V1，V2..VN；再从链接的url V1，V2...VN出发，再访问他们各自的所有的超链接；重复上述步骤，直到所有的超链接都被访问。