[发明专利]一种主题网络爬虫方法、电子设备、存储介质、系统

权利要求书

1.一种主题网络爬虫方法，其特征在于包括以下步骤：

初始化主题爬虫，获取主题爬虫的起始URL，将所述起始URL加载入种子任务队列；

文档内容爬取，所述主题爬虫从任务队列中依次获取所述起始URL进行爬取，将所述起始URL对应的网络文档下载至本地；

未爬取URL收集，获取所述网络文档的URL，当所述网络文档的URL未爬取时，将未爬取的URL加入所述种子任务队列；

文本分类，对所述网络文档进行主题相关性分类，获得主题相关文本；

文本存储，将所述主题相关文本结构化存储至数据仓库；

所述步骤文本分类包括以下步骤：

文档预处理，对所述网络文档进行分词和去除停用词处理；

文本数据转换，采用word2vec的CBOW模型将分词后的文本数据转换为词向量；

词向量降维，采用PCA主成分分析算法对所述词向量进行降维，获得降维词向量；

文本分类，采用LSTM模型对所述降维词向量进行分类，获得所述分类结果。

2.如权利要求1所述的一种主题网络爬虫方法，其特征在于：所述步骤文档预处理具体为采用正向最大匹配算法和CRF分词算法对所述网络文档进行分词。

3.一种电子设备，其特征在于包括：处理器；

存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行权利要求1-2任意一项所述的方法。

4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行如权利要求1-2任意一项所述的方法。

5.一种主题网络爬虫系统，其特征在于：包括初始化模块、文档爬取模块、文本分类模块、文本存储模块，所述初始化模块获取主题爬虫的起始URL，将所述起始URL加载入种子任务队列，并维护所述种子任务队列的爬取顺序；所述文档爬取模块从任务队列中依次获取所述起始URL进行爬取，将所述起始URL对应的网络文档下载至本地，所述文本分类模块对所述网络文档进行主题相关性分类，获得主题相关文本，所述文本存储模块将所述主题相关文本结构化存储至数据仓库；还包括未爬取URL收集模块，所述未爬取URL收集模块获取所述网络文档的URL，将未爬取的URL加入所述种子任务队列；

所述文本分类模块还包括文档预处理模块、文本数据转换模块、词向量降维模块，所述文档预处理模块对所述网络文档进行分词和去除停用词处理；所述文本数据转换模块采用word2vec的CBOW模型将分词后的文本数据转换为词向量；所述词向量降维模块采用PCA主成分分析算法对所述词向量进行降维，获得降维词向量；所述文本分类模块采用LSTM模型对所述降维词向量进行分类，获得所述分类结果。

6.如权利要求5所述的一种主题网络爬虫系统，其特征在于：所述文档预处理模块采用正向最大匹配算法和CRF分词算法对所述网络文档进行分词。