[发明专利]基于网络爬虫的热点词汇提取方法、装置、终端及介质

说明书

本发明提供一种基于网络爬虫的热点词汇提取方法，包括：初始化网址队列，网址队列中存储有至少一个URL，URL包括第一URL和第二URL，启动第一线程从第一URL中爬取的第二URL与网址队列中的URL不同时添加至网址队列的尾部，启动第二线程从网址队列的头部获取URL及URL对应的超文本标记语言文档，第一线程与第二线程并行执行；提取超文本标记语言文档中的文本数据集进行分词处理后统计每个词汇出现的频率；将频率大于预设频率阈值的词汇作为热点词汇。本发明还提供一种基于网络爬虫的热点词汇提取装置、终端及介质。本发明通过一边在网址队列的尾部添加URL一边在网址队列的头部获取URL对应的超文本标记语言文档，防止了资源冲突，提高了热点词汇提取的效率。

技术领域

本发明涉及互联网通信技术领域，具体涉及一种基于网络爬虫的热点词汇提取方法、装置、终端及介质。

背景技术

科研选题就是从战略上选择科学研究的主攻方向，选题要有新颖性、先进性，随着网路技术不断发展，以互联网为载体的电子化文本信息呈爆发式增长，如何从互联网上的海量数据中提取出符合要求的热点词汇作为科研选题己成为一个重要的研究课题。

现有技术在收集突发热点事件或用户参与度高的话题中的关键词时，是通过人工从海量数据中统计词汇后提取至少两个词汇并组成词表，并根据词表中各个词汇的权重选出至少两个词汇作为关键词，进而根据关键词之间的相似度直接对关键词进行话题聚类，获取目标词汇的提取精度低，处理速度慢。

发明内容

鉴于以上内容，有必要提出一种基于网络爬虫的热点词汇提取方法、装置、终端及介质，通过一边在网址队列的尾部添加URL一边在网址队列的头部获取URL对应的超文本标记语言文档，防止了资源冲突，提高了热点词汇提取的效率。

本发明的第一方面提供一种基于网络爬虫的热点词汇提取方法，所述方法包括：

初始化网址队列，所述网址队列中存储有至少一个URL，其中，所述URL包括当前存在的第一URL和第二URL，启动第一线程从所述第一URL中爬取所述第二URL；

判断所述第二URL是否与所述网址队列中的URL相同；

当确定所述第二URL与所述网址队列中的URL不相同时，将所述第二URL添加到所述网址队列的尾部；

启动第二线程从所述网址队列的头部获取URL及所述URL对应的超文本标记语言文档，其中，所述第一线程与所述第二线程并行执行；

提取所述超文本标记语言文档中的文本数据集；

对所述文本数据集进行分词处理，得到目标词汇列表；

统计所述目标词汇列表中每个词汇出现的频率；

将所述频率中大于预设频率阈值的频率对应的词汇确定为热点词汇。

优选的，在将所述频率中大于预设频率阈值的频率对应的词汇确定为热点词汇之后，所述方法还包括：

计算所述热点词汇与预先存储的与目标对象相关的关键词的相似度；

当所述相似度大于预设的相似度阈值时，确定所述热点词汇能作为目标对象；

当所述相似度小于或者等于所述预设的相似度阈值时，确定所述热点词汇不能作为目标对象。

优选的，所述判断所述第二URL是否与所述网址队列中的URL相同包括：

计算每个第二URL的MD5散列值；

将每个MD5散列值与预先存储的散列值进行一一比对；

当所述MD5散列值与预先存储的任意一个MD5散列值相同时，确定所述第二URL与所述网址队列中的URL相同；