[发明专利]一种基于互联网的信息定向抓取方法及系统

说明书

本发明适用于互联网技术领域，提供了一种基于互联网的信息定向抓取方法，所述方法包括：设置目标网站的抓取配置信息；根据所述抓取配置信息，从目标网站内抓取文本数据；所述文本数据包括文档数据、word数据、excell数据和/或PDF数据；对抓取的文本数据进行整合和筛选，剔除无用的第一文本数据，保留具有用途的第二文本数据，并将保留的第二文本数据作为原始文本数据；对原始文本数据进行编译转换，转换成主机服务器可识别的原始文本数据，并将编译转换后的原始文本数据存储至数据库；将数据库内存储的原始文本数据进行逐条发布，能够在海量信息中准确、及时、方便的定向抓取目标信息，并将目标信息进行存储和逐条发布，满足用户信息查询需求。

技术领域

本发明属于互联网技术领域，尤其涉及一种基于互联网的信息定向抓取方法及系统。

背景技术

对目前互联网上的信息搜索的技术，常见的有网络爬行、分词引索、搜索等技术。这些网络搜索信息只是面对互联网海量信息的积累。当我们采用现有搜索技术查询某个特定的确切信息时，用一个关键词即可搜索出来成千上万的链接网页结果。而在这些成千上万的搜索结果中不一定有用户所期望和关注的准确信息，用户也不可能有更多的时间去逐个翻看现有搜索技术所呈现出来的成千上万个网页链接结果。

由此可知，现有的搜索技术和方法已经无法在海量信息中准确、及时、方便的搜索获取目标信息。因此，急需一种基于互联网的信息定向抓取方法定向抓取目标信息，满足用户信息查询需求。

发明内容

本发明实施例提供一种基于互联网的信息定向抓取方法，旨在解决现有的搜索技术和方法已经无法在海量信息中准确、及时、方便的搜索获取目标信息的问题。

本发明实施例是这样实现的，一种基于互联网的信息定向抓取方法，所述方法包括如下步骤：

设置目标网站的抓取配置信息；

根据所述抓取配置信息，从目标网站内抓取文本数据；所述文本数据包括文档数据、word数据、excell数据和/或PDF数据；

对抓取的文本数据进行整合和筛选，剔除无用的第一文本数据，保留具有用途的第二文本数据，并将保留的第二文本数据作为原始文本数据；

对原始文本数据进行编译转换，转换成主机服务器可识别的原始文本数据，并将编译转换后的原始文本数据存储至数据库；

将数据库内存储的原始文本数据进行逐条发布。

优选地，所述对原始文本数据进行编译转换，转换成主机服务器可识别的原始文本数据的步骤包括：

对原始文本数据中的图片信息进行编译转换，转换成主机服务器可识别的图片信息；

对原始文本数据中的文字信息进行编译转换，转换成主机服务器可识别的文字信息；以及

对原始文本数据中的音频信息进行编译转换，转换成主机服务器可识别的音频信息。

优选地，对抓取的文本数据进行整合和筛选，剔除无用的第一文本数据，保留具有用途的第二文本数据，并将保留的第二文本数据作为原始文本数据之后，还包括：

对保留的原始文本数据进行冗余判断，删除数据信息相同的文本数据。

优选地，对原始文本数据进行编译转换，转换成主机服务器可识别的原始文本数据，并将编译转换后的原始文本数据存储至数据库之后，还包括：

对数据库内存储的原始文本数据进行分割，得到分割的原始文本数据集；并通过校验值哈希算法，针对当前原始文本数据集计算其哈希值，并在已备份原始文本数据集中查找是否有相同哈希值的目标原始文本数据集；若在已备份原始文本数据集中查找到有相同哈希值的目标原始文本数据集，则将所述目标原始文本数据集与当前原始文本数据集进行逐字节比较；根据比较结果进行当前原始文本数据集的备份。