[发明专利]网页内容反爬方法及系统

说明书

本发明公开了一种网页内容反爬方法及系统，所述方法包括：服务器接收加密数据获取请求和/或加密后字体文件获取请求，将待加密数据发送到加密服务器，并将加密后字体文件获取请求发送到加密服务器；加密服务器生成新的字体文件、数字和乱码的对应关系，通过对应关系将服务器传过来的待加密数据进行修改，生成加密数据，并通过服务器反馈给浏览器；加密服务器获取新的字体文件的内容，对新的字体文件的内容进行加密，将加密后字体文件通过服务器反馈给浏览器；浏览器在渲染前，将服务器返回的加密数据放在指定位置，将加密后字体文件放到指定标签，在渲染时自动将加密后字体文件转换为真实数据进行显示。

技术领域

本发明涉及计算机技术领域，尤其是涉及一种网页内容反爬方法及系统。

背景技术

网络爬虫(又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索。

在现有技术中，网页爬虫行为特别频繁，对重要数据通过爬虫获取很容易，数据信息得不到有效保护。

发明内容

本发明的目的在于提供一种网页内容反爬方法及系统，旨在解决现有技术中的上述问题。

本发明提供一种网页内容反爬方法，包括：

服务器接收浏览器发送的加密数据获取请求和/或加密后字体文件获取请求，基于加密数据获取请求将待加密数据发送到加密服务器，并将加密后字体文件获取请求发送到加密服务器；

加密服务器响应数据加密的请求，生成新的字体文件、数字和乱码的对应关系，通过对应关系将服务器传过来的待加密数据进行修改，生成加密数据，并通过服务器反馈给浏览器；加密服务器响应加密后字体文件获取请求，获取新的字体文件的内容，对新的字体文件的内容进行加密，将加密后字体文件通过服务器反馈给浏览器；

浏览器在渲染前，将服务器返回的加密数据放在指定位置，将加密后字体文件放到指定标签，在渲染时自动将加密后字体文件转换为真实数据进行显示。

本发明提供一种网页内容反爬系统，包括：

服务器，用于接收浏览器发送的加密数据获取请求和/或加密后字体文件获取请求，基于加密数据获取请求将待加密数据发送到加密服务器，并将加密后字体文件获取请求发送到加密服务器；

加密服务器，用于响应数据加密的请求，生成新的字体文件、数字和乱码的对应关系，通过对应关系将服务器传过来的待加密数据进行修改，生成加密数据，并通过服务器反馈给浏览器；加密服务器响应加密后字体文件获取请求，获取新的字体文件的内容，对新的字体文件的内容进行加密，将加密后字体文件通过服务器反馈给浏览器；

浏览器，用于向服务器发送加密数据获取请求和/或加密后字体文件获取请求，接收反馈的加密数据和加密后字体文件，在渲染前，将服务器返回的加密数据放在指定位置，将加密后字体文件放到指定标签，在渲染时自动将加密后字体文件转换为真实数据进行显示。

采用本发明实施例，能够对敏感信息进行反爬处理，使得爬虫获取到的是无效数据，能够保护重要数据，同时能够避免同行恶意竞争，数据拷贝行为等。