[发明专利]一种防数据爬取的拦截方法在审
申请号: | 202210833651.3 | 申请日: | 2022-07-14 |
公开(公告)号: | CN115473665A | 公开(公告)日: | 2022-12-13 |
发明(设计)人: | 管晓忠;李引 | 申请(专利权)人: | 苏州阿基米德网络科技有限公司 |
主分类号: | H04L9/40 | 分类号: | H04L9/40;H04L67/02 |
代理公司: | 天津英扬昊睿专利代理事务所(普通合伙) 12227 | 代理人: | 张静 |
地址: | 215000 江苏省苏州市苏州工业园*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 拦截 方法 | ||
本发明提出一种防数据爬取的拦截方法,HTML屏蔽F12、右键、开发者工具、审查元素,防止被查看具体代码实现过程,被人识破,进行对网站数据的爬取,其特征在于进行了api接口参数及返回结果进行加密。其具体方法为:步骤一、先创建一个基于Vue2.0框架的前端项目,创建一个基于springboot后端项目,前端创建api请求拦截、后端项目加入请求拦截;本发明HTML屏蔽F12、右键、开发者工具、审查元素,防止被查看具体代码实现过程,被人识破,进行对网站数据的爬取,其特征在于进行了api接口参数及返回结果进行加密,可以防止各种黑客人员能够使用各种工具清晰读取前端代码。
技术领域
本发明涉及信息安全技术领域,尤其涉及一种防数据爬取的拦截方法。
背景技术
数据正在迅速膨胀并变大,它决定着企业的未来发展,虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患,但是随着时间的推移,人们将越来越多的意识到数据对企业的重要性,为了防止数据被别人不正当的获取或利用各种技术进行爬取,针对以上问题我们需要对数据进行保护,防止数据被人爬取。
现有技术通常是通过传入数据报文内的cookies(网站数据),referer(网站数据),sessions(网站数据),以及探测IP(网络之间互连的协议)端口开放性来确认对方的爬虫属性,但是这种方法不能防止抓包工具抓取我们前端页面请求后端服务的api接口,容易造成数据被爬取。
发明内容
根据以上技术问题,本发明提出一种防数据爬取的拦截方法,HTML屏蔽F12、右键、开发者工具、审查元素,防止被查看具体代码实现过程,被人识破,进行对网站数据的爬取,其特征在于进行了api接口参数及返回结果进行加密。
其具体方法为:
步骤一、先创建一个基于Vue2.0框架的前端项目,创建一个基于springboot后端项目,前端创建api请求拦截、后端项目加入请求拦截;
步骤二、所有代码都配置完成,然后启动后端代码,启动前端代码,用浏览器打开网页,点右击页面没有弹出contextmenu,按F12页面跳转到定义好的网页;
步骤三、识别利用各种工具进行数据的爬取,利用Fiddler抓包工具抓取api请求;
所述步骤一具体为使用对称加密DES或者非对称加密RSA,前端请求时拦截api进行参数和请求体进行加密,后端接收到请求时进行对参数和请求体进行解密,再返回结果数据时,后端进行加密,前端接收到结果时,进行解密;使中间过程中达到无法阅读的目的。
前端代码使用webpack-obfuscator通过增加随机废代码段、字符编码转义等方法可以使构建代码完全混淆,达到无法恢复源码甚至无法阅读的目的。
只允许后端设置白名单下的域名可以访问。
检测http请求中Referer头信息,在网页正常请求过程中,都会携带Referer字段,如果发现没有该字段或者域名不是白名单下,说明该请求属于伪造请求,禁止该请求访问。
识别利用各种工具进行数据的爬取;Postman工具的识别,在header中发现user-agent:PostmanRuntume/xxxx或者postman-token:xxxx表明使用该工具进行请求,就可以禁止该请求访问。
Selenium工具的识别:selenium在运行的时候会暴露出一些预定义的Javascript变量(特征字符串),例如window.navigator.webdriver,在非Selenium环境下其值为undefined,而在selenium环境下,其值为true window.navigator.webdriver=True
除此之外,还有一些其它的标志性字符串,不同浏览器可能会有所不同;如webdriver
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州阿基米德网络科技有限公司,未经苏州阿基米德网络科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210833651.3/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置