[发明专利]基于爬虫系统的前后端错误处理方法、服务器及存储介质有效
申请号: | 201810003918.X | 申请日: | 2018-01-03 |
公开(公告)号: | CN108170551B | 公开(公告)日: | 2021-06-22 |
发明(设计)人: | 刘芳 | 申请(专利权)人: | 深圳壹账通智能科技有限公司 |
主分类号: | G06F11/07 | 分类号: | G06F11/07 |
代理公司: | 深圳市沃德知识产权代理事务所(普通合伙) 44347 | 代理人: | 高杰;陈立艺 |
地址: | 518000 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 爬虫 系统 后端 错误 处理 方法 服务器 存储 介质 | ||
本发明公开了一种基于爬虫系统的前后端错误处理方法,所述方法包括:建立错误信息与错误码的对应关系表;判断所述爬虫系统是否爬取前端系统失败;当所述爬虫系统爬取所述前端系统失败时,则接收所述前端系统发送的错误信息;及根据接收的所述错误信息和所述错误信息与错误码的对应关系反馈错误码给所述爬取系统。本发明还提供一种服务器及计算机可读存储介质。本发明提供的基于爬虫系统的前后端错误处理方法、服务器及存储介质,可以在爬虫系统爬取的过程中,在出现错误的时候,直接反馈错误码,然后根据错误码分析错误类型,减少开发去定位分析问题,不同的错误直接分给不同的负责人。
技术领域
本发明涉及计算机域,尤其涉及一种基于爬虫系统的前后端错误处理方法、服务器及计算机可读存储介质。
背景技术
目前的爬虫服务产品,如果前后端出现问题,服务端所反馈的信息一般都是前端爬取失败,工作人员很难根据前端爬取失败的信息准确界定到底是前端问题还是服务端问题。而为了解决此类问题,现有的做法是主动的去询问服务端查询定位问题,如果是前端问题则由前端开发项目人员解决;如果是后端问题,再由后端开发人员解决。
发明内容
有鉴于此,本发明提出一种基于爬虫系统的前后端错误处理方法、服务器及存储介质,可以在爬虫系统爬取的过程中,在出现错误的时候,不需要先由服务端主动查询定位问题,再分发相应问题至相应人员,而是直接反馈错误码,然后根据错误码分析错误类型,减少开发去定位分析问题,不同的错误直接分给不同的负责人。
首先,为实现上述目的,本发明提出一种服务器,所述服务器包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的基于爬虫系统的前后端错误处理程序,所述基于爬虫系统的前后端错误处理程序被所述处理器执行时,实现如下步骤:
建立错误信息与错误码的对应关系表,其中,所述错误信息包括前端错误信息和后端错误信息,所述错误码包括前端错误码和后端错误码;
判断所述爬虫系统是否爬取前端系统失败;
当所述爬虫系统爬取所述前端系统失败时,则接收所述前端系统发送的错误信息;及
根据接收的所述错误信息和所述错误信息与错误码的对应关系反馈错误码给所述爬虫系统。
可选地,所述建立错误信息与错误码的对应关系表的步骤,包括:
将所述后端错误按错误类型进行分类,对分类后的每一个所述后端错误分配一个后端错误码。
可选地,所述判断所述爬虫系统是否爬取前端系统失败的步骤,包括:
判断后端数据库是否存在数据的调取;
当所述后端数据库存在数据的调取时,则判断所述爬虫系统正在爬取所述前端系统;及
当所述后端数据库不存在数据的调取时,则判断所述爬虫系统爬取所述前端系统失败。
可选地,所述基于爬虫系统的前后端错误处理程序被所述处理器执行时,还实现如下步骤:
在爬虫系统接收反馈后的错误码后,判断错误码的类型;
当所述错误码为前端错误码时,则将所述错误码发送给前端开发人员;及
当所述错误码为后端错误码时,则将所述错误码发送给后端开发人员。
此外,为实现上述目的,本发明还提供一种基于爬虫系统的前后端错误处理方法,该方法应用于服务器,所述方法包括:
建立错误信息与错误码的对应关系表,其中,所述错误信息包括前端错误信息和后端错误信息,所述错误码包括前端错误码和后端错误码;
判断所述爬虫系统是否爬取前端系统失败;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳壹账通智能科技有限公司,未经深圳壹账通智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810003918.X/2.html,转载请声明来源钻瓜专利网。
- 上一篇:异常处理的方法、装置及设备
- 下一篇:一种抓取Dump文件的方法、装置和设备