[发明专利]一种模拟访问网站适配器系统有效
申请号: | 201810114765.6 | 申请日: | 2018-02-06 |
公开(公告)号: | CN108256106B | 公开(公告)日: | 2021-11-02 |
发明(设计)人: | 王欣 | 申请(专利权)人: | 深圳鼎智通讯股份有限公司 |
主分类号: | G06F16/955 | 分类号: | G06F16/955;H04L29/06;H04L29/08 |
代理公司: | 深圳市神州联合知识产权代理事务所(普通合伙) 44324 | 代理人: | 周松强 |
地址: | 518000 广东省深圳市南山区粤*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种模拟访问网站适配器系统,该模拟访问网站适配器系统整体功能架构包含自动登录模块、抓取指定页面模块、页面解析模块、数据提取模块、DB存取模块;其中,自动登录模块通过模拟HTTP请求过程,提取出请求HTTP过程报文中的相关信息,将这些参数填入到模拟过程中,实现自动登录;抓取指定页面模块抓取指定页面,抓取指定页面模块将页面数据组织起来后,进行模拟HTTP请求的请求过程;页面抓取后,抓取到指定页面存储为HTML文件,对这些HTML文件中的标签进行解析,提取中这些标签中数据;解析完之后在数据提取模块中进行相关处理,获取到指定信息,存储到DB存取模块中,进行相关序列化的操作,以便于后续随时获取。 | ||
搜索关键词: | 一种 模拟 访问 网站 适配器 系统 | ||
【主权项】:
1.一种模拟访问网站适配器系统,其特征在于该模拟访问网站适配器系统整体功能架构包含以下5个模块:自动登录模块、抓取指定页面模块、页面解析模块、数据提取模块、DB存取模块;其中,自动登录模块通过模拟HTTP请求过程,提取出请求HTTP过程报文中的相关信息,将这些参数填入到模拟过程中,实现自动登录;登录成功后,抓取指定页面模块抓取指定页面,抓取指定页面模块将页面数据组织起来后,将这些数据封装起来,进行模拟HTTP请求的请求过程,得到响应后,进行下一步处理;完成了页面抓取后,抓取到指定页面存储为HTML文件,页面解析模块和数据提取模块就是对HTML文件中的标签进行解析,提取中这些标签中数据;解析完之后在数据提取模块中进行相关处理,获取到指定信息,存储到DB存取模块中,进行相关序列化的操作,以便于后续随时获取。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳鼎智通讯股份有限公司,未经深圳鼎智通讯股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201810114765.6/,转载请声明来源钻瓜专利网。