[发明专利]网页曝光数据采集方法、系统、电子设备和存储介质在审
申请号: | 201810672066.3 | 申请日: | 2018-06-26 |
公开(公告)号: | CN108846116A | 公开(公告)日: | 2018-11-20 |
发明(设计)人: | 唐琪;曲晓雷;宋昆 | 申请(专利权)人: | 北京京东金融科技控股有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京律智知识产权代理有限公司 11438 | 代理人: | 王卫忠;袁礼君 |
地址: | 100176 北京市北京经济*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 采集 数据采集信息 曝光数据 浏览器 视窗 存储介质 电子设备 网页代码 网页状态 网页 网页访问请求 网页内容解析 动态采集 独立配置 自动识别 监听 遍历 加载 解耦 上报 返回 响应 | ||
本发明提供网页曝光数据采集方法、系统、电子设备和存储介质,其中方法包括:S10、响应网页访问请求,将网页内容解析为DOM树结构;S20、加载网页的数据采集信息,根据所述数据采集信息遍历所述DOM树结构,定位待采集DOM元素;S30、根据各待采集DOM元素与浏览器当前视窗的相对位置,判断各待采集DOM元素是否被显示于浏览器当前视窗;S40、当待采集DOM元素被显示于浏览器当前视窗时,采集并上报被显示的待采集DOM元素的曝光数据;S50、监听网页状态,当网页状态发生变化时,返回步骤S30。本发明将数据采集信息和网页代码分开独立配置,实现网页代码和埋点采集代码解耦;通过数据采集信息自动识别待采集DOM元素,动态采集曝光数据。
技术领域
本发明涉及互联网技术领域,具体地说,涉及一种网页曝光数据采集方法、系统、电子设备和存储介质。
背景技术
随着移动互联网越来越流行,如何合理地规划网页和监听网页变得越来越重要。基于大数据的设计,更适应当前的环境,网页数据的采集要求也变得更细化,更准确。
传统网页监听只统计网页的打开次数。但是网页被打开以后,用户只能看到网页的一部分,网页其余部分是在屏幕之外未被显示的,需要用户滚动浏览器滚动条才能看到。
现阶段的网页监听需要精确统计网页中不同模块被用户真实看到的次数。采用的方法通常是模块开发人员在开发模块的时候,加入埋点的相关代码,来监听浏览器滚动条和模块的状态切换,当用户看到特定模块的时候,触发埋点方法,上报对应的数据。
具体来说,这种埋点方法需要在网页的模块代码中加入两种埋点代码,一是埋点标识代码,用于标识模块;二是埋点统计上报代码,在特定模块被显示的时候,调用埋点统计上报代码,上报数据。
这种埋点方法会占用一部分开发时间,与业务代码耦合。另外,埋点代码一般是数据部门管理,而模块代码则由各业务线的研发人员维护,在跨部门合作中,这些埋点代码管理特别复杂,耗费资源。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
针对现有技术中的问题,本发明提供一种网页曝光数据采集方法、系统、电子设备和存储介质,解决埋点代码与业务代码耦合造成开发时间长,效率低,且维护困难,资源耗费的问题。
根据本发明的一个方面,提供一种网页曝光数据采集方法,包括步骤:S10、响应网页访问请求,将网页内容解析为DOM树结构;S20、加载所述网页的数据采集信息,根据所述数据采集信息遍历所述DOM树结构,定位待采集DOM元素;S30、根据各待采集DOM元素与浏览器当前视窗的相对位置,判断各待采集DOM元素是否被显示于浏览器当前视窗;S40、当所述待采集DOM元素被显示于浏览器当前视窗时,采集并上报被显示的所述待采集DOM元素的曝光数据;S50、监听网页状态,当所述网页状态发生变化时,返回所述步骤S30。
优选地,上述的网页曝光数据采集方法中,所述步骤S50包括:对所述网页的DOM树结构进行监听;当所述DOM树结构中任一DOM元素发生变化时,返回所述步骤S30。
优选地,上述的网页曝光数据采集方法中,所述DOM元素的变化包括:DOM元素增加、DOM元素删除和DOM元素修改。
优选地,上述的网页曝光数据采集方法中,所述步骤S50包括:对所述网页的滚动事件进行监听;当所述网页发生滚动时,返回所述步骤S30。
优选地,上述的网页曝光数据采集方法中,所述步骤S30包括:获取各待采集DOM元素的坐标信息,根据所述待采集DOM元素的坐标信息计算其中心位置;当所述待采集DOM元素的中心位置位于浏览器当前视窗时,判断所述待采集DOM元素被显示于浏览器当前视窗。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东金融科技控股有限公司,未经北京京东金融科技控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810672066.3/2.html,转载请声明来源钻瓜专利网。
- 上一篇:内容传播方法、装置及服务器
- 下一篇:商业快讯的去重筛选方法及装置