[发明专利]用于上报数据的方法和装置有效
申请号: | 201910998716.8 | 申请日: | 2019-10-21 |
公开(公告)号: | CN110737655B | 公开(公告)日: | 2021-07-30 |
发明(设计)人: | 白少伟;姚尧;林枫 | 申请(专利权)人: | 京东数字科技控股有限公司 |
主分类号: | G06F16/215 | 分类号: | G06F16/215;G06F16/23;H04L29/08 |
代理公司: | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人: | 王达佐;马晓亚 |
地址: | 100176 北京市大兴区经济*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 上报 数据 方法 装置 | ||
本公开的实施例公开了用于上报数据的方法和装置。该方法的一具体实施方式包括:从预设的数据消息集合中拉取数据消息作为目标数据消息,其中,该预设的数据消息集合用于存储至少一个客户端上报的数据消息,数据消息中包括待上报的数据和数据采集时间;对该目标数据消息进行前置校验,生成前置校验结果;响应于确定该前置校验结果指示前置校验通过,根据该目标数据消息中的数据采集时间对该目标数据消息中的待上报数据进行数据重复性校验,生成数据重复性校验结果;响应于确定该数据重复性校验结果指示该目标数据消息与预设数据库中对应的数据消息不一致,将该目标数据消息存入该预设数据库。该实施方式提升了数据上报的效率,节约了网络资源。
技术领域
本公开的实施例涉及计算机技术领域,具体涉及用于上报数据的方法和装置。
背景技术
随着云计算技术的发展,IaaS(Infrastructure as a Service,基础设施即服务)系统也取得了越来越多的应用。在IaaS系统中,计算资源各项属性数据的准确性和时效性作为评价资源管理系统性能的重要指标,往往需要一个验证机制或更新机制对IAAS系统中计算资源各项属性的记录是否准确、是否与实际情况一致进行校验或更新。在这一背景下,上报机制应运而生。上报是一种利用计算资源本身agent(代理)对自身的资源属性进行采集、抓取、分析,最后通知IAAS系统服务端的过程。上报的目的是对计算资源的属性进行及时校验和更新,保证IAAS系统数据的准确性。
相关的方式通常有三种:其一是通过服务端向所管理的客户端发送拉取命令,触发客户端agent的信息采集程序执行,然后把采集到的信息原路返回给服务端;其二是采用的是客户端agent定时主动向一个消费队列(queue)里上报自身的信息,由服务端从上述队列中拉取信息进行消费;其三是以客户端定时上报为主、服务端拉取为辅的结合式上报方式。
发明内容
本公开的实施例提出了用于上报数据的方法和装置。
第一方面,本公开的实施例提供了一种用于上报数据的方法,该方法包括:从预设的数据消息集合中拉取数据消息作为目标数据消息,其中,预设的数据消息集合用于存储至少一个客户端上报的数据消息,数据消息中包括待上报的数据和数据采集时间;对目标数据消息进行前置校验,生成前置校验结果;响应于确定前置校验结果指示前置校验通过,根据目标数据消息中的数据采集时间对目标数据消息中的待上报数据进行数据重复性校验,生成数据重复性校验结果;响应于确定数据重复性校验结果指示目标数据消息与预设数据库中对应的数据消息不一致,将目标数据消息存入预设数据库。
在一些实施例中,上述对目标数据消息进行前置校验,生成前置校验结果,包括:将目标数据消息中的待上报的数据的格式与预设上报数据格式进行匹配,生成格式匹配结果;根据格式匹配结果生成前置校验结果。
在一些实施例中,上述数据消息集合中的数据消息中还包括数据来源端的标识;以及上述对目标数据消息进行前置校验,生成前置校验结果,包括:根据预设的数据来源端校验规则,对目标数据消息中的数据来源端的标识进行校验,生成来源端校验结果;基于来源端校验结果,生成前置校验结果。
在一些实施例中,上述基于来源端校验结果,生成前置校验结果,包括:响应于确定来源端校验结果指示校验通过,从预设数据库中获取与目标数据消息中的数据来源端的标识匹配的、数据采集时间距当前时间最近的数据消息作为匹配数据消息;响应于确定匹配数据消息中的数据采集时间早于目标数据消息中的数据采集时间,生成指示前置校验通过的前置校验结果。
在一些实施例中,该方法还包括:从至少一个客户端中选取目标客户端;向目标客户端发送表征获取上报数据的信息;响应于接收到目标客户端上报的数据消息,将目标客户端上报的数据消息存入预设的数据消息集合。
在一些实施例中,上述从至少一个客户端中选取目标客户端,包括:从至少一个客户端中选取上报数据的时间间隔大于预设时间间隔的客户端作为目标客户端。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于京东数字科技控股有限公司,未经京东数字科技控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910998716.8/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置