[发明专利]数据采集方法、装置和系统有效
申请号: | 201710566404.0 | 申请日: | 2017-07-12 |
公开(公告)号: | CN107402869B | 公开(公告)日: | 2021-01-01 |
发明(设计)人: | 王占 | 申请(专利权)人: | 东软集团股份有限公司 |
主分类号: | G06F11/30 | 分类号: | G06F11/30 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 张润 |
地址: | 110179 辽*** | 国省代码: | 辽宁;21 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 采集 方法 装置 系统 | ||
1.一种数据采集方法,其特征在于,包括以下步骤:
获取到访问请求时,采集应用程序的监控数据;所述访问请求是在用户访问应用程序时,所述应用程序生成的;
在所述应用程序对所述访问请求结束响应后,停止所述监控数据的采集,并根据所述监控数据的数据类型,在所述监控数据的指标名中添加对应的后缀;所述后缀,用于将所述监控数据存储时所需采用的数据类型,指示给数据采集器;
根据所述监控数据采用的编程语言,为所述监控数据添加与所述编程语言对应的语言标签,以得到推送数据;所述语言标签用于将所述监控数据的数据格式,指示给所述数据采集器,以使所述数据采集器根据所述语言标签进行数据格式转换;
向所述数据采集器推送所述推送数据;其中,所述数据采集器独立于所述应用程序。
2.根据权利要求1所述的数据采集方法,其特征在于,所述停止所述监控数据的采集之后,还包括:
根据所述监控数据的数据类别,为所述监控数据添加与所述数据类别对应的类别标记;所述类别标记,用于将所述监控数据所需进行的处理流程,指示给所述数据采集器。
3.根据权利要求1或2所述的数据采集方法,其特征在于,所述向所述数据采集器推送所述推送数据,包括:
采用预设传输协议,对所述推送数据进行协议处理;
采用预设的传输方式,将协议处理后的推送数据推送至所述数据采集器。
4.一种数据采集方法,其特征在于,包括以下步骤:
接收探针所推送的推送数据;所述推送数据包括应用程序的监控数据,以及所述监控数据的语言标签;其中,所述探针设置于所述应用程序中;
根据所述监控数据的语言标签,查询所述语言标签对应的数据格式;
根据查询到数据格式,将所述监控数据转换为目标格式;
读取所述监控数据的指标名的后缀;
根据所述后缀,查询配置文件,以确定所述监控数据存储时所需采用的数据类型;
根据确定出的数据类型,对所述监控数据进行数据类型转换。
5.根据权利要求4所述的数据采集方法,其特征在于,所述推送数据还包括所述监控数据的类别标记,所述接收探针所推送的推送数据之后,还包括:
读取所述监控数据的类别标记;
根据所述类别标记,采用对应的处理流程对所述监控数据进行处理。
6.根据权利要求5所述的数据采集方法,其特征在于,所述类别标记包括指标数据、事务数据和异常信息数据中的至少一个;
所述指标数据对应的处理流程包括:对所述监控数据进行缓存;对预设时段内缓存的监控数据进行统计,以得到统计值,其中,所述统计值包括平均值和/或方差;
所述事务数据对应的处理流程包括:对所述监控数据进行扩展和/或添加时间戳;
所述异常信息数据对应的处理流程包括:对所述监控数据进行清洗、压缩和/或添加时间戳。
7.一种数据采集系统,其特征在于,所述系统,包括:
探针,用于执行如权利要求1-3任一项所述的数据采集方法;
数据采集器,用于执行如权利要求4-6任一项所述的数据采集方法。
8.一种数据采集装置,其特征在于,包括:
采集模块,用于获取到访问请求时,采集应用程序的监控数据;所述访问请求是在用户访问应用程序时,所述应用程序生成的;在所述应用程序对所述访问请求结束响应后,停止所述监控数据的采集;
贴标模块,用于根据所述监控数据采用的编程语言,为所述监控数据添加与所述编程语言对应的语言标签,以得到推送数据;所述语言标签用于将所述监控数据的数据格式,指示给数据采集器,以使所述数据采集器根据所述语言标签进行数据格式转换;
推送模块,用于向所述数据采集器推送所述推送数据;其中,所述数据采集器独立于所述应用程序。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东软集团股份有限公司,未经东软集团股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710566404.0/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置