[发明专利]数据采集方法及系统在审
| 申请号： | 201910916537.5 | 申请日： | 2019-09-26 |
| 公开（公告）号： | CN110688383A | 公开（公告）日： | 2020-01-14 |
| 发明（设计）人： | 钟华剑;康伟;王鹏晴;陈世强;李晓东;徐雅光;刘利刚;刘宪伟;张广斌;刘子成 | 申请（专利权）人： | 中国银行股份有限公司 |
| 主分类号： | G06F16/22 | 分类号： | G06F16/22;G06F16/25;G06F16/28 |
| 代理公司： | 11227 北京集佳知识产权代理有限公司 | 代理人： | 陈志海 |
| 地址： | 100818 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种数据采集方法及系统，通过采集目标软件的行为数据，调用J2SE服务，根据包括行为数据的数据类型、Topic类和数据存储路径的对应关系的预设配置表将行为数据写入Kafka系统，通过流式计算从Kafka系统中抽取行为数据，并进行储存。本发明在采集新数据类型的行为数据时，将配置预设配置表中行为数据的数据类型相应修改成目标软件的行为数据所属数据类型，并配置好目标软件的行为数据所属数据类型相对应的Topic类及数据存储路径的对应关系，即可实现对目标软件的行为数据的采集，不再需要开发数据接口和修改程序代码，大幅缩短数据采集周期。 | ||
| 搜索关键词： | 行为数据 目标软件 数据存储路径 数据类型 所属数据 配置表 预设 数据采集周期 采集 采集目标 程序代码 数据采集 数据接口 新数据 流式 配置 调用 抽取 写入 储存 开发 服务 | ||
【主权项】：
1.一种数据采集方法，其特征在于，包括：/n采集目标软件的行为数据；/n调用J2SE服务，根据包括行为数据的数据类型、Topic类和数据存储路径的对应关系的预设配置表，按照行为数据的数据类型与Topic类的对应关系，将所述目标软件的行为数据写入Kafka系统；其中，相同类型的行为数据写入Kafka系统中的同一个Topic类中；/n根据预设配置表中Topic类与数据存储路径的对应关系，通过流式计算从Kafka系统中抽取属于同一Topic类的行为数据，并根据所述数据存储路径对属于同一Topic类的行为数据进行储存。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国银行股份有限公司，未经中国银行股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910916537.5/，转载请声明来源钻瓜专利网。
- 上一篇：数据存储查询方法、装置、计算机设备及存储介质
- 下一篇：一种石斛生长溯源系统
