[发明专利]一种数据提取方法、装置及设备在审
申请号: | 201910796259.4 | 申请日: | 2019-08-27 |
公开(公告)号: | CN110502591A | 公开(公告)日: | 2019-11-26 |
发明(设计)人: | 刘少伟;高元胜;徐嘉亮;董畅;徐唐;沈仁奎;邓鑫鑫 | 申请(专利权)人: | 北京思维造物信息科技股份有限公司 |
主分类号: | G06F16/28 | 分类号: | G06F16/28;G06F9/54 |
代理公司: | 11623 北京晋德允升知识产权代理有限公司 | 代理人: | 王戈<国际申请>=<国际公布>=<进入国 |
地址: | 100000 北京市朝阳*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 订阅消息 提取数据 消息中间件 集合 标识集合 目标消息 数据提取 流数据处理 装置及设备 标记目标 时间段 引擎 数据库 存储 发布 | ||
本说明书实施例公开了一种数据提取方法、装置及设备。该数据提取方案包括:流数据处理引擎获取待提取数据标识集合,所述待提取数据标识集合中的待提取数据标识用于标记目标消息;从消息中间件处获取订阅消息集合,所述订阅消息集合中的订阅消息是所述消息中间件在指定时间段内发布的;将所述订阅消息集合中与所述待提取数据标识对应的消息,确定为目标消息;将确定出的目标消息存储至数据库。
本申请涉及计算机数据处理技术领域,尤其涉及一种数据提取方法、装置及设备。
背景技术
随着信息技术的发展,数据库被广泛应用于对电子数据进行存储、处理的过程中。数据库可以对企业运行过程中所涉及的各种业务数据进行汇总,以便于后续的使用。目前,当企业工作人员需要使用指定数据时,需从数据库中进行数据提取。由于数据库中存储有海量数据,因此,从数据库中提取指定数据时,需对大量数据进行筛选,耗时较长,数据提取效率较低。
发明内容
有鉴于此,本申请实施例提供了一种数据提取方法、装置及设备,用于解决需要提供效率更高的数据提取方法的问题。
为解决上述技术问题,本说明书实施例是这样实现的:
本说明书实施例提供的一种数据提取方法,包括:
流数据处理引擎获取待提取数据标识集合,所述待提取数据标识集合中的待提取数据标识用于标记目标消息;
从消息中间件处获取订阅消息集合,所述订阅消息集合中的订阅消息是所述消息中间件在指定时间段内发布的;
将所述订阅消息集合中与所述待提取数据标识对应的消息,确定为目标消息;
将确定出的目标消息存储至数据库。
本说明书实施例提供的一种埋点验证方法,包括:
获取待验证埋点数据集合,所述待验证埋点数据集合中的埋点数据是终端设备中搭载的目标应用客户端基于最新埋点配置文件设置的埋点被触发后生成的,所述待验证埋点数据集合中的埋点数据是基于上述数据提取方法提取出的;
根据所述最新埋点配置文件,对所述待验证埋点数据集合中的埋点数据进行埋点验证,得到埋点验证结果。
本说明书实施例提供的一种数据提取装置,包括:
第一获取模块,用于基于流数据处理引擎获取待提取数据标识集合,所述待提取数据标识集合中的待提取数据标识用于标记目标消息;
第二获取模块,用于从消息中间件处获取订阅消息集合,所述订阅消息集合中的订阅消息是所述消息中间件在指定时间段内发布的;
确定模块,用于将所述订阅消息集合中与所述待提取数据标识对应的消息,确定为目标消息;
存储模块,用于将确定出的目标消息存储至数据库。
本说明书实施例提供的一种埋点验证装置,包括:
获取模块,用于获取待验证埋点数据集合,所述待验证埋点数据集合中的埋点数据是终端设备中搭载的目标应用客户端基于最新埋点配置文件设置的埋点被触发后生成的,所述待验证埋点数据集合中的埋点数据是基于上述的数据提取方法提取出的;
验证模块,用于根据所述最新埋点配置文件,对所述待验证埋点数据集合中的埋点数据进行埋点验证,得到埋点验证结果。
本说明书实施例提供的一种数据提取设备,包括:
至少一个处理器;所述处理器中包含流数据处理引擎;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京思维造物信息科技股份有限公司,未经北京思维造物信息科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910796259.4/2.html,转载请声明来源钻瓜专利网。