[发明专利]埋点实时流数据处理方法、装置、计算机设备和存储介质有效
申请号: | 202110158160.9 | 申请日: | 2021-02-05 |
公开(公告)号: | CN113014623B | 公开(公告)日: | 2022-05-10 |
发明(设计)人: | 杨进波;吕坤原;洪智;李少华;梁万山 | 申请(专利权)人: | 招联消费金融有限公司 |
主分类号: | H04L67/55 | 分类号: | H04L67/55;H04L67/02;G06F16/9535;G06F16/958;G06F9/54 |
代理公司: | 华进联合专利商标代理有限公司 44224 | 代理人: | 杨欢 |
地址: | 518000 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 实时 数据处理 方法 装置 计算机 设备 存储 介质 | ||
1.一种埋点数据处理方法,其特征在于,所述方法包括:
接收通过应用程序采集的多个埋点数据,并根据所述埋点数据确定对应的埋点事件;所述埋点数据表征了用户在应用程序的页面执行的操作行为;
将对应于相同执行目的埋点事件,合并构成对应的关键事件;
获取由不同业务系统上传的多个业务事件,及接口网关上传的多个接口调用事件;所述业务事件包括当触发操作事件时,由相应的业务系统反馈的执行结果信息,所述接口调用事件包括在进行埋点事件采集时对应的接口调用信息;
生成与各个埋点事件对应的埋点码值、与各个关键事件分别对应的关键事件码值、与各个业务事件对应的业务码值、以及与各个接口调用事件对应的接口调用码值;
加载内存中预先写入的订阅应用配置,并基于所述订阅应用配置确定与各订阅方分别对应的目标码值,所述目标码值包括所述埋点码值、所述关键事件码值、所述业务码值和所述接口调用码值中的至少一种;
获取与所述目标码值对应的目标事件,并将所述目标事件推送至相应的订阅方;所述目标事件包括埋点事件、关键事件、业务事件和接口调用事件中的至少一种。
2.根据权利要求1所述的方法,其特征在于,所述埋点数据包括多个字段,所述字段用于记载用户信息、设备信息和会话信息中的至少一种;在将对应于相同执行目的埋点事件,合并构成对应的关键事件之前,所述方法还包括:
从所述多个埋点数据中,筛选出缺少用户信息的多个目标埋点数据;
针对各个目标埋点事件,通过预设的设备标识和/或会话标识进行用户信息的关联补全。
3.根据权利要求1所述的方法,其特征在于,在加载内存中预先写入的订阅应用配置之前,所述方法还包括:
确定所需推送的多个目标事件,所述目标事件包括埋点事件、关键事件、业务事件和接口调用事件中的至少一种;
通过在所述应用程序的页面中,进行目标事件所对应的目标码值的配置;
基于配置好的目标码值、以及相应的配置方信息,生成对应的订阅应用配置,并将所述订阅应用配置写入到内存中。
4.根据权利要求1所述的方法,其特征在于,所述获取接口网关上传的多个接口调用事件,包括:
通过信息采集工具对接口网关输出的多个接口调用事件进行实时采集;所述信息采集工具包括Filebeat工具和Logstash工具中的至少一种。
5.根据权利要求1所述的方法,其特征在于,所述将所述目标事件推送至相应的订阅方,包括:
将对应筛选得到的目标事件发送到指定的消息队列中,由所述消息队列进行目标事件的存储;
当订阅方完成订阅操作后,将所述消息队列中存储的目标事件推送到相应的订阅方。
6.根据权利要求1-5任一所述的方法,其特征在于,各个业务事件均携带有相应的属性字段,在所述将所述目标事件推送至相应的订阅方之前,所述方法还包括:
基于各个业务事件分别对应的属性字段,确定所属不同事件类型且命名方式不同的多个目标属性字段;
按照统一的标识命名方式,对各个目标属性字段进行重命名;
基于重命名后的多个目标属性字段,对相应业务事件携带的属性字段进行更新。
7.根据权利要求1-5任一所述的方法,其特征在于,所述订阅方包括设于应用服务器中的营销应用、风控应用、借款监控应用以及展位数据应用中的至少一种,所述方法还包括:
当相应的订阅方接收到目标事件时,由所述订阅方根据所述目标事件,当确定用户在所述页面中执行了预设的操作行为时,触发相应的业务处理进程;其中,所述业务处理进程包括预设信息推送和访问拦截中的至少一种。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于招联消费金融有限公司,未经招联消费金融有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110158160.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:芯片级真空密封的静电式振镜
- 下一篇:一种用于物流流水线上的包裹自动称重装置