[发明专利]数据处理方法及相关装置在审
申请号: | 202111500416.6 | 申请日: | 2021-12-09 |
公开(公告)号: | CN114185942A | 公开(公告)日: | 2022-03-15 |
发明(设计)人: | 陈建宏;王祥;刘骏佳;李振钦 | 申请(专利权)人: | 杭州逗酷软件科技有限公司 |
主分类号: | G06F16/2455 | 分类号: | G06F16/2455;G06F16/2458;G06F16/27;G06F9/54 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 熊永强 |
地址: | 311100 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 相关 装置 | ||
1.一种数据处理方法,其特征在于,应用于数据处理系统中的第一数据处理服务器,所述数据处理系统包括所述第一数据处理服务器和第一数据存储服务器,所述方法包括:
获取目标埋点数据流;
对所述目标埋点数据流进行处理,得到与所述目标埋点数据流对应的目标明细数据;
按照预设时间窗口对所述目标明细数据进行聚合处理,得到目标聚合数据;
向第一数据存储服务器发送所述目标明细数据和所述目标聚合数据。
2.根据权利要求1所述的方法,其特征在于,所述数据处理系统还包括第一消息队列模块,所述第一数据处理服务器包括数据采集SDK模块、实时数仓模块,所述获取目标埋点数据流,包括:
通过所述数据采集SDK模块采集业务埋点数据流;
通过所述数据采集SDK模块向所述第一消息队列模块发送所述业务埋点数据流;
通过实时数仓模块从所述第一消息队列模块获取所述目标埋点数据流,所述业务埋点数据流包括所述目标埋点数据流;
所述对所述目标埋点数据流进行处理,得到与所述目标埋点数据流对应的目标明细数据,包括:
通过所述实时数仓模块对所述目标埋点数据流进行处理,得到与所述目标埋点数据流对应的目标明细数据;
所述按照预设时间窗口对所述目标明细数据进行聚合处理,得到目标聚合数据,包括:
通过所述实时数仓模块按照预设时间窗口对所述目标明细数据进行聚合处理,得到目标聚合数据。
3.根据权利要求2所述的方法,其特征在于,所述第一数据处理服务器还包括统计数据存储服务模块,所述向第一数据存储服务器发送所述目标明细数据和所述目标聚合数据,包括:
通过所述统计数据存储服务模块从所述第一消息队列模块获取并向所述第一数据存储服务器发送所述目标明细数据和所述目标聚合数据。
4.根据权利要求2所述的方法,其特征在于,所述数据处理系统还包括第二数据处理服务器和第二消息队列模块,所述第一数据处理服务器还包括统计数据同步服务模块,所述方法还包括:
通过所述统计数据同步服务模块从所述第二消息队列模块获取第一聚合数据,所述第一聚合数据是所述第二数据处理服务器发送给所述第二消息队列模块的;
通过所述统计数据同步服务模块向所述第一数据存储服务器发送所述第一聚合数据。
5.根据权利要求2所述的方法,其特征在于,所述第一数据处理服务器还包括业务服务模块、统计数据采集接入服务模块和业务元数据查询服务模块,所述通过所述数据采集SDK模块采集业务埋点数据流,包括:
通过所述业务服务模块向所述数据采集SDK模块发送数据上报请求;
通过所述数据采集SDK模块在接收到所述数据上报请求时,向所述统计数据采集接入服务模块发送业务配置请求;
通过所述统计数据采集接入服务模块在接收到所述业务配置请求时,从所述业务元数据查询服务模块获取并向所述数据采集SDK模块发送业务配置信息,所述业务配置信息包括消息队列配置信息,所述消息队列配置信息用于指示所述数据上报请求对应的第一业务对应的所述第一消息队列模块;
通过所述数据采集SDK模块采集并向所述第一消息队列模块发送所述业务埋点数据流。
6.根据权利要求5所述的方法,其特征在于,所述业务配置信息还包括在线配置信息,所述在线配置信息用于指示所述数据上报请求对应的第一业务是否在线,所述通过所述数据采集SDK模块采集并向所述第一消息队列模块发送所述业务埋点数据流,包括:
通过所述数据采集SDK模块在所述第一业务在线时,采集并向所述第一消息队列模块发送所述业务埋点数据流。
7.根据权利要求5所述的方法,其特征在于,所述业务配置信息还包括签名信息,所述签名信息用于校验所述数据上报请求是否可信,所述通过所述数据采集SDK模块采集并向所述第一消息队列模块发送所述业务埋点数据流,包括:
通过所述数据采集SDK模块在所述数据上报请求可信时,采集并向所述第一消息队列模块发送所述业务埋点数据流。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州逗酷软件科技有限公司,未经杭州逗酷软件科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111500416.6/1.html,转载请声明来源钻瓜专利网。