[发明专利]数据处理方法、装置、设备和计算机可读存储介质在审
申请号: | 201810338133.8 | 申请日: | 2018-04-16 |
公开(公告)号: | CN110399410A | 公开(公告)日: | 2019-11-01 |
发明(设计)人: | 何龙;李佩;杨帆 | 申请(专利权)人: | 北京嘀嘀无限科技发展有限公司 |
主分类号: | G06F16/25 | 分类号: | G06F16/25;G06F16/2458;G06F16/21 |
代理公司: | 北京友联知识产权代理事务所(普通合伙) 11343 | 代理人: | 尚志峰;汪海屏 |
地址: | 100193 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分析数据 数据处理 计算机可读存储介质 计算平台 节点创建 配置信息 指标数据 触发 加载 响应 | ||
1.一种数据处理方法,其特征在于,包括:
响应于待分析数据的配置信息,触发计算平台的对应节点创建计算任务;
将所述待分析数据实时加载至所述计算任务,以获取所述待分析数据的指标数据。
2.根据权利要求1所述的数据处理方法,其特征在于,在响应于待分析数据的配置信息前,还包括:
根据所述待分析数据的属性信息确定所述配置信息,
其中,所述属性信息包括所述待分析数据的时间信息、指标信息和数据源信息中的至少一种,所述指标数据为所述指标信息中的数据内容。
3.根据权利要求2所述的数据处理方法,其特征在于,在响应于待分析数据的配置信息前,还包括:
在所述待分析数据生成过程中,将所述待分析数据按照预设参数类型填充至预设分析表;
在所述预设分析表完成填充后,调取所述待分析数据的配置文件。
4.根据权利要求3所述的数据处理方法,其特征在于,将所述待分析数据实时加载至所述计算任务,以获取所述待分析数据的指标数据,具体包括:
将所述待分析数据以所述预设分析表的形式加载至所述计算任务;
触发所述计算平台的对应节点计算所述待分析数据对应的指标数据。
5.根据权利要求2所述的数据处理方法,其特征在于,将所述待分析数据实时加载至所述计算任务,以获取所述待分析数据的指标数据,具体还包括:
在生成多组所述待分析数据时,判断任两组所述待分析数据的特定属性信息对应的属性数据是否匹配;
在判定任两组所述待分析数据的特定属性信息对应的属性数据匹配时,将匹配的两组所述待分析数据进行合并处理;
将合并的多组所述待分析数据加载至所述计算任务,以获取合并的多组所述待分析数据的指标数据。
6.根据权利要求1至5中任一项所述的数据处理方法,其特征在于,还包括:
统计所述计算平台的全部节点的计算负载;
根据所述计算负载调整所述计算平台的并发数,所述并发数为同一时段内允许加载计算任务的节点的个数。
7.根据权利要求1至5中任一项数据处理方法,其特征在于,还包括:
在获取所述待分析数据的指标数据后,对应存储所述指标数据与所述待分析数据。
8.根据权利要求1至5中任一项数据处理方法,其特征在于,还包括:
在获取所述待分析数据的指标数据后,按照预设显示信息生成包括所述指标数据的展示图表;
推送所述指标数据的展示图表至客户端。
9.一种数据处理装置,其特征在于,包括:
创建单元,用于响应于待分析数据的配置信息,触发计算平台的对应节点创建计算任务;
获取单元,用于将所述待分析数据实时加载至所述计算任务,以获取所述待分析数据的指标数据。
10.根据权利要求9所述的数据处理装置,其特征在于,还包括:
确定单元,用于根据所述待分析数据的属性信息确定所述配置信息,
其中,所述属性信息包括所述待分析数据的时间信息、指标信息和数据源信息中的至少一种,所述指标数据为所述指标信息中的数据内容。
11.根据权利要求10所述的数据处理装置,其特征在于,还包括:
填充单元,用于在所述待分析数据生成过程中,将所述待分析数据按照预设参数类型填充至预设分析表;
调取单元,用于在所述预设分析表完成填充后,调取所述待分析数据的配置文件。
12.根据权利要求11所述的数据处理装置,其特征在于,
所述填充单元还用于:将所述待分析数据以所述预设分析表的形式加载至所述计算任务;
所述数据处理装置还包括:
触发单元,用于触发所述计算平台的对应节点计算所述待分析数据对应的指标数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京嘀嘀无限科技发展有限公司,未经北京嘀嘀无限科技发展有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810338133.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:交易异常监测方法及装置
- 下一篇:测量数据系统及其监控方法