[发明专利]一种实时计算平台的数据处理方法和装置有效
申请号: | 201610514807.6 | 申请日: | 2016-06-30 |
公开(公告)号: | CN106202324B | 公开(公告)日: | 2020-10-30 |
发明(设计)人: | 徐胜国;王义辉;李铮 | 申请(专利权)人: | 北京奇虎科技有限公司;奇智软件(北京)有限公司 |
主分类号: | G06F16/215 | 分类号: | G06F16/215;G06F16/23;G06F16/25 |
代理公司: | 北京恒博知识产权代理有限公司 11528 | 代理人: | 范胜祥 |
地址: | 100088 北京市西城区新*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种实时计算平台的数据处理方法和装置。该方法包括:接收计算任务,读取该计算任务的配置信息;根据配置信息中的数据源信息,确定该计算任务配置的数据源;调度多个接收器从数据源获取待处理数据并保存;根据配置信息中的处理规则,从各接收器中读取待处理数据并进行相应处理。可见,本方案的数据处理流程是依据实时计算平台接收到的计算任务的配置信息而展开的,确定该计算任务配置的数据源,调度多个接收器从数据源获取待处理数据并保存,从各接收器中读取待处理数据并进行处理。依据本方案,相当于利用多个相互独立的进程并行地完成从数据源获取待处理数据并等待处理的过程,有效地提高了实时计算平台的数据吞吐量,满足大数据处理需求。 | ||
搜索关键词: | 一种 实时 计算 平台 数据处理 方法 装置 | ||
【主权项】:
一种实时计算平台的数据处理方法,其中,该方法包括:接收计算任务,读取该计算任务的配置信息;根据所述配置信息中的数据源信息,确定该计算任务配置的数据源;调度多个接收器从所述数据源获取待处理数据并保存;根据所述配置信息中的处理规则,从各接收器中读取待处理数据并进行相应处理。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇虎科技有限公司;奇智软件(北京)有限公司,未经北京奇虎科技有限公司;奇智软件(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201610514807.6/,转载请声明来源钻瓜专利网。