[发明专利]数据处理方法及系统在审
| 申请号： | 201710198858.7 | 申请日： | 2017-03-29 |
| 公开（公告）号： | CN108664322A | 公开（公告）日： | 2018-10-16 |
| 发明（设计）人： | 周海建;杨凌云;刘振鲁;陈力 | 申请（专利权）人： | 广东神马搜索科技有限公司 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50 |
| 代理公司： | 北京超凡志成知识产权代理事务所(普通合伙) 11371 | 代理人： | 唐维虎 |
| 地址： | 510000 广东省广州市天河区黄埔大道西平云*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种数据处理方法及系统，所述数据处理系统包括相对独立运行的数据存储单元、处理单元及计算服务单元；所述方法包括：所述处理单元逐条读取所述数据存储单元中的待处理数据；根据预设的计算任务，判断所述待处理数据是否需要进行聚合计算；在不需要进行聚合计算时，通过所述处理单元或将该处理数据发送至所述计算服务单元进行普通计算；在需要进行聚合计算时，将该待处理数据发送至计算服务单元进行聚合计算。通过对数据进行相对独立的存储、处理及计算，并采用将批次处理转换为了流式处理的方法，增强了所述数据处理系统的可扩展性，并提高了所述数据处理系统在进行数据处理时对计算资源的利用率。 | ||
| 搜索关键词： | 数据处理系统 聚合 待处理数据 处理单元 计算服务 数据处理 数据存储单元 相对独立 读取 发送 处理数据 计算资源 可扩展性 流式处理 批次处理 预设 存储 转换 | ||
【主权项】：
1.一种数据处理方法，应用于数据处理系统，其特征在于，所述数据处理系统包括相对独立运行的数据存储单元、处理单元及计算服务单元，所述数据存储单元支持数据的顺序读取及随机写入；所述方法包括：所述处理单元逐条读取所述数据存储单元中的待处理数据；根据预设的计算任务，判断所述待处理数据是否需要进行聚合计算，其中，所述聚合计算包括需要结合多条待处理数据进行的计算；在判定所述待处理数据不需要进行聚合计算时，通过所述处理单元或将该处理数据发送至所述计算服务单元进行普通计算，其中，所述普通计算为针对每条所述待处理数据独立进行的逐条计算；在判定所述待处理数据需要进行聚合计算时，将该待处理数据发送至计算服务单元进行聚合计算；将处理完成的数据通过随机写入的方式保存至所述数据存储单元。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于广东神马搜索科技有限公司，未经广东神马搜索科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710198858.7/，转载请声明来源钻瓜专利网。
- 上一篇：系统资源分配调整方法及装置
- 下一篇：一种基于多处理器的数据传输方法和装置
