[发明专利]数据处理方法及装置在审
申请号: | 202110650874.1 | 申请日: | 2021-06-10 |
公开(公告)号: | CN113407491A | 公开(公告)日: | 2021-09-17 |
发明(设计)人: | 申阳;贾承昆;张强;雷冉 | 申请(专利权)人: | 北京猿力未来科技有限公司 |
主分类号: | G06F16/13 | 分类号: | G06F16/13;G06F16/182;G06F21/78 |
代理公司: | 北京智信禾专利代理有限公司 11637 | 代理人: | 刘晓楠 |
地址: | 100102 北京市朝阳区广顺南大*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 | ||
本说明书提供数据处理方法及装置,其中所述数据处理方法包括:接收目标业务关联的数据处理端提交的业务数据集合;针对所述业务数据集合中的各个业务数据添加数据标识,并将添加所述数据标识的业务数据写入所述目标业务的业务数据库;接收针对所述业务数据库中的业务数据提交的处理指令;基于所述处理指令和所述数据标识在所述业务数据库中读取目标业务数据,并将所述目标业务数据写入所述目标业务对应的分布式系统。
技术领域
本说明书涉及计算机技术领域,特别涉及数据处理方法及装置。
背景技术
随着互联网技术的发展,线上业务成为了大多数业务方主要开展的对象;而由于线上业务的特性,通常都会由多个数据处理节点配合完成,如数据采集节点、数据处理节点和数据存储节点相互配置以支持存储业务运行,实现向用户提供相应的存储服务。而各个节点之间所传输的数据是支持业务运行的基础;通常情况下,数据的采集和处理都是与业务相贴合的,而节点在获得上游下发的数据后,都需要对接收到的数据进行处理,以完成预置的处理任务,再发送给下游节点进行处理;而由于业务的复杂程度,一个下游节点可能对接多个上游节点,这就导致下游节点会同时接收到多个上游节点回传的数据,随着数据的增加,很容易造成数据丢失/错乱,进而影响业务的正常运行,因此亟需一种有效的方法以解决上述问题。
发明内容
有鉴于此,本说明书实施例提供了一种数据处理方法。本说明书同时涉及一种数据处理装置,一种计算设备,以及一种计算机可读存储介质,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种数据处理方法,应用于业务服务端,包括:
接收目标业务关联的数据处理端提交的业务数据集合;
针对所述业务数据集合中的各个业务数据添加数据标识,并将添加所述数据标识的业务数据写入所述目标业务的业务数据库;
接收针对所述业务数据库中的业务数据提交的处理指令;
基于所述处理指令和所述数据标识在所述业务数据库中读取目标业务数据,并将所述目标业务数据写入所述目标业务对应的分布式系统。
可选地,所述针对所述业务数据集合中的各个业务数据添加数据标识,包括:
提取所述业务数据集合中包含的各个业务数据,并确定各个业务数据对应的时间信息;
按照所述时间信息对所述业务数据集合中包含的各个业务数据添加所述数据标识;
相应的,所述将添加所述数据标识的业务数据写入所述目标业务的业务数据库,包括:
将添加所述数据标识的业务数据按照所述数据标识依次写入所述业务数据库,其中,所述数据标识单调递增。
可选地,所述基于所述处理指令和所述数据标识在所述业务数据库中读取目标业务数据,包括:
根据所述处理指令查询所述业务数据库的元数据,获得所述数据标识;
按照所述数据标识在所述业务数据库中读取所述目标业务数据;
相应的,所述将所述目标业务数据写入所述目标业务对应的分布式系统,包括:
按照所述数据标识将所述目标业务数据依次写入所述分布式系统,其中,所述数据标识单调递增。
可选地,所述针对所述业务数据集合中的各个业务数据添加数据标识,包括:
获取所述目标业务预设的Snowflake算法;
基于所述Snowflake算法对所述业务数据集合中的各个业务数据添加所述数据标识。
可选地,所述接收目标业务关联的数据处理端提交的业务数据集合,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京猿力未来科技有限公司,未经北京猿力未来科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110650874.1/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种杂粮生产系统
- 下一篇:一种基于机器视觉的轴承滚子缺陷检测系统及检测方法