[发明专利]数据处理方法、装置、电子设备及存储介质

说明书

本公开的实施例提供了一种数据处理方法、装置、电子设备及存储介质。该方法包括：响应于数据库的数据变更，通过所述数据库发出增量信息；通过采集组件接收所述增量信息并且进行解析，得到解析信息；通过第一数据节点接收所述解析信息并且进行处理，得到变更后的数据。本公开的数据处理方法降低了对数据库DB的查询依赖。另外，通过消息通知方式降低了数据的同步延迟，获得了更好的数据一致性和时效性。

技术领域

本公开的实施例涉及计算机技术领域，更具体地，涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

目前，对数据库(DB)采用定时增量加全量查询方式，例如，采用定时增量拉取方式。即，数据链路的同步几乎都是采用数据定时拉取方式，从而产生数据延迟，已经无法满足快速增长的广告业务，也不能很好地做到数据的实时同步，不能保证广告的实时上下线，甚至产生广告的超投。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

为了解决上述问题，本公开提供了一种数据处理方法、装置、电子设备及存储介质，本公开的方法能够更好地实现数据的实时同步，时效性更好。

根据本公开的一个实施例，提供了一种数据处理方法，包括：响应于数据库的数据变更，通过所述数据库发出增量信息；通过采集组件接收所述增量信息并且对所述增量信息进行解析，得到解析信息；通过第一数据节点接收所述解析信息并且对所述解析信息进行处理，得到变更后的数据。

根据本公开的另一实施例，提供了一种数据处理装置，包括：一种数据处理装置，其特征在于，包括：数据库，响应于数据变更，从所述数据库发出增量信息；采集组件，接收所述增量信息并且对所述增量信息进行解析，得到解析信息；第一数据节点，接收所述解析信息并且对所述解析信息进行处理，得到变更后的数据。

根据本公开的另一实施例，提供了一种电子设备，所述电子设备包括：至少一个存储器和至少一个处理器；其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器所存储的程序代码以执行上述数据处理方法。

根据本公开的另一实施例，提供了一种计算机存储介质，所述计算机存储介质存储有程序代码，所述程序代码用于执行上述数据处理方法。

通过采用本公开的数据处理方法，能够更好地实现数据的实时同步，时效性更好。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。

图1示出了现有的数据处理方式。

图2示出了本公开的实施例的数据处理方法的示意流程图。

图3示出了本公开的实施例的数据处理方式的示意图。

图4示出了本公开的全量加载的示意图。

图5示出了适于用来实现本公开的实施例的电子设备500的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。