[发明专利]一种数据处理的方法、装置、设备和可读存储介质

说明书

本申请提供一种数据处理的方法、装置、设备和可读存储介质，该方法根据预设规则，对存储在消息队列中的目标数据进行筛选，得到筛选数据，所述筛选数据用于指示在固定时间窗口内所述目标数据中有变动的数据；根据所述目标数据对应的配置规则对所述筛选数据进行处理，得到数据逻辑表，所述数据逻辑表记载有所述变动的数据的属性信息，所述属性信息包括所述变动的数据的来源。该方法明显的提高了数据平台的处理数据的效率，降低了数据处理的成本。

技术领域

本申请涉及数据处理的领域，具体而言，涉及一种数据处理的方法、装置、设备和可读存储介质。

背景技术

目前各大公司数据平台化建设已经逐步推行，但是目前数据平台的建设主要采取的都是一个功能或一个需求进行一次开发，每个数据平台都只能完成对应的功能。

随着数据平台的发展，各类数据的需求越来越多，其中实时业绩、海量分析均需要复杂的引擎开发，开发难度大、周期长、成本高。

因此，如何提供一种开发难度低、周期短和成本低的数据处理方法成为亟需解决的技术问题。

发明内容

本申请实施例的目的在于提供一种数据处理的方法、装置、设备和可读存储介质，通过本申请的实施例的技术方案可以达到数据处理平台的开发难度低、周期短和成本低的效果。

第一方面，本申请实施例提供了一种数据处理的方法，包括：根据预设规则，对存储在消息队列中的目标数据进行筛选，得到筛选数据，所述筛选数据用于指示在固定时间窗口内所述目标数据中有变动的数据；根据所述目标数据对应的配置规则对所述筛选数据进行处理，得到数据逻辑表，所述数据逻辑表记载有所述变动的数据的属性信息，所述属性信息包括所述变动的数据的来源。

本申请实施例通过一些配置消息快速的筛选出目标数据中有变动的数据，通过一些配置规则根据目标数据实时的快速生成一个处理该目标数据的功能，通过该功能可以快速的、实时的查询所需求的数据，该方法明显的提高了数据平台的处理数据的效率，降低了数据处理的成本。

可选的，在根据预设规则，对存储在消息队列中的目标数据进行筛选，得到筛选数据之前，所述方法还包括：

将数据源中所述目标数据发送至所述消息队列中。

上述实现方式中，只有数据源中部分需要的所述目标数据才会放置在所述消息队列中，缩小了数据的范围，使后续的数据处理提高了处理的效率，减少了处理数据的成本。

可选的，所述根据预设规则，对存储在消息队列中的目标数据进行筛选，得到筛选数据，包括：

在所述固定时间窗口内，根据数据筛选配置消息对所述目标数据进行筛选，得到所述筛选数据，其中所述配置消息中包括过滤字段、过滤表、自定义筛选条件和指定数据的删除和增加操作中的至少一种。

上述实现方式中，通过配置消息中的配置对数据进行筛选，可以快速筛选出所需要的变动的数据。

可选的，所述配置规则包括以下配置中的一种或多种的组合：

主查询、子查询、函数运算、逻辑判断、关键扩展查询、子模块间自由嵌套、算法自定义、数据加工、目标表配置和目标字段配置。

上述实现方式中，通过实时的将上述一种或多种功能进行组合，可以实现实时的根据需求快速上线一个对应的处理数据的功能，提高处理数据的效率。

可选的，在所述根据所述目标数据对应的配置规则对所述筛选数据进行处理，得到数据逻辑表之前，所述方法还包括：

根据所述目标数据的配置需求，生成所述目标数据对应的配置规则。

上述实现方式中，根据提供的不同的配置逻辑需求，来生成对应的配置规则，可以达到快速上线一个对应处理数据的功能。