[发明专利]实时数据处理方法、装置、电子设备及可读存储介质

说明书

本申请提供一种实时数据处理方法、装置、电子设备及可读存储介质，涉及数据处理技术领域。该方法包括：获取实时数据；通过实时消费任务从所述实时数据中确定与用户数据统计需求匹配的目标数据，并通过所述实时消费任务将所述目标数据消费到数据仓库中，其中，所述实时消费任务通过从预先生成的任务配置文件获取所述用户数据统计需求，所述任务配置文件包括表征所述用户数据统计需求的相关参数。该方案中，由于实时消费任务是直接从任务配置文件中获取用户数据统计需求的，使得在用户数据统计需求改变的情况下，只需改变任务配置文件即可，而无需每次均生成新的实时消费任务，可有效减少消费数据的时间，确保了数据的时效性。

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种实时数据处理方法、装置、电子设备及可读存储介质。

背景技术

随着科技的发展，大数据技术的广泛应用使其成为引领众多行业技术进步、促进效益增长的关键支撑技术。根据数据处理的时效性，大数据处理系统可分为批式大数据处理和流式大数据处理两类。其中，流式大数据又被称为实时大数据。

目前应用较为广泛的流式大数据处理系统有Storm、Flink等，将实时数据通过流处理，逐条加载至高性能内存数据库中进行查询。

而为了满足用户对数据的不同需求，以将不同的数据实时消费到数据仓库中，需要开发人员针对不同用户需求开发一个实时任务来将对应的数据消费到数据仓库中，但是在数据需求较大的情况下，需要开发人员开发很多实时任务，而开发这些实时任务需要较多时间，从而可能使得不能及时将数据消费到数据仓库中，即无法确保数据的时效性。

发明内容

本申请实施例的目的在于提供一种实时数据处理方法、装置、电子设备及可读存储介质，用以改善现有技术中针对不同的用户需求需要开发不同的消费任务来消费数据到数据仓库中，导致数据消费不及时，无法确保数据的时效性的问题。

第一方面，本申请实施例提供了一种实时数据处理方法，所述方法包括：获取实时数据；通过实时消费任务从所述实时数据中确定与用户数据统计需求匹配的目标数据，并通过所述实时消费任务将所述目标数据消费到数据仓库中，其中，所述实时消费任务通过从预先生成的任务配置文件获取所述用户数据统计需求，所述任务配置文件包括表征所述用户数据统计需求的相关参数。

在上述实现过程中，通过实时消费任务从实时数据中确定与用户数据统计需求匹配的目标数据，并将目标数据消费到数据仓库中，由于实时消费任务是直接从任务配置文件中获取用户数据统计需求的，使得在用户数据统计需求改变的情况下，只需改变任务配置文件即可，而无需每次均生成新的实时消费任务，可有效减少消费数据的时间，确保了数据的时效性。

可选地，所述获取实时数据之前，还包括：

获取表征所述用户数据统计需求的相关参数；

获取预先生成的任务配置模板；

基于所述相关参数与所述任务配置模板生成所述任务配置文件。

在上述实现过程中，通过基于相关参数以及任务配置模块来生成任务配置文件，从而使得在用户数据统计需求改变的情况下，只需生成新的任务配置文件即可，而无需重新开发实时消费任务，进而可减少资源消耗。

可选地，所述通过实时消费任务将所述实时数据中与用户数据统计需求匹配的目标数据消费到数据仓库中，包括：

通过实时消费任务将所述目标数据消费到所述数据仓库的临时存储层；

按照预设时间间隔对所述临时存储层的目标数据进行数据清洗，获得清洗后的数据，并将所述清洗后的数据存储到所述数据仓库的明细层；

响应用户数据统计需求，对所述明细层存储的数据基于至少一个预设维度进行汇总处理，获得汇总后的数据，并将所述汇总后的数据存储在所述数据仓库的汇总层。