[发明专利]一种数据处理方法、装置、设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

接收以流数据方式传入的待处理数据；

将所述待处理数据输入至Spark Streaming计算框架；

调用所述Spark Streaming计算框架根据ETL数据处理逻辑对所述待处理数据执行相应的数据处理操作。

2.根据权利要求1所述的数据处理方法，其特征在于，在所述将所述待处理数据输入至Spark Streaming计算框架之前，所述方法还包括：

通过分布式消息队列对所述待处理数据进行缓存；

所述将所述待处理数据输入至Spark Streaming计算框架，包括：

利用所述分布式消息队列将所述待处理数据输入至所述Spark Streaming计算框架。

3.根据权利要求2所述的数据处理方法，其特征在于，所述分布式消息队列包括Kafka分布式消息队列。

4.根据权利要求1所述的数据处理方法，其特征在于，在所述调用所述SparkStreaming计算框架根据所述ETL数据处理逻辑对所述待处理数据执行相应的数据处理操作之前，所述方法还包括：

接收由用户界面传入的配置信息，所述配置信息中包含有处理操作项以及所述处理操作项的优先级顺序；

根据所述处理操作项以及所述处理操作项的优先级顺序生成所述ETL数据处理逻辑。

5.根据权利要求4所述的数据处理方法，其特征在于，所述处理操作项的内容包括数据解析、数据清洗、数据抽取、数据转换以及数据存储。

6.根据权利要求1至5任意一项所述的数据处理方法，其特征在于，在所述将所述待处理数据输入至Spark Streaming计算框架之前，所述方法还包括：

对所述待处理数据划分多个传输批次；

所述将所述待处理数据输入至Spark Streaming计算框架，包括：

以所述传输批次为单位将所述待处理数据输入至所述Spark Streaming计算框架，传输相邻所述传输批次的所述待处理数据时间隔预设传输时长。

7.一种数据处理装置，其特征在于，包括：

数据接收模块，用于接收以流数据方式传入的待处理数据；

数据输入模块，用于将所述待处理数据输入至Spark Streaming计算框架；

数据处理模块，用于调用所述Spark Streaming计算框架根据ETL数据处理逻辑对所述待处理数据执行相应的数据处理操作。

8.根据权利要求7所述的数据处理装置，其特征在于，所述装置还包括：

队列缓存模块，用于通过分布式消息队列对所述待处理数据进行缓存；

所述数据输入模块，包括：

队列输入模块，用于利用所述分布式消息队列将所述待处理数据输入至所述SparkStreaming计算框架。

9.一种数据处理设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述的数据处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的数据处理方法的步骤。