[发明专利]一种数据处理方法、装置及计算机设备

说明书

本发明实施例公开了一种数据处理方法、装置及计算机设备。该方法包括：获取待处理数据，将所述待处理数据添加至第一数据消息队列；基于Flink实时处理框架采用流式数据处理方式处理所述第一数据消息队列中的各所述待处理数据，得到队列处理数据；将所述队列处理数据添加至第二数据消息队列；基于所述Flink实时处理框架对所述第二数据消息队列中的各所述队列处理数据进行实时数据处理。上述技术方案可以保证数据处理过程的一致性和实时性。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据处理方法、装置及计算机设备。

背景技术

随着互联网的快速发展，存在越来越多的多元数据，而这些数据往往都具有实时性。在对大数据进行处理时，需要依托于分布式处理或分布式数据库等技术，而在数据处理过程中保证数据的一致性和实时性始终是数据处理的重要议题。

目前，在数据处理领域，一般存在批量计算和实时流计算两种任务类型。Flink是一个同时面向分布式实时流处理和批量数据处理的开源数据平台，它能在基于同一个Flink实时处理框架运行时，提供支持流处理和批处理两种类型任务的功能。在实时处理系统中确保数据一致性时，通常是需要对数据进行幂等性写入操作或事务性写入操作。其中，幂等性写入操作在任意多次向一个系统写入数据时，只对目标系统产生一次结果影响，但这种操作要求数据具有幂等性。事务性写入操作结合了Flink的一致性检查点Checkpoint机制来保证只对外部输出产生一次影响，但只有经过Checkpoint确认的数据才可以向外部写入，由于Checkpoint之间存在一定的时间间隔，会降低数据的实时性。因此，如何基于Flink实时处理框架使数据在处理过程中保持一致性和实时性，是亟待解决的问题。

发明内容

本发明实施例提供一种数据处理方法、装置及计算机设备，以保证数据处理过程的一致性和实时性。

第一方面，本发明实施例提供了一种数据处理方法，包括：

获取待处理数据，将所述待处理数据添加至第一数据消息队列；

基于Flink实时处理框架采用流式数据处理方式处理所述第一数据消息队列中的各所述待处理数据，得到队列处理数据；

将所述队列处理数据添加至第二数据消息队列；

基于所述Flink实时处理框架对所述第二数据消息队列中的各所述队列处理数据进行实时数据处理。

第二方面，本发明实施例还提供了一种数据处理装置，包括：

第一数据消息队列生成模块，设置为获取待处理数据，将所述待处理数据添加至第一数据消息队列；

队列处理数据生成模块，设置为基于Flink实时处理框架采用流式数据处理方式处理所述第一数据消息队列中的各所述待处理数据，得到队列处理数据；

第二数据消息队列生成模块，设置为将所述队列处理数据添加至第二数据消息队列；

实时数据处理模块，设置为基于所述Flink实时处理框架对所述第二数据消息队列中的各所述队列处理数据进行实时数据处理。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任意实施例所述的数据处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的数据处理方法。