[发明专利]数据的实时处理方法、装置、设备及存储介质

说明书

本发明实施例提供了一种数据的实时处理方法、装置、设备及存储介质，该方法包括：对采集到的数据进行分流处理，得到分流数据文件；对分流数据文件进行排序，得到顺序文件；对顺序文件中的数据进行预处理，得到预处理数据，预处理包括对顺序文件中的数据内容进行格式统一、编码转换以及字段简化；根据预设条件对预处理数据中的第一部分数据进行分割，得到第一部分数据的上下行数据；对上下行数据和预处理数据中的第二部分数据进行指标列转行，生成全维度基础宽表；根据全维度基础宽表和IQ数据库，生成多维度宽表数据。本发明能够减少数据库的处理数据量，在保证数据的实时处理效率的同时，提高了现有设备的利用率，降低了对整体资源的消耗。

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据的实时处理方法、装置、设备和计算机可读存储介质。

背景技术

传统的基于大数据的实时流式数据处理的方式包括Apache Storm和SparkStreaming两种流式处理框架，通过Apache Storm或Spark Streaming，均可实现实时数据流的可扩展、高吞吐量、容错流处理，实时数据可以从分布式发布订阅消息系统(Kafka)、日志收集系统(Flume)或传输控制协议(Transmission Control Protocol，TCP)套接字中获取，并且可以使用以高级函数(如map、reduce、join和window)表示的复杂算法进行处理。

但在根据上述两种流式处理框架对实时流式数据进行处理时，需要消耗大量资源，前端需要配置大量的Kafka的集群，后端需要提供大量的实时数据流式处理的计算资源，并且需要分配较高的优先级。

发明内容

本发明实施例提供了一种数据的实时处理方法、装置、设备和存储介质，通过在内存文件系统中的初步汇总，减少了数据库的处理数据量，在保证了数据的实时处理效率的同时，进一步提高了现有设备的利用率，降低了对整体资源的消耗。

第一方面，提供了一种数据的实时处理方法，该方法包括：对采集到的数据进行分流处理，得到分流数据文件；对分流数据文件进行排序，得到顺序文件；对顺序文件中的数据进行预处理，得到预处理数据，预处理包括对顺序文件中的数据内容进行格式统一、编码转换以及字段简化；根据预设条件对预处理数据中的第一部分数据进行分割，得到第一部分数据的上下行数据；对上下行数据和预处理数据中的第二部分数据进行指标列转行，生成全维度基础宽表；根据全维度基础宽表和IQ数据库，生成多维度宽表数据。

在第一方面的一些可实现方式中，对采集到的数据进行分流处理，得到分流数据文件，包括：根据时间粒度将采集到的数据进行分流，得到分流数据；在不同线程中对分流数据执行异步并行处理，得到分流数据文件。

在第一方面的一些可实现方式中，根据预设条件对预处理数据中的第一部分数据进行分割，得到第一部分数据的上下行数据，包括：根据接口协议获取预处理数据中的第一部分数据；根据预设条件对第一部分数据进行按行分割，得到第一部分数据的上下行数据。

在第一方面的一些可实现方式中，根据全维度基础宽表和IQ数据库，生成多维度宽表数据，包括：对全维度基础宽表进行多线程并发上传，得到顺序基础宽表；根据顺序基础宽表和IQ数据库，生成多维度宽表数据。

在第一方面的一些可实现方式中，在对顺序文件中的数据进行预处理之前，包括：将顺序文件缓存至内存文件系统。

在第一方面的一些可实现方式中，在根据全维度基础宽表和IQ数据库，生成多维度宽表数据之前，包括：当数据丢失时，根据预先持久化到磁盘上的数据进行数据补算。