[发明专利]数据的实时处理方法、装置、设备及存储介质

权利要求书

1.一种数据的实时处理方法，其特征在于，所述方法包括：

对采集到的数据进行分流处理，得到分流数据文件；

对所述分流数据文件进行排序，得到顺序文件；

对所述顺序文件中的数据进行预处理，得到预处理数据，所述预处理包括对所述顺序文件中的数据内容进行格式统一、编码转换以及字段简化；

根据预设条件对所述预处理数据中的第一部分数据进行分割，得到所述第一部分数据的上下行数据；

对所述上下行数据和所述预处理数据中的第二部分数据进行指标列转行，生成全维度基础宽表；

根据所述全维度基础宽表和IQ数据库，生成多维度宽表数据。

2.根据权利要求1所述的方法，其特征在于，所述对采集到的数据进行分流处理，得到分流数据文件，包括：

根据时间粒度将所述采集到的数据进行分流，得到分流数据；

在不同线程中对所述分流数据执行异步并行处理，得到所述分流数据文件。

3.根据权利要求1所述的方法，其特征在于，所述根据预设条件对所述预处理数据中的第一部分数据进行分割，得到所述第一部分数据的上下行数据，包括：

根据接口协议获取所述预处理数据中的所述第一部分数据；

根据预设条件对所述第一部分数据进行按行分割，得到所述第一部分数据的上下行数据。

4.根据权利要求1所述的方法，其特征在于，所述根据所述全维度基础宽表和IQ数据库，生成多维度宽表数据，包括：

对所述全维度基础宽表进行多线程并发上传，得到顺序基础宽表；

根据所述顺序基础宽表和所述IQ数据库，生成多维度宽表数据。

5.根据权利要求1-4任意一项所述的方法，其特征在于，在所述对所述顺序文件中的数据进行预处理之前，包括：

将所述顺序文件缓存至内存文件系统。

6.根据权利要求5所述的方法，其特征在于，在所述根据所述全维度基础宽表和IQ数据库，生成多维度宽表数据之前，所述方法还包括：

当数据丢失时，根据预先持久化到磁盘上的数据进行数据补算。

7.一种数据的实时处理装置，其特征在于，所述装置包括：

分流模块，对采集到的数据进行分流处理，得到分流数据文件；

排序模块，用于对所述分流数据文件进行排序，得到顺序文件；

预处理模块，用于对所述顺序文件中的数据进行预处理，得到预处理数据，所述预处理包括对所述顺序文件中的数据内容进行格式统一、编码转换以及字段简化；

分割模块，用于根据预设条件对所述预处理数据中的第一部分数据进行分割，得到所述第一部分数据的上下行数据；

全维度汇总模块，用于对所述上下行数据和所述预处理数据中的第二部分数据进行指标列转行，生成全维度基础宽表；

多维度汇总模块，用于根据所述全维度基础宽表和IQ数据库，生成多维度宽表数据。

8.根据权利要求7所述的装置，其特征在于，所述分流模块具体用于：

根据时间粒度将所述采集到的数据进行分流，得到分流数据；

在不同线程中对所述分流数据执行异步并行处理，得到所述分流数据文件。

9.根据权利要求7所述的装置，其特征在于，所述分割模块具体用于：

根据接口协议获取所述预处理数据中的所述第一部分数据；

根据预设条件对所述第一部分数据进行按行分割，得到所述第一部分数据的上下行数据。

10.根据权利要求7所述的装置，其特征在于，所述多维度汇总模块具体用于：

对所述全维度基础宽表进行多线程并发上传，得到顺序基础宽表；

根据所述顺序基础宽表和IQ数据库，得到多维度宽表数据。