[发明专利]一种数据处理的方法、装置、电子设备及存储介质

说明书

本发明实施例公开了一种数据处理的方法、装置、电子设备及存储介质。其中，该方法包括：获取待处理的数据文件，将所述数据文件基于文件创建时间发送至内存，根据预设的文件个数阈值，对所述数据文件进行划分，得到至少一组文件区间；将所述文件区间中的数据文件进行合并，得到至少一个合并文件；根据所述合并文件，生成文件列表，将所述文件列表传递至磁盘中进行缓存；将待处理的合并文件从磁盘发送至内存，根据预设的数据配置信息，在内存中进行数据处理。实现由内存和磁盘相配合，共同进行数据处理，提高内存的利用率和数据处理效率。

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种数据处理的方法、装置、电子设备及存储介质。

背景技术

ETL(Extract-Transformation-Loading，提取-转换-加载)是构建数据仓库的一种重要技术。传统的ETL过程采用定时任务调度的方式执行，当满足时间条件时，ETL服务器调度执行预先定义好的任务。将批量数据从业务数据库或本地文件等数据源中抽取出来，经过清洗和转换等处理，存入预先定义好的数据仓库中。

随着移动互联网和智能设备的快速发展和普及，互联网应用产生的数据日益庞大。现有技术中，待处理的数据从数据源直接传递至内存进行处理。无法预知数据处理任务所占空间的大小，只能临时申请内存，空间的频繁释放容易产生大量内存碎片。而提前申请固定缓存空间又会造成缓存溢出或浪费等问题，降低内存的利用率，影响数据处理效率。

发明内容

本发明实施例提供一种数据处理的方法、装置、电子设备及存储介质，以提高数据处理的效率。

第一方面，本发明实施例提供了一种数据处理方法，该方法包括：

获取待处理的数据文件，将所述数据文件基于文件创建时间发送至内存，根据预设的文件个数阈值，对所述数据文件进行划分，得到至少一组文件区间；

将所述文件区间中的数据文件进行合并，得到至少一个合并文件；

根据所述合并文件，生成文件列表，将所述文件列表传递至磁盘中进行缓存；

将文件列表中待处理的合并文件从磁盘发送至内存，根据预设的数据配置信息，在内存中进行数据处理，并将处理后的数据存入数据库中。

第二方面，本发明实施例还提供了一种数据处理装置，该装置包括：

数据划分模块，用于获取待处理的数据文件，将所述数据文件基于文件创建时间发送至内存，根据预设的文件个数阈值，对所述数据文件进行划分，得到至少一组文件区间；

数据合并模块，用于将所述文件区间中的数据文件进行合并，得到至少一个合并文件；

列表生成模块，用于根据所述合并文件，生成文件列表，将所述文件列表传递至磁盘中进行缓存；

数据处理模块，用于将文件列表中待处理的合并文件从磁盘发送至内存，根据预设的数据配置信息，在内存中进行数据处理，并将处理后的数据存入数据库中。

第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任意实施例所述的数据处理方法。

第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明任意实施例所述的数据处理方法。