[发明专利]数据传输方法、装置、电子设备、存储介质及程序产品

说明书

本公开实施例公开了一种数据传输方法、装置、电子设备、存储介质及程序产品，所述方法包括：获取目标海量数据；基于所述目标海量数据生成目标数据文件；将所述目标数据文件发送至数据中间组件，以备目标数据库在需要时向所述数据中间组件请求下载所述目标数据文件。该技术方案借助海量数据中转存储机制不仅能够有效避免由于海量数据或者次海量数据的写入而导致的数据库IO高峰、数据库IO失衡、数据库性能下降、用户体验变差、甚至数据库运行瘫痪的情况，而且还能够保障数据库的IO均衡，提升数据库的性能。

技术领域

本公开实施例涉及数据处理技术领域，具体涉及一种数据传输方法、装置、电子设备、存储介质及程序产品。

背景技术

随着科学技术以及互联网技术的发展，越来越多的海量数据需要被处理以及被传输。现有技术中，在大数据平台处理或计算完毕，生成海量数据或者次海量数据，将生成的海量数据或者次海量数据推送至相应的数据库中时，通常是将所述海量数据或者次海量数据直接写入至相应的数据库中，但由于大数据平台对于接收数据的数据库的数据流量情况并不了解，因此，经常会出现海量数据或者次海量数据的写入导致数据库产生IO(输入输出)高峰、影响IO均衡、数据库性能下降、用户体验变差，严重时还有可能造成数据库运行瘫痪。

发明内容

本公开实施例提供一种数据传输方法、装置、电子设备、存储介质及程序产品。

第一方面，本公开实施例中提供了一种数据传输方法。

具体的，所述数据传输方法，包括：

获取目标海量数据；

基于所述目标海量数据生成目标数据文件；

将所述目标数据文件发送至数据中间组件，以备目标数据库在需要时向所述数据中间组件请求下载所述目标数据文件。

结合第一方面，本公开实施例在第一方面的第一种实现方式中，所述目标数据文件为一个或多个。

结合第一方面和第一方面的第一种实现方式，本公开实施例在第一方面的第二种实现方式中，当所述目标数据文件为多个时，所述基于所述目标海量数据生成目标数据文件，包括：

获取预设数据长度，并根据所述预设数据长度将所述目标海量数据划分为多个目标数据文件；

生成目标数据索引文件，其中，所述目标数据索引文件包括所述多个目标数据文件的标识信息及所述多个目标数据文件的生成顺序信息；

所述将所述目标数据文件发送至数据中间组件，被实施为：

将所述多个目标数据文件和所述目标数据索引文件发送至数据中间组件。

结合第一方面、第一方面的第一种实现方式和第一方面的第二种实现方式，本公开在第一方面的第三种实现方式中，所述数据中间组件为中间文件服务器或消息中间件。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式和第一方面的第三种实现方式，本公开在第一方面的第四种实现方式中，还包括：

响应于确认所述目标数据文件传输完成，向所述目标数据库发送目标数据文件接收提示消息，其中，所述目标数据文件接收提示消息携带有存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息。

第二方面，本公开实施例中提供了一种数据传输方法。

具体的，所述数据传输方法，包括：

接收目标平台发送的目标数据文件接收提示消息，其中，所述目标数据文件接收提示消息携带有存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；

响应于确认满足数据传输条件，从所述目标数据文件接收提示消息中获取存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；