[发明专利]基于分布式架构服务和FTP服务的数据传输方法及系统

说明书

本发明提供一种基于分布式架构服务和FTP服务的数据传输方法及系统，该数据传输方法通过第一缓冲共享介质对写入容器组接收的数据进行统一管理后再写入FTP服务器，每个读取容器组在计算本身的数据大小后加上第一缓冲共享介质中的数据大小，达到标准条件即可打包发送到FTP服务器，数据文件大小相对稳定，FTP服务器的网络连接数和网络传输更加平稳，数据传输即时性高；实时监控第一缓冲共享介质的写入速度和读取速度，并调整第一容器组的数量和第二容器组的数量，使第一缓冲共享介质的读取速度大于等于第一缓冲共享介质的写入速度，通过对写入的副本进行切换控制，在整个系统健康运行的前提下，达到最优的写入效果，并最即时地将数据文件传输到FTP服务器。

技术领域

本发明涉及数据传输技术领域，特别是涉及一种基于分布式架构服务和FTP服务的数据传输方法及系统。

背景技术

目前，在基于分布式架构系统间使用FTP服务器进行数据交互的场景中，一般都是每个容器组(pod)向FTP服务器直接下发数据或者打包之后写入数据，按照每个容器组的单独计算规则，如数据量5MB打包传输一次，在数据下发量较小时每个容器组的数据传输时延较大，数据量下发较多时多个容器组在同一时段对FTP服务器的网络传输压力较大，使得FTP服务器的网络连接数和网络传输状态不稳定。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种全新结构的基于分布式架构服务和FTP服务的数据传输方案，用于解决上述技术问题。

为实现上述目的及其他相关目的，本发明提供一种基于分布式架构服务和FTP服务的数据传输方法，包括步骤：

利用第一容器组接收数据并写入第一缓冲共享介质，利用第二容器组将所述第一缓冲共享介质中的数据取出打包后通过第一连接池写入FTP服务器的指定目录中，通过所述第一缓冲共享介质对数据进行统一管理；

实时监控所述第一缓冲共享介质的写入速度和读取速度，并据此调整所述第一容器组的数量和所述第二容器组的数量，使所述第一缓冲共享介质的读取速度大于等于所述第一缓冲共享介质的写入速度。

可选地，所述实时监控所述第一缓冲共享介质的写入速度和读取速度，并据此调整所述第一容器组的数量和所述第二容器组的数量的步骤包括：

根据以下公式动态调整所述第一容器组的数量和所述第二容器组的数量，

X≥M*A，Y≥N*B，N*B≥M*A，Q＝M+N，M≥0，N≥0；

其中，X表示所述第一缓冲共享介质的写入速度，Y表示所述第一缓冲共享介质的读取速度，M表示所述第一容器组的个数，N表示所述第二容器组的个数，Q表示总的容器组的个数，A表示所述第一容器组的写入速度，B表示所述第二容器组的读取速度；M、N、Q为整数。

可选地，所述基于分布式架构服务和FTP服务的数据传输方法还包括步骤：

利用第三容器组接收数据并通过第二连接池写入所述FTP服务器；

调整所述第三容器组的数量，使所述FTP服务器的读取速度和写入速度达到平衡。

可选地，所述实时监控所述第一缓冲共享介质的写入速度和读取速度，并据此调整所述第一容器组的数量和所述第二容器组的数量的步骤包括：

根据以下公式动态调整所述第一容器组的数量和所述第二容器组的数量，

X≥M*A，Y≥N*B，N*B≥M*A，Q＝M+N+P，M≥0，N≥0，P≥0；

其中，X表示所述第一缓冲共享介质的写入速度，Y表示所述第一缓冲共享介质的读取速度，M表示所述第一容器组的个数，N表示所述第二容器组的个数，P表示所述第三容器组的个数，Q表示总的容器组的个数，A表示所述第一容器组的写入速度，B表示所述第二容器组的读取速度；M、N、Q、P为整数。