[发明专利]一种用于高能物理试验大批量数据的传输系统及传输方法

摘要

一种用于高能物理试验大批量数据的传输系统，它包括位于源端高效传送模块的多路径源数据扫描模块、数据缓冲区模块、高效轮询模块、传输优化模块、发送模块和数据缓冲区自动释放模块，包括位于目的端的高效接收模块、数据校验模块、接收优化模块和存储模块，包括用户管理配置模块和监视模块；一种用于高能物理试验大批量数据的传输方法，它有三大步骤。本发明基于GridFTP实现了高能物理实验数据的多路并行传输，通过用户管理配置接口，能对系统各模块功能进行配置，实现了系统运行过程中各阶段图形化的监视，以及多路传输过程中的互不影响，克服了现有数据传输系统的传输目的端单一、可配置项单一、系统不稳定和不易扩展等问题。

主权项

一种用于高能物理试验大批量数据的传输系统，其特征在于：它包括位于源端高效传送模块的多路径源数据扫描模块、数据缓冲区模块、高效轮询模块、传输优化模块、发送模块和数据缓冲区自动释放模块，包括位于目的端的高效接收模块、数据校验模块、接收优化模块和存储模块，包括用户管理配置模块和监视模块；其间关系是：多路径源数据扫描模块将保存在多个磁盘阵列的数据直接映射到数据缓冲区模块，高效轮询模块则实时扫描数据缓冲区，并把扫描到的数据给传输优化模块，传输优化模块对数据进行优化处理后传给发送模块，发送模块与远程的目的端通信，进行数据传输；由于数据缓冲区具有容量，为了保证数据能够正常的接收和传输到远程的数据中心和计算中心，数据缓冲区自动释放模块会定时地对数据缓冲区可用空间大小进行检测，并根据设定的阀值，按照规则将数据缓冲区的数据进行清理；高效接收模块接收到源端发送模块发送的数据后，会把它提交给数据验证模块，对接收到的数据进行有效性和完整性的验证，验证成功后，接收优化模块对数据进行优化处理，并提交给存储模块，储存模块将数据按照规则进行存放；用户管理配置模块为用户提供了管理和配置系统的WEB页面接口，包括：远程目的端服务器IP的设置、远程目的端数据存储的路径、磁盘阵列和数据缓冲区的目录结构的映射关系，监视模块则提供WEB图形化的方法实时显示每个时刻的传输状态以及系统子模块的工作状态；该多路径源数据扫描模块是轮询数据库中新增加的数据文件，找到新产生的数据被存放的磁盘阵列的位置，根据用户管理配置模块设置的磁盘阵列和系统缓冲区的目录结构的映射关系，将原始数据映射到系统的缓冲区，实现多路径源数据扫描；该数据缓冲区模块是保存多路径源数据扫描模块获取的数据文件；其结构是由24T的磁盘阵列通过RAID5来搭建完成的，保证了数据的可靠性和完整性，并且挂载在数据传输的源端服务器上供传输系统和系统用户使用和共享数据；该高效轮询模块是轮询数据缓冲区中的数据，并将新发现的数据传输至传输优化模块；其结构是利用系统Cron的功能，通过启动后台进程crond，在预设的轮询时间基础上对数据缓冲区的数据进行轮询；该传输优化模块是用于减少传输中数据的丢失，减小数据传输过程中的开销，提高数据传输速率；其结构是首先对需要传输的数据生成md5文件，将该文件和需要传输的数据文件一块进行打包归档，然后通过设置GridFTP的并行传输流数来实现多流并行传输，从而实现了传输优化功能；该发送模块是将数据传送至用户管理配置模块设置好的目的端的数据接收模块；其结构是采用传输优化模块设置好的GridFTP将打包好的归档文件传输到目的端；该数据缓冲区自动释放模块是用于保证数据缓冲区中始终保持足够的空间接收新产生的数据；其结构是通过设置上水位和下水位，并按照规则对缓冲区中的数据进行清除，当数据缓冲区占用的磁盘空间大于上水位时，该自动释放模块会对数据缓冲区中的已经传输到远程的计算中心或者数据中心的数据按照时间先后顺序进行删除，直到数据缓冲区占用的磁盘空间小于下水位为止；为了保证数据缓冲区中的数据能够始终保持时间范围内的数据，在进行数据删除操作的时候只对符合时间要求的数据进行操作；该高效接收模块是用于接收源端发送模块发送过来的数据；其结构是在目的端接收服务器上开启后台接收进程，通过侦听源端发送服务器的GridFTP连接请求来完成数据的接收；该接收优化模块是通过对接收到的数据进行优化处理，从而提高数据接收效率；其结构是对接收模块接收到的数据先进行解压，得到其中的数据文件和md5文件，同时对解压得到 的数据文件也进行md5校验生成一个md5文件；该数据校验模块是用于避免数据传输过程中的丢失或者出错；其结构是对接收优化模块中得到的数据文件的md5校验码与源端发送过来的md5码进行比对，若有不同，则该标明文件传输失败，由目的端向源端发送数据传输失败的标明，源端根据设置对文件进行重传；该存储模块是按照规则将接收优化模块接收到的数据存放在相应的存储目录，减少数据管理带来的开销；其部署在大小为30T的分布式文件存储系统Lustre上，文件的存储目录是按照分层管理的；该用户管理配置模块是利用JBoss的MBean提供页面管理服务，图形化地管理系统的各个子模块，提供配置接口；其结构是将用户需要管理的接口以xml文件的形式编辑放置在指定的系统目录下，重启传输系统时，会到该目录下去读取相应的配置文件，并显示在MBean的页面上，便于图形化管理系统子模块；该监视模块是提供WEB图形化的方法实时显示每个时刻的传输状态以及系统子模块的工作状态；其结构是提供从后台日志文件中读取相关的数据传输信息，并提交给Jquery，并采用JFreeChart进行绘图展示在WEB页面上，同时传输过程中的报警信息都会被记录到PostgreSQL数据库中，便于日后追踪问题和数据分析。