[发明专利]一种大数据的传输系统、传输方法及其业务系统

说明书

技术领域

本发明涉及计算机领域，特别是涉及一种大数据的传输系统、传输方法及其业务系统。

背景技术

随着企业信息化建设的不断发展，不同IT系统间的数据交互越来越频繁，常规的解决方案包括：基于服务接口、基于数据库同步、基于数据传输等。

基于服务接口是指在应用层面提供数据访问接口，接口有固定的访问协议、接口名称、参数规格、返回值规格，需要数据交互的源和目标的应用系统均提供相应接口的支持；

基于数据库同步是针对存储于数据库中的数据，通过第三方工具（如ETL工具）在源和目标间传输；

基于数据传输主要是面向直接存储于文件系统中的非结构化数据（如图片、视频、文档等）的传输，一般情况下需要数据交互的源和目标业务系统与第三方传输工具相结合，但常常会由于网络环境、系统异常、服务器宕机等问题造成传输失败，主要体现在通讯客户端不稳定、传输文件丢失或损坏、缺少传输监控、业务流程不连续等方面：

客户端不稳定：客户端出现宕机现象，可能原因有系统高负荷、文件量过大、网络中断、单一文件过大等；

传输文件丢失或损坏：由于传输系统自身的异常导致传输失败，或由于数据在传输过程中被篡改；

缺少传输监控：缺少统一的机制对传输节点以及传输过程进行监控和管理；

业务流程不连续：整个业务流程被源和目标的数据接口断开。这不仅造成业务流程的不可控,也降低了业务处理的时效性,增加了业务处理的风险。

所以，有必要提供一种新的数据传输的系统及方法，以解决在不稳定的网络环境中实现可靠的大数据传输服务。

发明内容

本发明的目的在于提供一种大数据的传输系统、传输方法及其业务系统，可以解决在不稳定的网络环境中实现可靠的大数据传输服务，且可对数据传输的全程进行管理和监控，同时，传输服务可以与现有的业务系统集成，实现业务流程与数据传输的无缝衔接。

为解决以上技术问题，本发明提供一种大数据的传输系统，包括：消息服务器，管理控制台，传输代理，其中，

所述传输代理，包括发送代理和接收代理，所述发送代理，用于扫描源业务系统的数据文件并生成传输文件，并将该传输文件传送给接收代理；所述接收代理，用于接收发送代理传送的数据文件，并还原数据文件，提交给目标业务系统；

所述消息服务器，用于为系统的模块提供消息服务，所述传输代理与管理控制台之间通过该消息服务器进行通讯。

所述管理控制台，提供管理界面，供用户监控和管理传输任务和传输代理。

进一步地，所述发送代理，包括：发送前业务处理模块，发送队列，发送前数据处理模块，和发送模块；其中：

所述发送前业务处理模块，用于源业务数据扫描和数据压缩，并将压缩包文件保存到发送目录中，并生成待发送的传输任务信息；

所述发送队列是一个先进先出队列，用于在内存中存储待发送的传输任务信息；

所述发送前数据处理模块，用于消费从所述发送队列中的传输任务，并进行数据处理，数据处理完成后生成发送线程，触发所述发送模块传输数据；

所述发送模块，用于将发送目录中的压缩包文件，发送至接收代理。

进一步地，所述发送前业务处理模块用于源业务数据扫描和数据压缩，具体包括：

源业务数据扫描：根据源业务系统的数据存放方式发现数据，并将数据复制到自身的源业务数据目录中；

数据压缩：将源业务数据目录中的数据压缩成一个压缩包，并将压缩包复制到自身的发送目录中，数据压缩成功并复制后，将数据的元信息持久化到本地的发送任务信息中，生成待发送传输任务信息，并将该传输任务信息插入到所述发送队列中。

进一步地，所述发送前数据处理模块至少进行以下之一的数据处理：

数据加密：如果在配置文件中指定传输前需要加密，则将发送目录中的压缩包文件进行加密，得到加密后的压缩包，同时，更新本地的发送任务信息，将传输任务的状态修改为已加密；

计算MD5：防止传输过程中数据损坏，对压缩包的二进制数据流进行MD5运算，得到压缩包的MD5字符串，同时，更新本地的发送任务信息，记录传输任务的MD5值，并将传输任务的状态修改为已计算MD5。

进一步地，所述发送模块开始发送目录中的压缩包文件给至接收代理时，更新本地的发送任务信息，将传输任务的状态修改为发送中；发送过程中，异步的更新本地的发送任务信息，包括发送线程数、每个线程传输的起始字节数、每个线程已传输的字节数；发送完成后，删除本地的发送任务信息中的当前传输任务。