[发明专利]一种大数据量数据的网络传输系统

说明书

技术领域

本发明涉及电信行业的大数据量数据文件传输技术领域，特别是涉及一种大数据量数据网络传输的系统。

背景技术

随着电信行业各大运营商内部信息整合、资源的交换与共享的深入，各电信运营商内部产生的大量业务数据信息、基础数据库信息、以及各种详单、账单、原始话单文件等需要及时快速地从部门的服务器或终端汇总到数据中心、以便在各个部门的服务器或终端之间互传。由于传输的数据量巨大、传输过程中经过的服务器及网络环节众多，因此，对数据传输的效率、可靠性、安全等方面提出了诸多要求，同时，现有应用需求对数据资源传输的要求也越来越高。而传统的文件传输工具已经无法胜任大机构级应用环境的需求。为此，快速、安全、稳定地实现超量数据网络传输技术的研究是一个亟待解决的问题。

发明内容

本发明所要解决的技术问题是提供一种基于大数据量数据的网络传输系统，用于解决现有技术中大数据量数据的网络传输效率低、可靠性不高、安全性低等问题。

本发明解决上述技术问题的技术方案如下：一种大数据量数据的网络传输系统，包括数据处理模块、数据管理模块、数据传输模块和网络监测模块；

所述数据处理模块，其用于接收数据，并对数据进行处理，再将处理后的数据封装成若干数据包发送给数据管理模块；

所述数据管理模块，其用于统一管理和分配经所述数据处理模块处理后的数据包；

所述数据传输模块，其用于为数据管理模块分配的数据包选择传输路径，并实现即时数据传输和/或离线数据传输；

所述网络监测模块，其用于监测网络运行情况。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述数据处理模块对数据进行处理包括：根据数据的处理规则，对数据进行预处理、封装、加密、解密、校验、压缩、解压缩、指定编码和/或指定解码格式。

进一步，所述将处理后的数据封装成若干数据包具体包括：将处理后的数据封装成具有若干UDP数据包的数据包模块，若处理后的数据本身即是UDP数据包，则不进行数据封装，直接将UDP数据包组合成数据包模块。

进一步，所述数据管理模块统一管理数据包包括：对数据包进行缓存管理、并发管理和/或完整性管理。

进一步，所述数据传输模块选择的传输路径包括：直接发送和/或通过服务器转发。

进一步，所述数据传输模块包括即时数据传输模块和离线数据传输模块，所述即时数据传输模块用于以P2P通信方式或通过服务器转发方式实现即时数据传输，所述离线数据传输模块用于实现数据的离线上传和离线下载。

进一步，实现即时数据传输包括：通信双方均保持在线状态,经过一次双向认证后，进行数据传输；若通信双方的双向认证不成功，数据发送方会自动将数据发往服务器，由服务器将数据转发给接收方。

进一步，实现离线数据传输具体包括：当通信的一方不在线时，数据发送方向对方发送数据，该数据暂时存放在数据缓存服务器中进行中转，当数据接收方上线时，将自动从数据缓存服务器中获取缓存的离线数据。

进一步，实现即时数据传输和离线数据传输均还包括：设计了断线续传功能，用于在传输意外中断时，从断点处重新开始传输。

进一步，所述网络监测模块用于监测网络运行情况具体包括：监控本地与服务器连接超时、报告服务器下线通知、处理本地网络异常和测试数据传输双方的网络带宽。

本发明的有益效果是：依据数据传输端之间所处的网络环境，设计了一种新型的大数据量数据网络传输系统架构，实现了高效的即时数据传输与离线数据传输，而且数据量越大，即时数据传输方式的优势越明显。

附图说明

图1为本发明所述大数据量数据的网络传输系统的结构示意图；

图2为本发明实施例一中即时数据传输的工作原理图；

图3为本发明实施例一中数据离线上传的工作原理图；

图4为本发明实施例一中数据离线下载的工作原理图。

附图中，各标号所代表的部件列表如下：

1、大数据量数据传输系统架构，2、数据处理模块，3、数据管理模块，4、数据传输模块，5、网络监测模块，6、即时数据传输模块，7、离线数据传输模块。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例一依据开放互联网参考模型，设计了一种大数据量数据传输系统架构1，主要包括数据处理模块2、数据管理模块3、数据传输模块4和网络监测模块5。