[实用新型]对海量数据文件进行传输处理的装置

说明书

技术领域

本实用新型涉及计算机数据文件处理技术领域，尤其是涉及一种对海量数据文件进行传输处理的装置。

背景技术

对于大型金融机构或企业来说，其计算机系统一般都需要对海量数据(又称为代理数据)文件进行批量处理，如代收费、代发工资等数据文件，这些海量数据的传输大都采用批量文件方式上传到核心处理系统。

考虑到计算机系统的处理效率和性能等因素，大型金融机构或企业一般规定了每天大批量文件传输的场次和时间，如一天分若干场次运行代理批量，代理数据文件按既定的场次时间提交到主机核心系统，再由主机运行人员启动相应批量处理模块。

这种传统处理方法其技术特点是批量交易数据量大，占用系统的资源较少，但交易处理完成时间比客户提交的时间延后较多。

可见，传统的处理方式存在以下的缺点：传统代理业务的海量数据文件批量场次要求固定，且必须人工参与处理，系统处理效率低，不够灵活。

实用新型内容

(一)要解决的技术问题

有鉴于此，本实用新型的主要目的在于提供一种对海量数据文件进行传输处理的装置，以解决目前对海量数据文件进行传输处理时效率低的问题，形成一种联机发起交易处理请求、批量执行数据处理的交易模式，以批量方式完成对各类外围平台系统提供的较大数据量业务数据文件的处理。

(二)技术方案

为达到上述目的，本实用新型采用的技术方案如下：

一种对海量数据文件进行传输处理的装置，该装置包括代理客户端01、代理服务器02、核心主机03和内部网络04，且代理客户端01、代理服务器02和核心主机03三者均连接于内部网络04，通过内部网络04进行数据传输；其中：

代理客户端01，通过内部网络连接于代理服务器02和核心主机03，收集海量数据文件，并将业务处理请求和收集的海量数据文件传输给代理服务器02；

代理服务器02，通过内部网络连接于代理客户端01和核心主机03，接收代理客户端01发送过来的业务处理请求和海量数据文件，对客户端发送的业务请求进行分类和解析，向核心主机03发起海量数据文件处理请求，并且接收处理结果，将结果反馈给代理客户端01；

核心主机03，通过内部网络连接于代理客户端01和代理服务器02，接收代理服务器02发起的海量数据文件处理请求，对接收的海量数据文件进行批量处理，然后将处理结果返回给代理服务器02；

内部网络04，连接代理客户端01、代理服务器02和核心主机03，实现代理客户端01、代理服务器02与核心主机03之间的数据交互。

上述方案中，所述代理服务器02包括通讯处理单元20、数据处理单元21和数据存储单元22，且通讯处理单元20、数据处理单元21和数据存储单元22三者相互连接，其中：

通讯处理单元20将接收的代理客户端01发送过来的业务处理请求和海量数据文件转发给数据处理单元21进行处理；

数据处理单元21接收到通讯处理单元20发送的业务处理请求和海量数据文件后，向核心主机03发起海量数据文件处理请求，接收处理结果，将处理结果反馈给代理客户端01，以及将处理结果存储到数据存储单元22中；

数据存储单元22存储代理数据处理过程中的控制参数，至少包括联机批量处理控制表和对照联机批量处理参数表。

上述方案中，所述通讯处理单元20包括数据接收模块201和数据转发模块202，其中：

数据接收模块201，接收代理客户端01发送过来的业务处理请求和海量数据文件，并转发给数据处理单元21进行处理；

数据转发模块202，利用序号发生器生成序号，该序号中利用两位交易序号用于区分应用来源，并发起联机交易请求，上送交易信息到数据处理单元21；同时将数据处理单元21返回的处理结果，再返传到代理客户端01。

上述方案中，所述数据处理单元21包括数据识别模块203、数据守候模块204、数据自检模块205和数据异常处理模块206，其中：

数据识别模块203，用于检查海量数据文件格式是否符合要求，并根据在服务器侧登记的联机批量处理参数检验是否在允许交易的时间段；

数据守候模块204，用于监测核心主机03返回的状态文件，并把核心主机03返回状态登记在服务器侧的联机批量处理控制表；

数据自检模块205，用于通过对照在服务器侧的联机批量处理参数表，检查在联机批量处理控制表内登记的各个交易是否超过单位时间，批量处理仍未达到整体成功状态；