[发明专利]数据仓库的数据处理基础架构

说明书

技术领域

本发明涉及一种数据处理的硬件结构，特别是涉及一种海量数据处理的硬件结构。

背景技术

在集团企业中实施ERP中，集团中的有限公司会采用独立的ERP专业系统，例如在集团公司采用完整的SAP的开发、测试、采集调试和生产等专业系统，而在不同的二级企业也会采用完整的开发、测试、采集调试和生产系统，但是集团层面建立数据仓库时对来自不同专业系统的数据处理会出现以下问题：

由于数据来源于两套业务系统，集团和有限公司的业务数据，如采购订单、销售订单等等，可能会出现编码范围重复。

由于数据来源于两套业务系统，集团和有限公司的主数据，包括人力数据、物料编码等等，可能会出现编码重复。

发明内容

本发明的目的是提供一种数据仓库的数据处理基础架构，利用改变数据仓库与并行系统数据处理的基础硬件架构，解决现有并行的业务系统数据无法在数据仓库进行有效数据处理的技术问题。

本发明的数据仓库的数据处理基础架构，包括第二核心交换机、虚拟局域网交换机、第一光纤交换机和第二光纤交换机，还包括第一并行专业系统硬件服务器群、数据仓库硬件服务器群和第二并行专业系统硬件服务器群，各服务器群分别与第二核心交换机、虚拟局域网交换机、第一光纤交换机和第二光纤交换机建立通信链路。

所述第一并行专业系统硬件服务器群包括第一开发服务器、第一测试服务器、第一采集与调试服务器和第一生产服务器，各服务器分别包括四个数据端口，每个服务器的第一数据端口连接第二核心交换机，每个服务器的第二数据端口连接虚拟局域网交换机，每个服务器的第三数据端口连接第一光纤交换机，每个服务器的第四数据端口连接第二光纤交换机。

所述数据仓库硬件服务器群包括第二开发服务器、第二测试服务器、第二采集与调试服务器、第三采集与调试服务器和第二生产服务器，各服务器分别包括四个数据端口，每个服务器的第一数据端口连接第二核心交换机，每个服务器的第二数据端口连接虚拟局域网交换机，每个服务器的第三数据端口连接第一光纤交换机，每个服务器的第四数据端口连接第二光纤交换机。

所述第二并行专业系统硬件服务器群包括第四采集与调试服务器和第三生产服务器，各服务器分别包括四个数据端口，每个服务器的第一数据端口连接第二核心交换机，每个服务器的第二数据端口连接虚拟局域网交换机，每个服务器的第三数据端口连接第一光纤交换机，每个服务器的第四数据端口连接第二光纤交换机。

还包括日志服务器，第一存储服务器、第二存储服务器和磁带机，实例服务器，核心数据库服务器；核心数据库服务器的第一组电数据端口与第一核心交换机建立冗余数据链路，核心数据库服务器的第二组电数据端口与第二核心交换机建立冗余数据链路，核心数据库服务器的第三组电数据端口与虚拟局域网交换机的不同网段建立数据链路，实例服务器的第一组电数据端口与第一核心交换机建立冗余数据链路，实例服务器的第二组电数据端口与虚拟局域网交换机的不同网段建立数据链路。核心数据库服务器的第一组光数据端口与第一光纤交换机建立数据链路，核心数据库服务器的第二组光数据端口与第二光纤交换机建立数据链路。第一光纤交换机和第二光纤交换机通过光数据端口分别与日志服务器，第一存储服务器、第二存储服务器和磁带机建立数据链路。

在第一开发服务器和第二开发服务器上分别安装开发环境系统，在第一测试服务器和第二测试服务器上分别安装测试环境系统，在第一采集与调试服务器、第二采集与调试服务器和第四采集与调试服务器上分别安装真实环境调试系统，在第一生产服务器、第二生产服务器和第三生产服务器上分别安装正式生产系统；还包括配置装置、信号装置和传输装置；

配置装置，用于接收并行系统中，相同软件专业系统的数据和信号，完成对数据和信号来源的定义，并输出；

信号装置，用于接收并行系统的数据和信号，完成相同软件专业系统中相同类型数据的标志和区分，并输出；

传输装置，用于将并行系统中各软件专业系统的数据和信号进行匹配，完成数据校验后传输至数据仓库的对应软件专业系统。

利用所述的数据仓库的数据处理基础架构，进行数据仓库软件专业系统部署时，包括以下步骤：

在数据处理基础架构上的相应服务器上部署开发、测试、采集调试和生产专业软件系统；

在配置装置中设置区分并行专业系统相同对象模型的参考数据；

在信号装置中设置区分并行专业系统相同类型数据的标志信号；