[发明专利]一种实现数据处理的方法及装置

说明书

本申请公开了一种实现数据处理的方法及装置，包括：分别上传各个互联网数据中心(IDC)机房的原始数据文件到数据集群；将上传至数据集群的各个IDC机房的原始数据文件按照分析需分别求进行格式转换获得各IDC机房相应的转换数据文件；将各IDC机房的转换数据文件分别写入数据集群。本发明通过直接将原始数据文件上传到数据集群，按照分析数据进行格式转换后再进行写入，避免了以数据库数据信息进行数据存储过程中原始数据汇聚和转换为数据库数据信息的并发压力，提高了数据处理的工作效率。

技术领域

本申请涉及大数据领域，尤指一种实现数据处理的方法及装置。

背景技术

当前针对电信数据进行数据存储时，将各个互联网数据中心(IDC)机房的原始数据转换为数据库数据信息，将数据库数据信息写入到数据集群中进行存储，图1为现有的数据处理系统的结构框图，如图1所示，为了避免数据库数据信息直接写入数据集群造成数据积压，需要将原始数据汇聚到省汇聚服务器后，通过省汇聚服务器将汇聚的原始数据转换为数据库数据信息传输到数据集群中，数据处理工作效率低；目前，提高数据处理工作效率主要通过增加硬件设备提升数据处理能力来实现，成本较大。另外，数据集群对数据库数据信息按照磁盘阵列(RAID)方式进行数据备份，存在数据冗余(只能利用百分之70左右)，浪费了大量的数据集群的存储资源。

发明内容

为了解决上述问题，本发明提供一种实现数据处理的方法及装置，能够提高数据处理的工作效率和降低数据冗余。

为了达到本发明的目的，本申请提供一种实现数据处理的方法，包括：

分别上传各个互联网数据中心IDC机房的原始数据文件到数据集群；

将上传至数据集群的各个IDC机房的原始数据文件按照分析需分别求进行格式转换获得各IDC机房相应的转换数据文件；

将各IDC机房的转换数据文件分别写入数据集群。

进一步地，上传原始数据文件具体包括：以预设时长为周期，分别上传各个互联网数据中心IDC机房的原始数据文件到所述数据集群的缓存；

所述预设时长根据分析需求的最小数据量级进行确定。

进一步地，分析需求包括：分析所需的协议、和/或访问网址、和/或访问端口、和/或外网网络之间互连的协议IP、和/或上网时间及时长。

进一步地，将各IDC机房的转换数据文件分别写入数据集群具体包括：通过预先为各IDC机房分别建立的一个或一组应用程序编程接口API函数作为文件写入函数，将各IDC机房的所述转换数据文件分别写入所述数据集群。

进一步地，该方法还包括：

将所述数据集群区分为两个或两个以上分区区域后，将所述转换数据文件在各个分区区域分别进行备份。

另一方面，本申请还提供一种实现数据处理的装置，包括：上传单元、格式转换单元和写入单元；其中，

上传单元，用于分别上传各个IDC机房的原始数据文件到数据集群；

格式转换单元，用于将上传至数据集群的各个IDC机房的原始数据文件按照分析需分别求进行格式转换获得各IDC机房相应的转换数据文件；

写入单元，用于将各IDC机房的转换数据文件分别写入数据集群。

进一步地，上传单元具体用于，

以预设时长为周期，分别上传各个IDC机房的原始数据文件至所述数据集群的缓存；

所述预设时长根据分析需求的最小数据量级进行确定。

进一步地，分析需求包括：分析所需的协议、和/或访问网址、和/或访问端口、和/或外网网络之间互连的协议IP、和/或上网时间及时长。