[发明专利]一种实现数据处理的方法及装置有效
| 申请号： | 201510609088.1 | 申请日： | 2015-09-22 |
| 公开（公告）号： | CN105302865B | 公开（公告）日： | 2019-04-26 |
| 发明（设计）人： | 彭佳 | 申请（专利权）人： | 中国联合网络通信集团有限公司 |
| 主分类号： | G06F16/25 | 分类号： | G06F16/25 |
| 代理公司： | 北京安信方达知识产权代理有限公司 11262 | 代理人： | 韩辉峰;李丹 |
| 地址： | 100033 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 原始数据文件 数据集群 数据处理 转换数据文件 数据库数据 格式转换 上传 互联网数据中心 数据存储过程 分析数据 工作效率 写入数据 原始数据 集群 机房 并发 写入 汇聚 转换 申请 分析 | ||
1.一种实现数据处理的方法，其特征在于，包括：
分别上传各个互联网数据中心IDC机房的原始数据文件到数据集群；
将上传至数据集群的各个IDC机房的原始数据文件按照分析需求分别进行格式转换获得各IDC机房相应的转换数据文件；
通过预先为各IDC机房分别建立的一个或一组应用程序编程接口API函数作为文件写入函数，将各IDC机房的所述转换数据文件分别写入所述数据集群。
2.根据权利要求1所述的方法，其特征在于，所述上传原始数据文件具体包括：以预设时长为周期，分别上传各个互联网数据中心IDC机房的原始数据文件到所述数据集群的缓存；
所述预设时长根据分析需求的最小数据量级进行确定。
3.根据权利要求1或2所述的方法，其特征在于，所述分析需求包括：分析所需的协议、和/或访问网址、和/或访问端口、和/或外网网络之间互连的协议IP、和/或上网时间及时长。
4.根据权利要求1或2所述的方法，其特征在于，该方法还包括：
将所述数据集群区分为两个或两个以上分区区域后，将所述转换数据文件在各个分区区域分别进行备份。
5.一种实现数据处理的装置，其特征在于，包括：上传单元、格式转换单元和写入单元；其中，
上传单元，用于分别上传各个IDC机房的原始数据文件到数据集群；
格式转换单元，用于将上传至数据集群的各个IDC机房的原始数据文件按照分析需求分别进行格式转换获得各IDC机房相应的转换数据文件；
写入单元，用于通过预先为各IDC机房分别建立的一个或一组应用程序编程接口API函数作为文件写入函数，将各IDC机房的所述转换数据文件分别写入所述数据集群。
6.根据权利要求5所述的装置，其特征在于，所述上传单元具体用于，
以预设时长为周期，分别上传各个IDC机房的原始数据文件至所述数据集群的缓存；
所述预设时长根据分析需求的最小数据量级进行确定。
7.根据权利要求5或6所述的装置，其特征在于，所述分析需求包括：分析所需的协议、和/或访问网址、和/或访问端口、和/或外网网络之间互连的协议IP、和/或上网时间及时长。
8.根据权利要求5或6所述的装置，其特征在于，该装置还包括分区备份单元，用于将所述数据集群区分为两个或两个以上分区区域后，将所述转换数据文件在各个分区区域分别进行备份。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国联合网络通信集团有限公司，未经中国联合网络通信集团有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201510609088.1/1.html，转载请声明来源钻瓜专利网。
- 上一篇：一种空间数据转换的方法及系统
- 下一篇：可更换的取芯活检针
