[发明专利]一种数据处理系统在审
| 申请号： | 201810004876.1 | 申请日： | 2018-01-03 |
| 公开（公告）号： | CN108228830A | 公开（公告）日： | 2018-06-29 |
| 发明（设计）人： | 蔡念;刘广聪 | 申请（专利权）人： | 广东工业大学 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30;G06F21/60;G06F21/62;G06F11/14;G06F11/30;G06F11/32 |
| 代理公司： | 北京集佳知识产权代理有限公司 11227 | 代理人： | 罗满 |
| 地址： | 510006 广东省*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 目标数据 数据处理系统 原始数据 大数据 预设 分布式存储方式 存储目标数据 数据安全模块 数据采集模块 异构数据库 采集方式 存储检索 计算模块 开发工具 科研实践 实时计算 事故发生 事故预测 数据治理 算法模型 预设数据 第三方 实时流 图形化 备份 异构 运维 整合 加密 数据库 追踪 修正 一体化 挖掘 检测 创建 科研 统一 服务 教育 | ||
1.一种数据处理系统，其特征在于，包括：
数据采集模块，用于根据预设数据采集方式，获取原始数据；
数据治理模块，用于对所述原始数据进行修正，获得目标数据；
存储检索模块，用于将所述目标数据以分布式存储方式存入预设一体化异构数据库中，并对外提供检测服务；
实时计算模块，用于基于Spark Stream对实时流数据进行计算；
挖掘计算模块，用于基于预设的算法模型对所述目标数据进行计算；
科研实践模块，用于创建图形化的大数据科研平台；
统一API模块，用于整合各类型异构的数据库的接口，和对接第三方BI开发工具；
数据安全模块，用于在存储所述目标数据之前，对所述目标数据进行加密和/或备份；
运维模块，用于进行事故预测和事故发生后进行追踪。
2.根据权利要求1所述的数据处理系统，其特征在于，存储检索模块，具体用于采样编码容错技术对所述目标数据进行处理之后，以分布式存储方式存入预设一体化异构数据库中，并对外提供检测服务。
3.根据权利要求1所述的数据处理系统，其特征在于，所述数据采集模块，具体用于根据预设数据采集方式，获取原始数据，所述预设数据采集方式包括接口读取、数据库获取、网络爬虫或智能录入。
4.根据权利要求1所述的数据处理系统，其特征在于，所述数据治理模块，具体用于对所述原始数据修复缺失数据、纠正错误数据和对不可用数据进行适配，获得目标数据。
5.根据权利要求1所述的数据处理系统，其特征在于，所述预设一体化异构数据库为融合了Mysql、Oracle、HDFS和HIVE的数据库。
6.根据权利要求1所述的数据处理系统，其特征在于，所述实时计算模块，包括：
实时流数据获取单元，用于基于Flume获取实时流数据；
实时流数据调度单元，用于基于Kafka调度所述实时流数据；
实时流数据聚合单元，用于通过预设实时流数据聚合技术将所述实时流数据聚合；
流数据计算单元，用于采样Spark Stream对实时流数据进行计算。
7.根据权利要求1所述的数据处理系统，其特征在于，所述实时计算模块，具体用于对实时流数据进行分片之后，基于Spark Stream对实时流数据进行计算。
8.根据权利要求1所述的数据处理系统，其特征在于，所述挖掘计算模块，具体用于基于大数据算法和/或机器学习算法模型，对所述目标数据进行计算。
9.根据权利要求1所述的数据处理系统，其特征在于，所述存储检索模块，具体用于将所述预设一体化异构数据库中的数据进行压缩。
10.根据权利要求1至9任一项所述的数据处理系统，其特征在于，所述数据处理系统为处理教育大数据的系统。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于广东工业大学，未经广东工业大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201810004876.1/1.html，转载请声明来源钻瓜专利网。
- 上一篇：用于生成信息的方法和装置
- 下一篇：一种智能音乐推荐系统
