[发明专利]基于云计算的数据分析系统SRC

摘要

本发明公开了一种基于云计算的数据分析系统SRC，其特征在于包括如下系统：（1）数据采集子系统；（2）数据下载子系统；（3）ETL子系统；（4）应用子系统；（5）系统管理子系统；（6）数据访问接口层：主要是提供访问CloudBase仓库、Mysql数据库以及ETL程序简单调用的抽象接口；借助对数据库、数据仓库中数据表的Select、Insert、Update、Delete等基本操作的封装，为上层应用子系统应用业务逻辑控制模块提供简单调用，从而降低应用子系统访问数据以及调用ETL子系统的复杂度。该基于云计算的数据分析系统SRC大大提高了系统处理效率和灵活性，缩短了系统处理时间。

主权项

一种基于云计算的数据分析系统SRC，其特征在于包括如下系统：（1）数据采集子系统：此子系统的工作主要由部署在城域网骨干层的DPI设备完成；DPI设备首先按照一定比例采集捕捉到的IP数据包，并拆包提取、检验数据是否为分析范围数据；如果数据符合提取条件，DPI设备将该数据包信息按照规定的格式保存到一条信息记录当中，当提取并生成的记录达到一定数量时，DPI设备将这些记录按照预定义命名规则保存到宽带日志文件中；（2）数据下载子系统：由于数据采集子系统与应用访问子系统通常部署在不同的机房或者不同地域，需要由数据下载子系统按照固定的周期将数据采集子系统生成的日志文件下载到SRC分析系统数据存储平台；SRC系统采用FTP方式每天定时下载采集子系统生成的日志数据并保存到SRC系统存储平台的HDFS中；（3）ETL子系统：此子系统为SRC功能模块的中枢，经过数据预处理、数据转换、数据清洗处理以及结果转存等步骤将大量原始日志数据转换为供应用子系统使用的精简有效数据，最终将精简处理结果转存到MySQL数据当中；在实现过程中ETL子系统通过调用Cloudbase数据仓库接口，大大简化了实现ETL功能程序的复杂度；Cloudbase是运行在Hadoop上的数据仓库软件，可以轻易地使用SQL语句对存储在Hadoop HDFS中的资料进行分析，分析的主要任务是剔除无效数据，并根据有效记录的关键字段进行有效记录合并；每次利用Cloudbase进行SQL语言查询时，Cloudbase会将SQL语句转换为MapReduce分布式并行计算任务来执行，采用MapReduce并行计算处理方式一方面克服了单机硬件配置的瓶颈，另一方面大大提高了系统处理能力，缩短了处理时间；（4）应用子系统：应用子系统就是为最终用户提供各种宽带分析功能的访问层，包括电子渠道分析、电子渠道对比、3G移动业务分析、报表查询搜索等功能模块，主要负责提供友好的用户访问界面与处理业务功能访问请求，并将用户请求处理结果呈现给最终用户；（5）系统管理子系统：包括用户管理、权限管理、数据管理以及系统监控模块；其中数据管理功能实现对HDFS中日志数据和MySQL数据库中精简数据及挖掘数据的管理；（6）数据访问接口层：主要是提供访问CloudBase仓库、Mysql数据库以及ETL程序简单调用的抽象接口；借助对数据库、数据仓库中数据表的Select、Insert、Update、Delete等基本操作的封装，为上层应用子系统应用业务逻辑控制模块提供简单调用，从而降低应用子系统访问数据以及调用ETL子系统的复杂度。