[发明专利]一种新媒体一体化运营管理用数据采集分析系统

权利要求书

1.一种新媒体一体化运营管理用数据采集分析系统，其特征在于：包括：资源管理模块、数据采集模块、数据存储模块、数据处理模块、数据分析模块、数据管理模块、应用服务模块；

所述资源管理模块用于操作系统的安装部署和硬件虚拟化、大数据群的自动化部署；

数据采集模块用于对IPTV、网站、微信矩阵以及移动客户端各平台用户的访问、浏览、点击情况进行采集；

数据存储模块用于存储采集数据及处理结果数据；

数据处理模块用于对采集数据的清洗与管理、用户数据的生产、过滤条件的管理，以及对用户数据的计算、分析与处理；

数据分析模块用于数据的抽取、转换、清洗和加载处理，提供数据检查规则定义、数据质量报告、计划任务管理、异常管理功能，及时对数据处理方案定义，实现海量数据的加载；

数据管理模块用于将获取到的数据进行基于各种算法的建模与挖掘；

应用服务模块用于将数据分析结果应用到决策过程中以解决实际问题，数据分析的结果最终要提供给外部客户和公司内部使用。

2.根据权利要求1所述的一种新媒体一体化运营管理用数据采集分析系统，其特征在于：所述资源管理模块包括操作系统的自动部署单元和大数据群的自动部署单元；

所述数据采集模块包括终端采集单元、认证配置单元、前置采集单元、中心数据汇聚单元、分布式存储与计算单元和实时统计单元；

所述数据存储模块包括分布式存储系统单元、分布式数据库单元、关系型数据库单元；

所述数据处理模块包括并行数据采集和导出单元、流程管理单元、云数据管理单元、实时数据采集单元；

所述数据分析模块包括分析引擎单元、分布式计算引擎单元、流计算引擎、实时数据处理单元；

所述数据管理模块包括第三方数据管理单元、媒体数据中心数据管理单元；

所述应用服务模块包括用户服务单元、电视台内部服务单元、企业政府服务单元。

3.根据权利要求1所述的一种新媒体一体化运营管理用数据采集分析系统，其特征在于：所述数据处理模块还包括数据抽取单元，所述数据抽取单元用于根据用户系统的数据内容自动进行优化处理，依据数据格式、数据量、系统负载效率信息自动选用相关的优化策略进行优化，保证海量数据提取的效率和质量。

4.根据权利要求1所述的一种新媒体一体化运营管理用数据采集分析系统，其特征在于：所述数据分析模块还包括数据处理适配器，用于提高数据抽取的效率，对用户配置的数据进行转换，转换包括：

计算字段转换：使用公式体系进行数据计算；

多播转换：将一个输入定向到多个输出；

查找转换：对字段进行字典表查找或统计操作；

分组统计转换：对输入数据进行分组汇总和统计；

合并行转换：将多行输入合并为一行输出；

拆分行转换：将一行输入拆分为多行输出；

表关联转换：将两张输入表进行关联输出；

排序转换：对输入数据进行排序；

冗余分拣转换：对重复的数据进行分拣处理；

过滤转换：按一定的业务规则对数据进行过滤处理，使用公式描述规则。

5.根据权利要求1所述的一种新媒体一体化运营管理用数据采集分析系统，其特征在于：所述数据分析模块还包括数据检查适配器，用于对抽取数据进行检查，具体检查包括：

文件名规则检查：通过系统的模式匹配引擎，对文件命名进行约束，通过定义文件命名模式规则剔除命名错误的文件；

数据格式检查：对传入的文本数据或数据库数据，可以通过系统内置的错误检查函数进行检查，分拣格式错误的数据输入；

数据完整性检查：通过定义一些字典表、维度表、数据参照表对抽取数据进行完整性分析，剔除数据中的不合法数据，或对错误数据进行重定向输出；

数据类型映射检查：对于错误的数据类型映射，一部分错误系统在实施阶段即可进行检查，并且该检查处理是在用户配置方案的同时实时进行；另一部分错误情况可能是由于后期数据源或目标调整造成，在执行时可以进行识别并进行重定向处理，记录相关的日志信息。