[发明专利]一种数据处理系统

说明书

一种数据处理系统，其特征在于，包括：数据计算调度装置、文件服务器、数据分析引擎、ETL服务器和数据库，数据计算调度装置中的服务通过springMVC框架实现，用于将采集到的数据保存至文件服务器，根据采集到的数据生成计算任务加入到数据计算调度装置中的消息队列中，并将数据发送给ETL服务器和数据库；ETL服务器用于对数据进行处理并将处理标记保存至数据库，将计算结果发送至数据计算调度装置中的ETL结果队列；数据分析引擎对数据计算调度装置的队列中的数据进行分析，并将计算结果发送至数据计算调度装置中的计算结果队列和数据库。采用本申请中的方案，可以高质量的处理大量数据，并保证数据非常准确。

技术领域

本申请涉及广播电视技术，具体地，涉及一种数据处理系统。

背景技术

在对电视台的电视业务数据进行分析处理时，现有技术通常是利用RGui统计分析软件进行数据的采集、分析、挖掘和展示。然而，由于电视台的收视数据的数量非常庞大，RGui分析需要消耗很高的服务器内存，容易因内存管理不当导致服务器异常。

现有技术中存在的问题：

在收视数据非常大的情况下服务器出现异常。

发明内容

本申请实施例中提供了一种数据处理系统，以解决上述技术问题。

本申请实施例提供了一种数据处理系统，包括：数据计算调度装置、文件服务器、数据分析引擎、ETL服务器和数据库，其中，

所述数据计算调度装置中的服务通过springMVC框架实现，用于将采集到的数据保存至文件服务器，根据采集到的数据生成计算任务加入到所述数据计算调度装置中的消息队列中，并将数据发送给ETL服务器和数据库；

ETL服务器用于对所述数据进行处理并将处理标记保存至数据库，将计算结果发送至所述数据计算调度装置中的ETL结果队列；

数据分析引擎对所述数据计算调度装置的队列中的数据进行分析，并将计算结果发送至所述数据计算调度装置中的计算结果队列和数据库。

本申请实施例中提供的数据处理系统，将复杂的计算分解到多个服务器中，由数据计算调度装置、文件服务器、数据分析引擎、ETL服务器和数据库配合计算，将指标分配到不同模块计算，不需要集中处理计算，降低了单个服务器内存要求，采用本申请实施例中提供的数据处理系统，可以高质量的处理大量数据，并保证数据非常准确。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示出了本申请实施例一中数据处理系统的结构示意图；

图2示出了本申请实施例二中数据处理系统的结构示意图；

图3示出了本申请实施例二中电视分析各个指标的关系示意图；

图4示出了本申请实施例二中指标计算的模型示意图。

具体实施方式

为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例一

图1示出了本申请实施例一中数据处理系统的结构示意图。

如图所示，所述数据处理系统，包括：数据计算调度装置、文件服务器、数据分析引擎、ETL服务器和数据库，其中，