[发明专利]一种数据处理系统

权利要求书

1.一种数据处理系统，其特征在于，包括：数据计算调度装置、文件服务器、数据分析引擎、ETL服务器和数据库，其中，

所述数据计算调度装置中的服务通过springMVC框架实现，用于将采集到的数据保存至文件服务器，根据采集到的数据生成计算任务加入到所述数据计算调度装置中的消息队列中，并将数据发送给ETL服务器和数据库；

ETL服务器用于对所述数据进行处理并将处理标记保存至数据库，将计算结果发送至所述数据计算调度装置中的ETL结果队列；

数据分析引擎对所述数据计算调度装置的队列中的数据进行分析，并将计算结果发送至所述数据计算调度装置中的计算结果队列和数据库。

2.根据权利要求1所述的数据处理系统，其特征在于，所述数据计算调度装置，包括：

数据维护模块，用于采集收视数据并保存至文件服务器，根据采集到的收视数据生成计算任务加入到所述数据计算调度装置中的收视队列中；

收视模块，用于根据所述收视队列中的计算任务对收视数据进行解析，将解析后的收视数据发送至ETL服务器和数据库，以及，将ETL结果队列中的收视数据计算结果发送至数据分析引擎。

3.根据权利要求1所述的数据处理系统，其特征在于，所述数据分析引擎进一步用于在对所述ETL结果队列中的数据进行分析的过程中，将各个阶段状态保存至数据库中。

4.根据权利要求2所述的数据处理系统，其特征在于，所述数据计算调度装置，进一步包括：

新媒体模块，用于根据采集到的收视数据以及预先设置的新媒体分析指标，对所述收视数据中与所述新媒体分析指标相关的新媒体数据进行解析，将解析后的新媒体数据发送至ETL服务器和数据库，以及，将所述数据计算调度装置的新媒体队列中的新媒体数据计算结果发送至数据分析引擎。

5.根据权利要求2所述的数据处理系统，其特征在于，所述数据计算调度装置，进一步包括：

综合评价模块，用于根据采集到的收视数据以及预先设置的综合评价分析指标，对所述收视数据中与所述综合评价分析指标相关的综合评价数据进行解析，将解析后的综合评价数据发送至ETL服务器和数据库，以及，将所述数据计算调度装置的综合评价队列中的综合评价数据计算结果发送至数据分析引擎。

6.根据权利要求1所述的数据处理系统，其特征在于，所述数据分析引擎对所述数据计算调度装置的队列中的数据进行分析，包括：

对所述数据计算调度装置的队列中的收视样本数据、收视特征数据、CSM频道表、CSM节目单进行清洗；

根据收视样本数据、收视特征数据、CSM频道表、CSM节目单计算得到指标元数据。

7.根据权利要求6所述的数据处理系统，其特征在于，根据收视样本数据、收视特征数据、CSM频道表、CSM节目单计算得到指标元数据，包括：

对收视样本数据的用户字段uid和用户行为mid字段进行分组聚合，计算得到用户收视行为数据；

对所述用户收视行为数据进行时间分组，得到用户收视行为每分钟数据；

根据收视特征数据对用户字段uid聚合得到用户信息表数据；

将用户信息表数据与用户收视行为每分钟数据进行连接，得到用户收视行为及权重每分钟数据；

将所述用户收视行为及权重每分钟数据与CSM频道表和CSM节目单关联标签，得到频道每分钟观众流动详情表数据；

根据频道每分钟观众流动详情表数据确定频道每分钟用户的流入流出情况。