[发明专利]一种面向广电网络的数据处理方法

说明书

本发明公开了一种面向广电网络的数据处理方法，包括以下步骤：步骤一，采集用户数据；步骤二，数据采集完成之后，利用前端设备对采集到的数据进行埋点；步骤三，对埋点后的数据进行分布式通讯；步骤四，对分布式的信息进行分析；步骤五，利用联机分析处理提供模型，并将分布式信息的分析结果导入到对应的模型中。本发明提供一种专用于广电网络的数据处理方法，能提升广电网络出局处理的效率，并且这种方法所对应的数据结构更优化，与广电网络的数据特点更匹配。

技术领域

本发明涉及一种数据处理方法，更具体地说，涉及一种面向广电网络的数据处理方法。

背景技术

广播电视是通过无线电波或导线传播声音、图像、视频的新闻传播工具。只播送声音的，称为声音广播；播送图像和声音的，称为电视广播。由信号发射端和众多接收端组成的广播电视网络，成为广电网络。

广电网络是通过无线电波或通过导线向广大地区播送音响、图像节目的传播媒介，统称为广播。只播送声音的，称为声音广播；播送图像和声音的，称为电视广播。狭义上讲，广播是利用无线电波和导线，只用声音传播内容的。广义上讲，广播包括我们平常认为的单有声音的广播及声音与图像并存的电视。

然而，现有技术在基于广电融合媒体的海量数据下，迫切需要针对新一代广电网络新媒体服务发展下的用户行为数据分析和决策辅助技术需求，研究支持融合业务的动态可扩展的用户兴趣模型。现有技术并没有充分的基于深度学习技术、内容分析和行为协作分析的个性化推荐等技术，也缺乏研制面向广电多网络多终端融合环境下的实时数据采集、缓存、分析系统，因此无法很好地支持海量的用户数据的实时管理与分析功能，实现无地域及业务差别的全国性广电用户数据管理。因此，传统广电网络面临着向互联网新媒体企业转型背景下的增值服务、信息推送、业务运营策略的转型困难。

发明内容

针对现有技术中存在的上述问题，本发明的目的是提供一种面向广电网络的数据处理方法。

为实现上述目的，本发明采用如下技术方案：

一种面向广电网络的数据处理方法，包括以下步骤：步骤一，采集用户数据；步骤二，数据采集完成之后，利用前端设备对采集到的数据进行埋点；步骤三，对埋点后的数据进行分布式通讯；步骤四，对分布式的信息进行分析；步骤五，利用联机分析处理提供模型，并将分布式信息的分析结果导入到对应的模型中。

进一步地，步骤一包括：对采集数据的格式进行统一定义，按照事件发生的主体、事件类别、事件涉及的属性、事件发生的时间、事件发生的位置以及事件的结果来定义日志信息，包括：应用标识域、设备信息域、用户标识域、动作事件域、动作对象域、动作时间域、动作地理域和动作结果域。

进一步地，步骤二包括：在hook底层的点击事件来做数据上报，在上报的地方统一做数据整理；通过UI元素的属性值来设置是否对该元素的点击事件上报，用于获取与元素相关联的其他元素的信息。

进一步地，步骤三包括：利用消息队列进行分布式应用间交换信息；消息队列驻留在内存或磁盘上,队列存储消息直到它们被应用程序读走。

进一步地，步骤四包括：利用Spark Streaming技术接收实时流的数据，并根据一定的时间间隔拆分成一批批的数据，然后通过Spark Engine技术处理一批批的数据，最终得到处理后的一批批结果数据。

进一步地，步骤五包括：利用联机分析处理引擎针对大数据量进行数据分析，通过基于Kylin的MOLAP的方式针对固定化的查询；基于SparkSQL的ROLAP方式针对处理交互式查询。

进一步地，消息队列为Message Queue模式；消息是一个字节数组，支持的数据格式包括String、JSON、Avro；每一个消息绑定一个键值；每一个消息只会发送给群组中的一个消费者，所有拥有相同键值的消息都会发给消费者。