[发明专利]一种直播数据处理方法和装置

说明书

本发明提供了一种直播数据处理方法和装置，涉及大数据技术领域，主要解决了电视直播数据上报离散而无法直接使用的技术问题。该发明包括：获取直播数据的原始数据；对所述原始数据进行预处理，得到有效数据；对所述有效数据进行数据清洗，得到时间点数据，所述时间点数据为对应每个直播终端，上报时间区间内的各个时间点均有一条数据，相邻两个时间点的时间间隔为预设时间间隔；对所述时间点数据进行后处理，得到预设类别的产品数据。因此，本发明将离散无序的直播数据处理成线性有序数据，并解决90％以上的直播数据指标，统一之后的频道时段与节目时段数据；还满足大部分离线数据处理的业务需求，方便后期的数据融合，快速提升数据质量。

技术领域

本发明涉及大数据技术领域，尤其涉及一种直播数据处理方法和装置。

背景技术

直播数据处理问题是所有直播相关行业面临的相同问题，其中，包括电视端、手机端等。而在电视端数据离散更为普遍，因为电视端的内存，网络带宽，采集服务器成本等资源限制，导致直播数据不能按每分钟一条这种方式上报，更不可能按秒级别上报。常规的情况是每2分、4分或更长的间隔上报数据(也包含一分钟多条情况)，基于不同数据源，不同厂商，不同的终端sdk版本，导致出入非常大。基于以上问题，直播数据处理问题变成一个挑战。

当前业界数据处理方式比较多，但主要有两种：

(1)企业级大数据产品

主要部署在运营商的云服务器，将小数据量的tsv，csv上传到云服务器，进行简单的数据清洗。比如，抽取某几个字段，将某个字段改个格式，简单做个聚合等，但对于离散的直播数据，因为无法对数据进行行级处理，对此情况该类大数据产品彻底无能为力。

(2)传统的数据处理方式

主要部署在企业内部服务器，直播相关指标(每分钟在线，收视率，时长份额，频道/节目流入流出等)需要单独开发，缺点是耗时长，质量完全由开发人员水平决定，分析师无法直接使用数据，无法做数据对比，数据校验困难，不同数据源数据需要单独处理，多数据源合并难度大，交付时间周期长。

发明内容

本发明其中一个目的是为了提出一种直播数据处理方法和装置，解决了现有技术中电视直播数据上报离散而无法直接使用的技术问题。本发明优选实施方案中能够达到诸多有益效果，具体见下文阐述。

为实现上述目的，本发明提供了以下技术方案：

本发明的一种直播数据处理方法，其包括：

获取直播数据的原始数据；

对所述原始数据进行预处理，得到有效数据；

对所述有效数据进行数据清洗，得到时间点数据，所述时间点数据为对应每个直播终端，上报时间区间内的各个时间点均有一条数据，相邻两个时间点的时间间隔为预设时间间隔；

对所述时间点数据进行后处理，得到预设类别的产品数据。

进一步的，所述获取直播数据的原始数据，包括：

从统一的云存储内获取各个直播终端的直播数据的原始数据，其中，所述各个直播终端采用预设的命令行工具将各自的直播数据的原始数据上传到所述统一的云存储。

进一步的，所述对所述原始数据进行预处理，得到有效数据，包括：

检查所述原始数据的格式和/或字段；

若所述原始数据的格式为预设格式且所述原始数据的字段包括预设字段，则对所述原始数据进行精简处理，所述精简处理包括：过滤、压缩、备份中的一项或多项；

根据业务需求，对所述精简后的原始数据进行数据抽取，得到有效数据。

进一步的，所述预设格式包括：tsv格式、csv格式、或json格式；和/或，