[发明专利]一种流媒体日志合并方法

说明书

本发明涉及一种流媒体日志合并方法，多gpfdist数据源就地初始化处理流媒体日志为格式化数据，利用greenplum数据库外部表与gpfdist数据源并行高速加载数据，对不同日志记录分类合并处理，重构数据配置。利用了分布式数据库、大规模并行处理架构、SQL语言，实现流媒体播放日志等相似数据聚合方法。加快流媒体日志合并，减少资源和人力的投入。可以多台数据源服务器和分布式数据库高速并行加载，提高了数据加载吞吐率，通过分布式数据库相关技术分散了各业务标识数据，在相似数据的聚合上具有实用性。适用于CDN日志聚合、用户行为日志缩量。

技术领域

本发明涉及一种数据存储技术，特别涉及一种流媒体日志合并方法。

背景技术

信息爆炸时代产生的大量音视频资源，流媒体技术及相关产品将更广泛的应用于视频点播、直播、远程教育等，对流媒体播放产生的海量日志文件,现在常规日志文件直接存储于服务器中，占用大量内存，并且日志文件中存有访问倾向特征，在反复调用后会严重影响系统的性能，不利于后续快速调用日志文件，因此对日志文件的处理提出新要求。

发明内容

针对海量日志文件存储问题，提出了一种流媒体日志合并方法，使用分布式数据库greenplum技术处理流媒体日志，在满足业务需求的情况下，使用多台服务器高效并发灵活可控的处理流程。对从CDN(内容分发网络)厂商下载的流媒体原始日志格式化为结构化数据，使用分布式数据库greenplum加速聚合流量、时长、播放时间等属性，并替换合并其他业务参数值。

本发明的技术方案为：一种流媒体日志合并方法，多gpfdist数据源就地初始化处理流媒体日志为格式化数据，利用greenplum数据库外部表与gpfdist数据源并行高速加载数据，对不同日志记录分类合并处理，重构数据配置。

进一步，所述对不同日志记录分类合并处理的具体实现方法：创建外部表对应的实体表，并实际加载外部表数据至实体表，再通过greenplum数据库支持的标准SQL聚合语句对相同业务标识的日志进行合并存储。

进一步，所述不同日志记录分类合并处理包括相同业务标识数据的聚合处理，多厂商多时段数据协同处理。

一种CDN流媒体日志合并方法，具体包括如下步骤：

1)准备多台服务器并搭建gpfdist服务作为gpfdist数据源服务器；

2)将各CDN厂商及企业源服务器的流媒体播放日志下载到多台gpfdist服务器，每台gpfdist服务器对下载的流媒体播放日志进行结构解析格式化预处理，即服务器输出的日志数据为统一的结构格式；

3)创建greenplum数据库外部表对应上述多台gpfdist服务器，外部表按不同时段、不同CDN对应gpfdist服务器不同文件，分散数据源进行存储；

4)将上述外部表加载到greenplum数据库实体表，greenplum集群内各实例segment连接gpfdist服务器并行抽取数据；

5)查询上述实体表并通过group语句聚合相同业务标识的预处理日志对需要的流量、时长进行合并，并对播放时间取最早和最晚作为同一次播放的开始和结束时间。

一种流媒体日志合并系统，包括多地服务器和一个greenplum数据库集群，多地服务器利用gpfdist就地下载处理流媒体日志，greenplum数据库集群从多地服务器并行高速加载数据，greenplum数据库集群对日志记录分类合并。

本发明的有益效果在于：本发明流媒体日志合并方法，利用了分布式数据库、大规模并行处理架构、SQL语言，实现流媒体播放日志等相似数据聚合方法。加快流媒体日志合并，减少资源和人力的投入。可以多台数据源服务器和分布式数据库高速并行加载，提高了数据加载吞吐率，通过分布式数据分散了各业务标识数据，在相似数据的聚合上具有实用性。适用于CDN日志聚合、用户行为日志缩量。