[发明专利]一种流媒体日志合并方法

权利要求书

1.一种流媒体日志合并方法，其特征在于，多gpfdist数据源就地初始化处理流媒体日志为格式化数据，利用greenplum数据库外部表与gpfdist数据源并行高速加载数据，对不同日志记录分类合并处理，重构数据配置。

2.根据权利要求1所述流媒体日志合并方法，其特征在于，所述对不同日志记录分类合并处理的具体实现方法：创建外部表对应的实体表，并实际加载外部表数据至实体表，再通过标准greenplum数据库支持的SQL聚合语句对相同业务标识的日志进行合并存储。

3.根据权利要求1所述流媒体日志合并方法，其特征在于，所述不同日志记录分类合并处理包括相同业务标识数据的聚合处理，多厂商多时段数据协同处理。

4.一种CDN流媒体日志合并方法，其特征在于，具体包括如下步骤：

1)准备多台服务器并搭建gpfdist服务作为gpfdist数据源服务器；

2)将各CDN厂商及企业源服务器的流媒体播放日志下载到多台gpfdist服务器，每台gpfdist服务器对下载的流媒体播放日志进行结构解析格式化预处理，即服务器输出的日志数据为统一的结构格式；

3)创建greenplum数据库外部表对应上述多台gpfdist服务器，外部表按不同时段、不同CDN对应gpfdist服务器不同文件，分散数据源进行存储；

4)将上述外部表加载到greenplum数据库实体表，greenplum集群内各实例segment连接gpfdist服务器并行抽取数据；

5)查询上述实体表并通过group语句聚合相同业务标识的预处理日志对需要的流量、时长进行合并，并对播放时间取最早和最晚作为同一次播放的开始和结束时间。

5.根据权利要求1至4所述任意一种流媒体日志合并方法构建的系统，其特征在于，包括多地服务器和一个greenplum数据库集群，多地服务器利用gpfdist就地下载处理流媒体日志，greenplum数据库集群从多地服务器并行高速加载数据，greenplum数据库集群对日志记录分类合并。