[发明专利]大数据联机分析处理方法及装置

摘要

本发明公开了一种大数据联机分析处理方法，包括入库步骤和查询步骤,经ETL处理的数据调度分配至计算节点进行聚合计算。本发明采用预计算结合压缩的方式解决大数据给OLAP带来的存储压力；通过冷热数据分离的方式，长期有效的存储历史数据；另外采用分布式计算，将计算压力分离，快速响应查询需求。本发明采用预计算结合压缩的方式解决大数据给OLAP带来的存储压力；通过冷热数据分离的方式，长期有效的存储历史数据；另外采用分布式计算，将计算压力分离，快速响应查询需求。

主权项

一种大数据联机分析处理方法，其特征在于，包括入库步骤和查询步骤，所述的入库步骤包括，将经ETL处理的数据读入内存并根据预先设定的时间粒度，按照维度加时间粒度做键值的方式进行累加计算，达到时间粒度上限时将内存中的数据块保存到本地磁盘；首先横向将所述的数据块按照时间戳及切分规则，将数据块切分成一个个的小文件；其次纵向根据维度列构建维度词典，并按照bitmap进行压缩使每列指标进行单独存储生成压缩数据；按照LRU算法，根据数据入库和使用情况将压缩数据分为冷热数据并分别存储；所述的查询步骤包括，查询发起后根据散列规则将查询任务下发到各个计算节点，计算节点准备数据并分别进行计算，各个计算节点将自身计算的结果数据发送给查询代理机，查询代理机对这些结果数据进行最后的汇总并返回。