[发明专利]一种实时数据分析方法及装置

摘要

本发明实施例提供一种实时数据分析方法及装置。所述方法包括应用程序模块向分布式缓存系统发送检索请求包括数据标识；分布式缓存系统若在索引结构中查询到相对应的索引和数据，则发送给应用程序模块，其中数据包括真实数据和\或指针数据；若应用程序模块判定数据包括指针数据，则向Spark计算系统发送查询请求包括指针数据；若Spark计算系统没有找到相对应的真实数据，则向HDFS存储系统发送加载指令至少包括指针数据；HDFS存储系统将与指针数据相对应的真实数据发送给Spark计算系统；Spark计算系统将真实数据汇总后得到汇总数据，并发送给应用程序模块。本发明实施例使分析系统能够处理海量数据的同时又保证了计算效率，并满足实时在线计算。

主权项

1.一种实时数据分析方法，其特征在于，所述方法包括：应用程序模块向分布式缓存系统发送检索请求，其中所述检索请求至少包括数据标识；所述分布式缓存系统根据检索请求，若在存储的索引结构中查询到与所述数据标识相对应的索引和数据，则将所述索引和所述数据发送给应用程序模块，其中所述数据包括真实数据和\或指针数据；若所述应用程序模块判定所述数据包括指针数据，则向Spark计算系统发送查询请求，其中所述查询请求至少包括所述指针数据；若所述Spark计算系统没有找到与所述指针数据相对应的真实数据，则向HDFS存储系统发送加载指令，其中所述加载指令至少包括所述指针数据；所述HDFS存储系统根据所述加载指令将与所述指针数据相对应的真实数据发送给所述Spark计算系统；所述Spark计算系统将接收到的所述真实数据汇总计算后得到汇总数据，并发送给所述应用程序模块。