[发明专利]分析用户业务量的方法和系统

说明书

本申请公开了分析用户业务量的方法和系统。所述方法的一具体实施方式包括：单机节点以分钟为间隔执行以下第一操作流程：获取具有同一时间戳的请求日志，从请求日志中解析初始业务量数据，合并属于同一用户的初始业务量数据，得到第一业务量数据，发送第一业务量数据至数据处理节点；数据处理节点以分钟为间隔执行以下第二操作流程：根据用户信息，合并来自于不同单机节点且具有同一时间戳的第一业务量数据，得到第二业务量数据，发送第二业务量数据至业务节点；业务节点根据接收的第二业务量数据，分析用户业务量。该实施方式减少了不必要的重复数据的传输，且计算延迟较低。

技术领域

本申请涉及计算机通信技术领域，具体涉及互联网通信数据传输技术领域，尤其涉及分析用户业务量的方法和系统。

背景技术

为了满足用户对业务量的分析结果(例如根据业务量得到的计费结果)的需求，对象存储系统需要根据用户的业务量数据(流量数据、容量数据和应用程序编程接口API的调用数据等)进行实时业务结算，具有数据量大、实时性要求高的特点。一方面，对象存储系统的海量用户导致了需要分析的数据量巨大，会对数据传输和后端的分析服务造成较大的压力。另一方面，对象存储系统要求对每个用户的业务量数据间隔一分钟记录一次，用户的操作要在几分钟之内展现在图表当中以供查看，对实时性提出了很高的要求。

目前，分析这种密集更新的业务量数据的方法主要有两种：一种是将用户请求日志传输到分布式系统基础架构Hadoop之类的大规模数据批处理平台上，统一进行分析；另一种方法是使用内存数据库对数据的更新进行缓存，然后再将数据推送给后端完成业务量数据分析的业务节点。

然而，如果使用Hadoop之类的大规模数据批处理平台，首先，数据需要凑齐一个批次才能够进行分析，计算延迟比较高；其次，由于Hadoop本身就是针对大吞吐量而非低延迟进行设计和优化的，每个作业任务之间还需要进行同步和调度，数据在不同节点之间传输，都会引入新的延迟。如果考虑到实时性，以分钟为间隔对数据进行批处理，则会在分布式文件系统HDFS中产生大量的小文件，从而给元数据服务器MetaServer造成很大压力。如果以小时为间隔对数据进行批处理，则用户需要等待一段时间才能查询到上一小时的数据。如果使用内存数据库，由于大部分内存数据库都不提供完整的持久化支持。因此只能间隔一段时间产生一份内存数据快照，如果在间隔的这段时间内系统宕机，则会丢失一部分修改。需要注意的是，如果在将数据发送给后端的业务节点后出现系统宕机的情况，而将内存中的数据删除这一改动还没有来得及同步到硬盘中，将会提供给用户额外的、不公平的业务结算结果。

发明内容

本申请的目的在于提出一种改进的分析用户业务量的方法和系统，来解决以上背景技术部分提到的技术问题。

第一方面，本申请提供了一种分析用户业务量的方法，所述方法包括：单机节点以分钟为间隔执行以下第一操作流程：获取具有同一时间戳的请求日志，从所述请求日志中解析初始业务量数据，合并属于同一用户的初始业务量数据，得到第一业务量数据，发送所述第一业务量数据至数据处理节点，其中，所述请求日志用于记录用户的业务量请求，所述时间戳的格式为年月日时分；所述数据处理节点以分钟为间隔执行以下第二操作流程：根据用户信息，合并来自于不同单机节点且具有所述同一时间戳的所述第一业务量数据，得到第二业务量数据，发送所述第二业务量数据至业务节点；所述业务节点根据接收的所述第二业务量数据，分析用户业务量。

第二方面，本申请提供了一种分析用户业务量的系统，所述系统包括：单机节点，用于以分钟为间隔进行以下操作：获取具有同一时间戳的请求日志，从所述请求日志中解析初始业务量数据，合并属于同一用户的初始业务量数据，得到第一业务量数据，发送所述第一业务量数据至数据处理节点,其中，所述请求日志用于记录用户的业务量请求，所述时间戳的格式为年月日时分；所述数据处理节点，用于以分钟为间隔进行以下操作：根据用户信息，合并来自于不同单机节点且具有所述同一时间戳的所述第一业务量数据，得到第二业务量数据，发送所述第二业务量数据至业务节点；所述业务节点，根据接收的所述第二业务量数据，分析用户业务量。