[发明专利]从大数据中高效计算用户数的方法

说明书

技术领域

本发明涉及一种海量数据的计算技术，确切的说，涉及一种在数据分析系统中从大数据中高效计算用户数的方法，属于计算机数值分析与统计的技术领域。

背景技术

在竞争与机遇并存的数字化信息时代，数据的分析与统计以决策支撑因素的身份出现在经济、管理、规划和投资等许多相关领域，对反应和影响企业发展的重要数据进行实时收集和分析，及时反馈重要信息，以便能够客观地了解业务发展情况，有依据的提出一些新的建议和设想，为企业经营部门和决策层提供重要的决策依据。其中，对经营性企业来说，用户数指标是反映业务发展的一项关键指标。

在用户业务量不断增长的情况下，大数据环境下如何快速计算出用户数，已经成为数据分析系统必须解决的业务需求。在面对每天产生的上亿条用户使用日志进行大数据统计处理的计算中，用户数的计算是一个急需解决的难题和挑战。

目前，计算海量数据的现有技术通常采用的方法是：对一种维度（即某一个计算指标或参数，例如日期、不同业务等等）的统计需求就要对全部数据进行一次计算，具体方法是：最简单的分组、去重、求和的过程。用户数的计算过程是首先要在全部数据中排除重复用户的标识，然后计算排重后的用户数量。当增加统计维度时，还需要重新进行排重的操作与计算，其计算量非常巨大和耗时。例如：要对一天的日志分别计算网络类型和业务类型的用户数时，按照现有技术的方法，需要扫描两次日志文件：第一次计算网络类型的用户数，第二次计算业务类型的用户数。当需要两种类型的组合用户数时，还需要进行一次扫描计算，而每一次的扫描与统计都会占用大量的计算机资源。因此，如何解决从大数据中高效计算用户数的方法，就成为业内科技人员关注的新焦点。

发明内容

有鉴于此，本发明的目的是提供一种从大数据中高效计算用户数的方法，本发明方法能够在大数据中计算不同维度的用户数，不仅计算速度快捷、高效，节约了计算资源，还能够保证计算结果准确、运算方式灵活、方便；具有很好的实用价值。

为了达到上述目的，本发明提供了一种从大数据中高效计算用户数的方法，其特征在于：所述方法包括下列操作步骤：

（1）位置标识、即对用户数据进行预处理：为每个用户配置一个数字标识，作为其唯一的用户标识，且保证每个用户的数字标识是连续的，用于在二进制数据计算过程中表示该用户所在的二进制位的位置；再将用户标识和数字标识的对应关系加载于计算机内存，形成“用户名：数字标识”键值对的数据结构；

（2）位置计算、即该方法的核心操作：从大数据中扫描一部分用户数据，并逐条进行数据处理：先对其中每个用户数据找出用户标识，再从内存键值对中分别获取其对应的数字标识，并将该数字标识存储到链表List数据结构中；且在存储过程中执行去重处理，保证该链表中没有相同的数字标识；然后将该链表转换成内存中的位对象，使得该位对象的数字标识位置为1；

（3）位置存储：利用数据库中存储二进制大对象文件的容器BLOB（BINARY LARGE OBJECT），将步骤（2）计算获得的List数据结构中的二进制位置信息从计算机内存中存储到计算机磁盘上：把二进制数据中对应数字位置成1，其他位都置成0，并存储于磁盘，以供对其进行查询和增量计算；

所述增量计算是反复循环执行步骤（2）和（3），且在每次执行步骤（2）时，都要将已经生成的位对象和已有的BLOB位对象执行位或运算，其目的是要和已经得到的计算结果进行合并，达到用户去重的效果；

（4）用户数计算：计算符合匹配条件的用户数，即计算BLOB存储位置二进制位对象中的二进制1的个数，就能得到所需的用户数数据；如果是多个纬度组合匹配计算用户数时，则要对位对象进行相应的位运算，再计算位运算后的BLOB对象的1的个数，才能得到所需求的用户数数据。