[发明专利]网页访问数据的统计方法和装置

说明书

技术领域

本发明涉及互联网领域，具体而言，涉及一种网页访问数据的统计方法和装置。

背景技术

目前，在广告监测大数据统计中，经常需要根据访客标识统计广告独立用户数量、媒体用户交叉度、项目阶段性独立用户访问数量等数字指标。而在统计过程中，往往为了统计某一数字指标，需要对系统内超过10亿以上的独立访客数据进行运算，有时对于一条广告，每天可能超过几亿次的访问量，这其中一个用户可能多次访问该广告，所以对于统计该数字指标需要做大量的运算。

当前，统计某一数字指标中最普遍的处理手段为：遍历广告特定时间段内的所有访问，然后记录访客的标识，如果访客在之前没有访问过该广告则计数器加一，这一过程基本是在数据库系统中完成，在计算过程中需要读取所有数据，并做去除重复处理。为了加快查询和统计的速度，一些分布式方案将相同访客信息存储在同一个位置，然后分别统计，最后将各个服务器上的计数器相加。但是即使采用分布式方案，统计某一数字指标仍然需要较长时间。

现有技术中，采用数据计数的方式每个访问将被读取一次，IO操作复杂度为O(n)，计数操作为n，判断用户是否已计数操作的复杂度为m*n，存储空间开销为独立用户数，在对一个数据指标以计数的方式进行统计时，考虑到要对每个访问数据读取一次，还要判断用户是否是第一次访问，存储空间开销也会很大，在一台测试配置的服务器上通过数据库运算查找一条广告一天4亿访问数据的独立用户数量耗时为6-9分钟；再假设系统一共为100个客户服务，一个客户有10个项目，每个项目有10条广告，那么统计一天所有客户的独立访问数量，一共至少需要6分钟*10条广告*10个项目*100个客户＝1000小时＝41天，即使计算通过40台服务器进行计算，那么还是需要1天以上才能统计出1天内客户独立访问的总数。

针对现有技术中对访问网页对象的统计请求进行处理时效率低的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种网页访问数据的统计方法和装置，以解决现有技术中对访问网页对象的统计请求进行处理时效率低的问题。

为了实现上述目的，根据本发明实施例的一个方面，提供了一种网页访问数据的统计方法。

根据本发明的网页访问数据的统计方法包括：获取统计访问网页对象的统计请求，其中，统计请求中携带有统计时间和网页对象的标识；从数据库中提取网页对象的标识对应统计时间的一个或多个访问数组，其中，每个访问数组中的一个元素用于记录一个访客访问网页对象的访问次数；统计访问数组中不为零的元素的个数，得到访问网页对象的访客数量。

进一步地，在获取统计访问网页对象的统计请求之前，统计方法还包括：获取访客访问网页对象的访问数据；统计各个访客在预设的记录时间内访问网页对象的访问次数；将各个访问次数作为元素，得到访问数组。

进一步地，将各个访问次数作为元素，得到访问数组包括：记录发生访问次数的访客的访客标识；将访客标识作为访问次数的元素的下脚标。

进一步地，获取访客访问网页对象的访问数据包括：获取访客访问网页对象的访问数据包括：从各个访客的访问数据中提取访问标识；设置访问标识的访客标识；将访客的访问数据存储至访客标识所指示的存储区域，其中，访问标识与访客标识一一对应，访问标识为访客在访问网页对象时生成的标识，访客标识为连续的自然数，每个访客标识对应一个存储区域；统计各个访客在预设的记录时间内访问网页对象的访问次数包括：按照访客标识依序从存储区域读取在预设的记录时间内的访问数据，统计各个存储区域的访问数据的数量得到访问次数。

进一步地，在统计访问数组中不为零的元素的个数，得到访问网页对象的访客数量之后，统计方法还包括：读取不为零的元素的访客标识；从访客标识的存储区域获取访客的访问信息，其中，访问信息包括访客的属性信息和访问数据。

为了实现上述目的，根据本发明实施例的另一方面，提供了一种网页访问数据的统计装置。根据本发明的网页访问数据的统计装置包括：第一获取模块，用于获取统计访问网页对象的统计请求，其中，统计请求中携带有统计时间和网页对象的标识；提取模块，用于从数据库中提取网页对象的标识对应统计时间的一个或多个访问数组，其中，每个访问数组中的一个元素用于记录一个访客访问网页对象的访问次数；第一统计模块，用于统计访问数组中不为零的元素的个数，得到访问网页对象的访客数量。