[发明专利]一种流量采样方法、计算机设备及计算机可读存储介质有效
申请号: | 202010877498.5 | 申请日: | 2020-08-27 |
公开(公告)号: | CN112118189B | 公开(公告)日: | 2021-05-25 |
发明(设计)人: | 廖雄杰 | 申请(专利权)人: | 北京基调网络股份有限公司 |
主分类号: | H04L12/801 | 分类号: | H04L12/801;H04L29/08;H04L9/32 |
代理公司: | 北京汇泽知识产权代理有限公司 11228 | 代理人: | 牟昌兵 |
地址: | 100027 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 流量 采样 方法 计算机 设备 可读 存储 介质 | ||
本申请涉及一种流量采样方法、计算机设备及计算机可读存储介质,其中该流量采样方法,包括:接收访问请求;获取该访问请求对应的标识信息;使用具备均匀散列特性的哈希方法确定该标识信息的哈希值;确定该哈希值在哈希整数值域范围的比例,得到哈希值对应的比例值;比较该比例值与采样率的大小关系;如果该比例值小于或等于采样率,接受上述访问请求;如果该比例值大于采样率,拒绝上述访问请求。通过本申请,实现快速流量采样,而无需大量的存储空间和计算资源。
技术领域
本申请涉及应用性能管理(ApplicationPerformance Management,简称为APM)技术领域,尤其涉及一种流量采样方法、计算机设备及计算机可读存储介质。
背景技术
当应用服务器收到大量来自客户端的请求时,经常对客户端的请求按照指定的采样率进行流量控制或者设备数限制。假设指定采样率S(0=S=1),一段时间内总请求量为N,按要求经过采样算法过滤后,系统接受的请求量(采样量)Ns=N*S。
为了达到流量控制的目的,通过配置采样率来过滤流量的比例。采样率用S(0=S=1)表示。采样过滤的结果分为“接受”和“拒绝”,“接受”表示系统正常接收本次用户请求,“拒绝”表示系统将拒绝并抛弃本次用户请求。
相关技术中,一种处理方式是使用随机算法采样,其假设采样率为S(0=S=1),在接收到用户请求时,调用随机函数RANDOM产生随机值r(0r=1),将随机值r与指定的采样率S比较,如果随机值r小于等于S,则接受该用户请求,否则拒绝该用户请求。
该处理方式简单而且高效,但很多时候出于一些特殊的分析目的,需要基于会话或用户进行采样,例如,在应用性能分析领域或者用户行为分析领域,出于分析的目的,并不需要全量的用户访问数据,只需要采样分析即可,但必须以会话或用户为单元进行分析才有意义,这就需要基于会话标识或用户标识进行采样。
即在满足指定采样率的前提下,同时也应满足:1)事务性:该会话或用户的所有请求,在使用采样规则过滤后,要么全部被接受,要么全部被拒绝,不应出现部分请求被接受,而另一部分请求被拒绝的情况;2)幂等性:若该会话或用户在某一时刻访问系统,在使用采样规则过滤后的状态是“接受”,则在以后的任意时刻再次访问系统,在采样率不发生变化的情况下,在使用采样规则过滤后的状态仍然应该是“接受”;反之,若该会话或用户在某一时刻访问系统,应用采样规则后的状态是“拒绝”,则在以后的任意时刻再次访问系统,在采样率不发生变化的情况下,应用采样规则后的状态仍然应该是“拒绝”。
为了满足事务性和幂等性,相关技术中,在上述处理方式的基础上将采样阶段标记结果(“接受”或“拒绝”)及用户标识对应关系缓存起来,以便下次相同的用户再次访问时,可直接选择“接受”或“拒绝”。
该改进的方案的流程如下:在用户发起访问后,从缓存中查找是否包含该用户的用户标识,如果缓存中有该用户的用户标识,则获取该用户标识上次的缓存值,根据上次的缓存值来拒绝或接受该用户的访问;如果缓存中没有该用户的用户标识,则与上述处理方式一致,产生随机值,并基于该随机值与设定的采样率的大小关系来拒绝或接受该用户的访问,同时将采样结果(拒绝或接受)加入缓存。
上述改进的方案能实现上述需求中的事务性和幂等性,但由于需要在缓存中需要维护完整的用户列表,需要较大的存储空间,尤其是对于海量用户基数的移动App应用,单个App的用户量动辄上千万,甚至上亿,且并发访问也很大,高并发下需要实现快速检索和采样过滤,需要消耗大量的存储空间和计算资源。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本申请提供了一种流量采样方法、计算机设备及计算机可读存储介质。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京基调网络股份有限公司,未经北京基调网络股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010877498.5/2.html,转载请声明来源钻瓜专利网。