[发明专利]一种快速统计频数的方法及系统

摘要

本发明实施例公开了一种快速统计频数的方法及系统，属于数据统计领域，本发明通过数据处理子单元进行频数统计，数据合并单元汇总数据处理子单元数据，通过数据汇总单元统计增量，从而摆脱时下依靠硬件性能来保证算法的吞吐量的限制，来应对日益增长的网络流速，同时保证系统的可扩展性，以应对快速增长的流量对系统吞吐量的要求。

主权项

1.一种快速统计频数的方法，其特征在于：包括数据处理子单元进行频数统计的步骤和数据汇总单元统计增量的步骤；所述数据处理子单元进行频数统计按以下步骤进行：A1、所述数据处理子单元收到一个元素e；A2、所述数据处理子单元检查是否有计数器对e进行计数；如果e有对应的计数器对其进行计数，那么就增加对应计数器的delta变量和计数值，然后执行步骤A3；如果e没有对应的计数器对其进行计数，判断系统中所有的计数器个数是否达到上限；如果系统中所有的计数器个数没有达到上限，则初始化一个新的计数器来对这个元素计数，然后执行步骤A3；如果系统中所有的计数器个数达到上限，则找到系统中计数值最小的计数器，然后用元素e把系统中计数值最小的计数器中的元素替换掉，接着把计数误差的值设置为当前的计数值；设置该计数器中的delta_error变量等于该计数器中的delta，最后增加对应计数器的delta变量和计数值；然后执行步骤A3；A3、更新计数器链表结构，判断delta是否达到发送阈值threshold，如果达到则向数据汇总单元发送该计数器的元素e、delta和delta_error的值，然后把delta和delta_error变量清零；否则在接收到新的元素后返回执行步骤A2；所述数据汇总单元统计增量按以下步骤执行：B1、所述数据汇总单元收到元素e、delta和delta_error的值；B2、所述数据汇总单元判断元素e是否有计数器对其进行计数；如果元素e有计数器对其进行计数，就增加对应元素e的计数器的计数值和误差值，然后执行步骤B3；如果元素e没有计数器对其进行计数，判断系统中所有的计数器个数是否达到上限；如果系统中所有的计数器个数没有达到上限，初始化一个新的计数器来对元素e进行计数，然后执行步骤B3；如果系统中所有的计数器个数达到上限，就找到系统中计数值最小的计数器，然后用元素e把这个计数器中的元素替换掉，接着把计数误差的值设置为当前的计数值，最后根据delta值增加计数值；然后执行步骤B3；B3、更新计数器链表结构，并判断是否达到输出结果条件，如果达到条件则输出所有计数器的结果，否则在接收到新的元素后返回执行步骤B1。