[发明专利]基于双层结构的数据流频次估计方法、系统及介质

权利要求书

1.一种基于双层结构的数据流频次估计方法，其特征在于，包括：

1）通过第一层计数器结构、第二层计数器结构构成的双层结构来对收到的数据流计数，且其中第二层计数器结构用于记录第一层计数器结构中溢出的数据流；

2）当需要查询数据流的频次估计值时，根据第一层计数器结构、第二层计数器结构中记录的数据流标识统计查询数据流的频次估计值；

步骤1）的详细步骤包括：

1.1A）收到数据流；

1.2A）通过哈希操作对数据流的标识进行哈希操作得到第一层计数器结构中的计数器地址，根据计数器地址在第一层计数器结构中找到对应的计数器；

1.3A）将在第一层计数器结构中找到的计数器的计数值加1；

1.4A）判断在第一层计数器结构中找到的计数器的计数值的值是否溢出，若溢出，则通过哈希操作对第一层计数器结构中找到的计数器的地址进行哈希，在第二层计数器结构中找到一个对应的计数器，将在第二层计数器结构中找到的计数器的计数值加1，并将数据流的标识存放在第二层计数器结构中找到的计数器中；否则将数据流的标识存放在第一层计数器结构中找到的计数器中；

步骤2）中根据第一层计数器结构、第二层计数器结构中记录的数据流标识统计查询数据流的频次估计值的步骤包括：

2.1A）对待查询数据流的标识进行哈希操作得到第一层计数器结构中的计数器地址，根据计数器地址在第一层计数器结构中找到一个对应的计数器，读取在第一层计数器结构中找到的计数器的计数值；

2.2A）通过哈希操作对第一层计数器结构中找到的计数器地址进行哈希，在第二层计数器结构中找到一个对应的计数器，读取在第二层计数器结构中找到的计数器的计数值；

2.3A）将在第一层计数器结构中找到的计数器的计数值、在第二层计数器结构中找到的计数器的计数值加权求和，得到数据流的频次估计值。

2.一种基于双层结构的数据流频次估计方法，其特征在于，包括：

1）通过第一层计数器结构、第二层计数器结构构成的双层结构来对收到的数据流计数，且其中第二层计数器结构用于记录第一层计数器结构中溢出的数据流；

2）当需要查询数据流的频次估计值时，根据第一层计数器结构、第二层计数器结构中记录的数据流标识统计查询数据流的频次估计值；

步骤1）的详细步骤包括：

1.1B）收到数据流；

1.2B）在0~L之间随机生成一个随机整数，将该随机整数和数据流标识进行拼接作为新的标识，并生成多个新的标识作为多个虚拟计数器标识；

1.3B）针对每一个虚拟计数器标识，通过哈希操作对虚拟计数器标识进行哈希，在第一层计数器结构中找到对应的计数器；

1.4B）将在第一层计数器结构中找到的计数器的计数值加1；

1.5B）判断在第一层计数器结构中找到的计数器的计数值的值是否溢出，若溢出，则通过哈希操作对第一层计数器结构中找到的计数器的地址进行哈希，在第二层计数器结构中找到一个对应的计数器，将在第二层计数器结构中找到的计数器的计数值加1，并将数据流的标识存放在第二层计数器结构中找到的计数器中；否则将数据流的标识存放在第一层计数器结构中找到的计数器中；

步骤2）中根据第一层计数器结构、第二层计数器结构中记录的数据流标识统计查询数据流的频次估计值的步骤包括：

2.1B）对待查询数据流的标识分别拼接0~L之间的所有整数得到L个新标识，对L个新标识进行哈希操作得到第一层计数器结构中的计数器地址，根据计数器地址在第一层计数器结构中找到一个对应的计数器，读取在第一层计数器结构中找到的计数器的计数值；

2.2B）通过哈希操作对第一层计数器结构中找到的计数器地址进行哈希操作得到第二层计数器结构中的计数器地址，根据计数器地址在第二层计数器结构中找到一个对应的计数器，读取在第二层计数器结构中找到的计数器的计数值；

2.3B）在第一层计数器结构中找到的计数器的计数值、在第二层计数器结构中找到的计数器的计数值加权求和，得到数据流含噪声的频次估计值；

2.4B）将数据流含噪声的频次估计值减去噪声得到数据流的频次估计值，所述噪声为所有数据流平均到每个计数器记录的数值。