[发明专利]高并发数据存储方法、装置、计算机设备和存储介质

权利要求书

1.一种高并发数据存储方法，其特征在于，包括：

获取预存储到数据库中的所有数据，建立数据队列，对所述数据队列进行数据分组打包生成数个数据组；

将所述数据组进行汇聚，当汇聚后的数据量达到预设的数据块生成阈值时，打包生成一数据块；

获取预存储到数据库中的数据总数量和数据库写入频率阈值，建立数个数据缓存层，将所述数据块存入所述数据缓存层，获取分处于相邻上下两级所述数据缓存层中的数据块的通用节点，根据所述通用节点的数量确定每一级所述数据缓存层中的数据块数量。

2.根据权利要求1所述的高并发数据存储方法，其特征在于，所述获取预存储到数据库中的所有数据，建立数据队列，对所述数据队列进行数据分组打包生成数个数据组，包括：

对每一个需要写入到数据库中的数据来源进行ID标识，从每一个具有ID标识的数据来源中进行数据抽取；

汇集抽取出的数据，按照字母顺序或者数字顺序对从不同数据来源中抽取的数据进行排列，生成数据队列；

对所述数据队列进行特征字符检索，获取特征字符生成位置，根据所述特征字符生成位置对所述数据队列进行分组打包生成数个数据组。

3.根据权利要求1所述的高并发数据存储方法，其特征在于，所述将所述数据组进行汇聚，当汇聚后的数据量达到预设的数据块生成阈值时，打包生成一数据块，包括：

获取数据库中记载的每一个数据存储区域的数据量，得到所述数据块的生成阈值；

对将要写入到数据库中的数据组进行数据量统计，若任意一个数据组中的数据量均大于所述数据块的生成阈值，则应用哈希算法对所述数据块的生成阈值进行修订，使得所述数据块的生成阈值至少大于两个所述数据组的数据量之和；

汇聚将要写入到数据库中的所述数据组，当数据量之和达到所述数据块的生成阈值时，生成一数据块。

4.根据权利要求1所述的高并发数据存储方法，其特征在于，所述获取预存储到数据库中的数据总数量和数据库写入频率阈值，建立数个数据缓存层，将所述数据块存入所述数据缓存层，获取分处于相邻上下两级所述数据缓存层中的数据块的通用节点，根据所述通用节点的数量确定每一级所述数据缓存层中的数据块数量，包括：

获取预存储到数据库中的数据总数量和数据库写入频率阈值，将所述预存储到数据库中的数据总数量与所述数据库写入频率阈值做商得到数据写入时间，获取所述数据写入时间与预设写入时间的比值，根据所述比值确定数据缓存层的层数，根据所述数据缓存层的层数建立数个数据缓存层；

获取每一级数据缓存层的数据容量阈值，根据所述数据容量阈值，确定处于上一级数据块向处于下一级数据块进行数据抽取的频率；

按照数据抽取的频率生成预通用节点，应用神经网络模型对所述预通用节点进行训练得到所述通用节点；

根据相邻两级数据缓存层之间的通用节点的数量，确定每一级的数据块数量。

5.根据权利要求2所述的高并发数据存储方法，其特征在于，所述对每一个需要写入到数据库中的数据源进行ID标识，包括：

获取所述数据来源所处的客户端IP地址，根据所述客户端IP地址对所述数据来源进行大类ID标识；

根据包含所述数据来源的内容或者数据的应用对所述数据来源进行小类ID标识；

拼接所述大类ID标识和所述小类ID标识，得到所述数据来源的ID标识。

6.根据权利要求2所述的高并发数据存储方法，其特征在于，所述对所述数据队列进行特征字符检索，获取特征字符生成位置，根据所述特征字符生成位置对所述数据队列进行分组打包生成数个数据组，包括：

应用查询语言对所述数据队列进行特征字符检索；

获取每一个特征字符在所述数据列中的产生位置，设定数据分组的分组阈值，当相隔最短的两个特征字符之间的数据量大于所述分组阈值时，将这两个特征字符之间的数据进行打包，形成一个数据组；

若根据所述特征字符对所述数据队列进行分组后，各个所述数据组之间的数据量差额大于数据组数据量阈值，则采用非所述特征字符的其它特殊字符对所述数据队列进行重新分组，直到各个所述数据组的数据量差额小于数据组数据量阈值。