[发明专利]一种自动调整缓存的数据处理方法、数据处理系统、数据可视化设备及计算机可读存储介质

说明书

本发明公开了一种自动调整缓存的数据处理方法、数据处理系统、数据可视化设备及计算机可读存储介质，该方法包括：根据缓存参数初始化数据处理程序；接收数据流，并对数据流的进行数据统计；根据缓存参数对接收的数据流进行缓存处理，通过动态调整数据处理缓存容量与缓存数量，进而达成对于不同的数据量都能达到最佳的效能。解决了传统数据处理缓存容量与缓存数量是固定的，在实际应用中无法依据不同的数据量而在线动态调整参数，导致数据处理效能会因不同的数据量而变化而无法维持最佳效能。

技术领域

本发明涉及数据缓存技术领域，尤其涉及一种自动调整缓存的数据处理方法、数据处理系统、数据可视化设备及计算机可读存储介质。

背景技术

在存储系统中，为了合理统筹缓存资源，使用了缓存分区的技术来达成该目标。在目前的存储系统中，系统会针对每个存储池创建一个缓存分区。

在现有技术中，系统创建的每个缓存分区所占的缓存容量、缓存数量是固定的，因此所有的存储池会被均衡地分配缓存资源，而这项工作是自动完成的。当存储池的个数发生变化时，每个缓存分区也会自动地调整到相同的比例，导致在处理不同的数据量时，整体数据处理效能会因为数据量的变化而有不同的效能变化。。

在实际应用中，某个存储池上可能会运行关键应用，当某个关键应用需要的缓存空间比较大时，如果按照缓存分区平均分配的方式，可能造成关键应用的缓存空间不够而导致关键应用无法运行。而参数调整后会需要重置系统，无法依据实际应用时不同的数据量而在线动态调整参数，导致数据处理效能会因为不同的数据量而有变化而无法维持最佳效能。

发明内容

本发明针对现有技术的不足，本发明提供了一种自动调整缓存的数据处理方法及系统，以解决现有技术的上述问题，其具体方案如下：

第一方面，本发明提供了一种自动调整缓存的数据处理方法，所述方法包括：

根据缓存参数初始化数据处理程序；

接收数据流，并对所述数据流的进行数据统计；

根据所述缓存参数对接收的所述数据流进行缓存处理。

优选地，所述方法还包括：更新用于数据统计的计数器，并根据所述计数器中的最新统计数据，调整所述缓存参数。

优选地，所述缓存参数包括：缓存容量、缓存数量、缓存容量参数清单、缓存数量参数清单。

优选地，所述根据缓存参数初始化数据处理程序，所述方法包括：

获取所述缓存容量参数清单的缓存容量最大值与所述缓存数量参数清单的缓存数量最大值；

根据所述缓存容量最大值与所述缓存数量最大值设置缓存空间，并对接收缓冲区进行初始化。

优选地，在所述根据缓存参数初始化数据处理程序之前，所述方法还包括：接收发送端的数据，并形成所述数据流。

优选地，在所述根据所述缓存参数对接收的所述数据流进行缓存处理之后，所述方法还包括：对缓存处理后的数据进行提取，并发送至数据中心进行处理。

优选地，对所述数据流的进行数据统计，所述方法包括：采用滑动窗口算法对对所述数据流的进行数据统计。

第二方面，本发明提供了一种自动调整缓存的数据处理系统，所述系统包括：

初始化模块，用于根据缓存参数初始化数据处理程序；

接收统计模块，用于接收数据流，并对所述数据流的进行数据统计；

缓存处理模块，用于根据所述缓存参数对接收的所述数据流进行缓存处理。

第三方面，本发明提供了一种自动调整缓存的数据处理设备，所述设备包括：