[发明专利]数据预热方法、装置、计算机设备及存储介质

说明书

本发明实施例公开了数据预热方法、装置、计算机设备及存储介质。所述方法包括：配置缓存预热策略，根据缓存预热策略确定缓存策略；根据所述缓存策略计算每个设备缓存被访问的概率，并根据所述概率生成设备ID列表；根据所述设备ID列表加载设备数据到缓存中。通过实施本发明实施例的方法可实现保证终端接入系统在指定的缓存水平下测试系统的性能水平，符合物联网平台设备的热数据特点，耗时短。

技术领域

本发明涉及物联网，更具体地说是指数据预热方法、装置、计算机设备及存储介质。

背景技术

为了验证物联网PaaS平台具备服务亿级终端的能力，需要对物联网PaaS平台的各个模块进行压力测试，识别性能瓶颈，以期提升物联网平台的服务能力水平。压力测试中，应尽可能的贴近真实业务场景，如终端接入包含了设备向平台发起注册请求、平台认证设备身份、设备上报数据等过程，其中涉及接入模块性能指标有：每秒事务数、并发用户数(接入的终端数量)、吞吐率、失败率等。高可用、低时延的物联网PaaS平台需要保证缓存命中率维持在较高的水平。通过进行压力测试，可以充分验证系统缓存策略设计的合理性。

终端接入场景中，设备身份认证涉及查询设备信息。物联网平台通常会缓存活跃的设备的认证信息等基本数据，以保证海量终端接入业务的高可用。但是，用于压力测试的系统通常为单独搭建的应用集群，测试之前不具备生产系统的数据缓存比例。直接对这种集群进行压力测试会导致缓存快速击穿，数据库崩溃。因此，在进行压力测试之前，对高速缓存进行预热，即将数据库中的冷数据加载到缓存中，变成热数据，使得缓存数据达到生产环境水准或设定的其他目标比率，以验证缓存策略在不同情况下的表现。现有的缓存数据预热方法主要为面向生产系统的缓存更新策略，即根据一段时间内的数据访问情况，计算数据的更新价值，并与缓存中的数据计算的缓存价值进行比较决定是否更新缓存。面向测试场景的常用的数据预热方法，通常从数据库加载全量数据到缓存中，这种方法较为简单，但存在的一些问题。一方面，加载全量数据耗时较长；另一方面，只能测试全量数据缓存的前提下，全部请求被缓存成功拦截的理想情况，无法完全体现生产环境存在部分冷数据情况下的性能表现。

因此，有必要设计一种新的方法，实现保证终端接入系统在指定的缓存水平下测试系统的性能水平，符合物联网平台设备的热数据特点，耗时短。

发明内容

本发明的目的在于克服现有技术的缺陷，提供数据预热方法、装置、计算机设备及存储介质。

为实现上述目的，本发明采用以下技术方案：数据预热方法，包括：

配置缓存预热策略，根据缓存预热策略确定缓存策略；

根据所述缓存策略计算每个设备缓存被访问的概率，并根据所述概率生成设备ID列表；

根据所述设备ID列表加载设备数据到缓存中。

其进一步技术方案为：所述配置缓存预热策略，根据缓存预热策略确定缓存策略，包括：

配置预定缓存水平目标值以及新的缓存预热策略；

管理现有的缓存预热策略；

选定缓存预热策略，以得到缓存策略。

其进一步技术方案为：所述配置预定缓存水平目标值以及新的缓存预热策略，包括：

基于权重的缓存策略，配置多个计算元组和一个预定缓存水平目标值，每个计算元组由缓存的数据维度和权重组成，以得到新的缓存预热策略。

其进一步技术方案为：所述配置预定缓存水平目标值以及新的缓存预热策略，包括：

配置预定缓存水平目标值，根据历史数据中记录的一系列数据访问记录，计算各个数据维度的设备出现的频率，以得到新的缓存预热策略。