[发明专利]热加载方法及装置

说明书

本发明提供了热加载方法及装置，适用于云计算技术领域，方法包括：获取待进行热加载的加载数据的加载信息；确定热加载标识为内存标识，则根据数据表清单查询内存获取当前数据表清单对应的加载数据以进行加载；确定所述热加载标识为分布式缓存标识，则根据数据表清单查询分布式缓存获取当前数据表清单对应的加载数据以进行加载；未查询到当前数据表清单对应的加载数据，根据加载信息从数据库中读取当前数据表清单对应的加载数据以进行热加载。本发明自动加载到内存或分布式缓存中实现数据的智能自动分级热加载，不需系统开发人员新增代码或增加配置信息，提高了研发效率及降低了系统风险，提升了资源投入与性能的平衡。

技术领域

本发明涉及数据处理技术，具体的讲是一种热加载方法及装置。

背景技术

现有技术中，通用的热加载将数据加载到内存或分布式缓存中，新增数据表热加载必须编写代码或增加配置信息进行实现分级热加载，较为繁琐，不能自动实现小表热加载到内存，大表热加载到分布式缓存，提高资源与性能的投入产出比。

发明内容

为克服现有的热加载技术中的至少一缺陷，本发明提供了一种热加载方法，方法包括：

获取待进行热加载的加载数据的加载信息；其中，所述加载信息包括：数据表清单、热加载标识，所述的热加载标识包括：内存标识、分布式缓存标识；

确定所述热加载标识为内存标识，则根据所述的数据表清单查询内存获取当前数据表清单对应的加载数据以进行热加载；确定所述热加载标识为分布式缓存标识，则根据所述的数据表清单查询分布式缓存获取当前数据表清单对应的加载数据以进行热加载；

所述内存或分布式缓存中未查询到当前数据表清单对应的加载数据，根据所述加载信息从数据库中读取当前数据表清单对应的加载数据以进行热加载。

本发明实施例中，所述的加载信息还包括：数据类型、预先设置的加载业务规则及数据表占用空间阈值；

所述的加载业务规则包括：预设的访问频度阈值、数据类型加载策略。

本发明实施例中，所述的获取待进行热加载的加载数据的加载信息包括：

从用户预设的存储装置获取所述数据表清单及数据类型；

利用容器从加载配置文件中获取预先设置的加载业务规则。

本发明实施例中，所述的根据所述加载信息从数据库中读取当前数据表清单对应的加载数据以进行热加载包括：

根据所述的数据表清单从数据库中读取当前数据表清单对应的加载数据；

确定所述数据表清单中的数据表对数据库的访问频度及数据表占用空间；

确定统计的访问频度大于预设的访问频度阈值，且数据表占用空间大于预设的空间阈值，则将当前数据表的对应的数据加载至分布式缓存；确定统计的访问频度大于预设的访问频度阈值，且数据表占用空间不大于预设的空间阈值，则将当前数据表的对应的数据加载至内存。

本发明实施例中，所述的根据所述加载信息从数据库中读取当前数据表清单对应的加载数据以进行热加载包括：

根据所述的数据类型和预设的数据类型加载策略确定查询数据表；

根据确定的查询数据表从数据库中读取当前数据表清单对应的加载数据以进行热加载。

同时，本发明还提供一种热加载装置，包括：

加载信息获取模块，用于获取待进行热加载的加载数据的加载信息；其中，所述加载信息包括：数据表清单；