[发明专利]数据仓库的冷热数据识别方法、装置及电子设备

说明书

本申请公开了一种数据仓库的冷热数据识别方法、装置及电子设备，以至少解决现有技术中的冷热数据识别方法存在的识别效率和准确率低的问题。所述方法包括：获取数据仓库中的业务数据表在指定统计周期内的历史访问记录；基于所述指定统计周期内的历史访问记录，确定所述业务数据表的处理周期及在所述指定统计周期内的访问频率信息；基于预先建立的冷热数据识别模型和所述业务数据表的处理周期、在所述指定统计周期内的访问频率信息及所述指定统计周期，确定所述业务数据表在所述指定统计周期内的冷热数据分界时间点；基于所述冷热数据分界时间点，识别所述业务数据表中的冷数据和热数据。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据仓库的冷热数据识别方法、装置及电子设备。

背景技术

数据仓库(Data Warehouse，DW)出于企业的分析性报告和决策支持多点目的而创建的一个数据存储集合，其用于对多样的业务数据进行筛选与整合。数据仓库具有业务数据量大、种类多样等特征。如何有效识别数据仓库中业务数据的冷热属性，以便对不同属性的业务数据进行分离存储、备份或者销毁等处理，对于数据仓库的管理尤为重要。

目前，对数据仓库中业务数据的冷热属性的识别，主要通过人工逐个统计各个业务数据的访问情况，根据统计结果来区分业务数据的冷热属性，比如，如果某个业务数据频繁被访问，则可将该业务数据作为热数据，反之，则可将该业务数据作为冷数据。可见，现有技术中的冷热数据识别方法主要依赖于业务人员的经验，因而识别结果的准确率无法得到保证。并且，随着数据仓库对接的业务规模的数量级不断增大，数据仓库中的业务数据的数据量也会急剧增长，若通过人工逐个统计业务数据的访问情况，将会影响识别效率。

发明内容

本申请实施例提供一种数据仓库的冷热数据识别方法、装置及电子设备，以至少解决现有技术中的冷热数据识别方法存在的识别效率和准确率低的问题。

为了解决上述技术问题，本申请实施例采用下述技术方案：

第一方面，本申请实施例提供一种数据仓库的冷热数据识别方法，包括：

获取数据仓库中的业务数据表在指定统计周期内的历史访问记录；

基于所述指定统计周期内的历史访问记录，确定所述业务数据表的处理周期及在所述指定统计周期内的访问频率信息；

基于预先建立的冷热数据识别模型和所述业务数据表的处理周期、在所述指定统计周期内的访问频率信息及所述指定统计周期，确定所述业务数据表在所述指定统计周期内的冷热数据分界时间点；

基于所述冷热数据分界时间点，识别所述业务数据表中的冷数据和热数据。

可选地，所述访问频率信息包括总访问频率和在所述指定统计周期的各个子周期内的访问频率；

基于预先建立的冷热数据识别模型和所述业务数据表的处理周期、在所述指定统计周期内的访问频率信息及所述指定统计周期，确定所述业务数据表在所述指定统计周期内的冷热数据分界时间点，包括：

将所述业务数据表的处理周期、所述指定统计周期及在所述指定统计周期内的总访问频率输入到所述冷热数据识别模型，以得到所述业务数据表的冷热数据比例，其中，所述冷热数据识别模型是以样本数据表的处理周期、在统计周期内的总访问频率及统计周期作为训练样本，以所述样本数据表的冷热数据比例作为标签，基于预设的第一分类算法进行训练得到；

基于所述冷热数据比例和所述业务数据表在所述指定统计周期内的总访问频率，确定与所述业务数据表相匹配的访问频率阈值；

基于所述访问频率阈值和所述业务数据表在所述指定统计周期的各个子周期内的访问频率，确定所述业务数据表在所述指定统计周期内的冷热数据分界时间点。