[发明专利]基于改进RBF神经网络的数据分级存储算法

说明书

本发明提供基于改进RBF神经网络的数据分级存储算法：对首次存入的数据进行分级，根据一、二、三级存储设备的性能及容量特征得到存储级别，根据分级结果对数据进行数据存储。数据分级存储系统满足迁移条件时，计算数据迁移因素值，建立数据分级神经网络模型，得到数据迁移因素值与存储级别之间的映射关系。将数据迁移因素值作为数据分级神经网络模型的输入，根据触发条件选择迁移方式，根据差值P筛选迁移数据算法。本发明面向多源、异域、跨系统、多类型数据的分级存储策略及模型，实现数据不同级别之间的数据迁移，有效提高数据的访问效率及数据库的利用效率，提升数据管理决策效率，加快平台存储性能，降低平台存储成本。

技术领域

本发明涉及一种分集存储算法，尤其涉及一种基于改进RBF神经网络的数据分级存储算法。

背景技术

随着新建高铁快速发展，铁路数字化、智能化建设逐步深入，中国新建铁路在建设阶段就已经积累了海量结构化、半结构化、非结构化数据，包括勘察设计数据、工程进度数据、质量监督数据、自然灾害检测数据和视频监控数据等。铁路建设期数据具有数据量大、数据类型多、数据增长快、业务价值大的特点，传统的数据存储方式管理复杂、成本较高、访问速度较低。因此，为了能够满足铁路建设期数据存储量大、不同业务数据存储方式不同的需求，选择分级存储的方式能够有效降低存储成本，提高系统整体性能。

数据从产生到最后归档销毁的过程中，其被访问的频率是不断变化的，通常在应用中，把访问频率高的数据存储到在线存储设备中，而在存储设备中访问频率低的数据则存储到近线或离线存储设备中。

现有的迁移算法通常采用：基于数据访问频率的缓存(Cache)替换迁移算法：基于数据访问频度的Cache替换迁移算法的核心思想来自于虚拟内存的页面置换算法，该算法的原理主要是通过分析数据访问的历史，借鉴虚拟内存页面置换的思想，以实现数据在存储设备间的迁移，将老数据替换出去，为新数据腾出空间，其最终目标是提高存储设备的利用率。Cache替换迁移算法采用一系列的方法移除访问频率低的数据，其替换策略包括最佳置换法(Optimal，OPT)、先进先出页面置换算法(First In First Out，FIFO)、最近最久未使用算法(Least-Recently-Used，LRU)、最近未使用页面淘汰算法(Not Recently Used，NRU)和最少使用置换算法(Least-Frequently-Used，LFU)等，其中最典型的就是LRU和LFU。

Cache替换算法虽然能够保证高性能设备中几乎没有空余的容量，以数据被访问情况这一重要指标作为数据迁移的决定因素，但没有考虑数据本身的特征以及存储设备性能对数据分级存储的影响，各级存储设备未能得到最合理地应用分配。

当前提出的各类数据分级存储算法中数据价值判定方法较简单、考虑因素单一、分级结果准确度较差；固定阈值法、高低水位法、最近最久未使用算法(Least-Recently-Used，LRU)和最少使用置换算法(Least-Frequently-Used，LFU)等经典数据分级算法提出的数据迁移策略较简单，无法满足铁路建设期数据分级存储合理、高效的要求。

所以如何提供一种能够同时对数据存储和迁移自适应的数据分集存储算法成为亟待解决的问题。

发明内容

针对铁路建设期数据的数据特点，本发明提出基于优化神经网络模型的动态阈值数据分级存储算法，实现数据有效分级存储。