[发明专利]一种高速大数据存储方法

说明书

技术领域：

本发明涉及数据存储技术领域，具体涉及一种高速大数据存储方法。

背景技术：

数据存储是数据流在加工过程中产生的临时文件或加工过程中需要查找的信息。数据以某种格式记录在计算机内部或外部存储介质上。数据存储要命名，这种命名要反映信息特征的组成含义。数据流反映了系统中流动的数据，表现出动态数据的特征；数据存储反映系统中静止的数据，表现出静态数据的特征。

常用的存储介质为磁盘和磁带。数据存储组织方式因存储介质而异。在磁带上数据仅按顺序文件方式存取；在磁盘上则可按使用要求采用顺序存取或直接存取方式。数据存储方式与数据文件组织密切相关，其关键在于建立记录的逻辑与物理顺序间对应关系，确定存储地址，以提高数据存取速度。

但是目前的存储设备在面对大量数据存储时，会出现系统运行缓慢，存储速度大大减慢，严重时会导致系统崩溃。

发明内容：

本发明的目的是提供一种高速大数据存储方法，它针对目前大数据存储缓慢的问题，通过优化硬件设备和软件程序，大大提高而来存储速度，避免存储通道闭塞的问题。

为了解决背景技术所存在的问题，本发明是采用以下技术方案：它的存储优化方法：首先对存储设备物理性能的提升，变换设备内机械硬盘更换为固态硬盘；然后系统结构的设计及优化，其包含系统逻辑结构和数据流动通路的优化，采用RAID1+0技术可大大提高系统性能；最后针对I/O负载进行优化，提高特定存储模式下的存储性能。

所述的I/O负载进行优化的方法：a、根据存储介质的物理特征，优化数据访问过程是提高单一设备性能的有效方法，数据访问技术，用来减少跨磁道的访问延迟；b、I/O并发和负载平衡，I/O平衡是把I/O请求均匀分布在多个存储设备中，从而避免由于某一个存储设备负载过重二影响系统的整体性能，同时，可以进一步通过存储设备的并行访问来提高系统的吞吐率；c、数据缓存和预取，在存储系统中，利用数据在空间的局域性和时间的局域性设计缓存机制，是一种常用的提高计算机系统性能的有效方法，利用不同存储设备在性能和容量之间的差异，使用上层高速存储设备作为下层低速存储设备的缓存媒介，达到提高系统性能的目的，同时在存储系统发的每一层也都大量使用缓存技术。

本发明具有以下有益效果：它针对目前大数据存储缓慢的问题，通过优化硬件设备和软件程序，大大提高而来存储速度，避免存储通道闭塞的问题。

具体实施方式：

本具体实施方式采用以下技术方案：它的存储优化方法：首先对存储设备物理性能的提升，变换设备内机械硬盘更换为固态硬盘；然后系统结构的设计及优化，其包含系统逻辑结构和数据流动通路的优化，采用RAID1+0技术可大大提高系统性能；最后针对I/O负载进行优化，提高特定存储模式下的存储性能。

所述的I/O负载进行优化的方法：a、根据存储介质的物理特征，优化数据访问过程是提高单一设备性能的有效方法，数据访问技术，用来减少跨磁道的访问延迟；b、I/O并发和负载平衡，I/O平衡是把I/O请求均匀分布在多个存储设备中，从而避免由于某一个存储设备负载过重二影响系统的整体性能，同时，可以进一步通过存储设备的并行访问来提高系统的吞吐率；c、数据缓存和预取，在存储系统中，利用数据在空间的局域性和时间的局域性设计缓存机制，是一种常用的提高计算机系统性能的有效方法，利用不同存储设备在性能和容量之间的差异，使用上层高速存储设备作为下层低速存储设备的缓存媒介，达到提高系统性能的目的，同时在存储系统发的每一层也都大量使用缓存技术。

本发明具有以下有益效果：它针对目前大数据存储缓慢的问题，通过优化硬件设备和软件程序，大大提高而来存储速度，避免存储通道闭塞的问题。