[发明专利]非文件系统的可靠存储方法

说明书

技术领域

本发明涉及一种数据高效、可靠存储技术，应用于视频监控行业、IPTV等需要大量数据存储的行业。

背景技术

目前，基于硬盘的数据存储大多都基于文件系统。从windows的FAT文件系统到NTFS，都是基于操作系统提供的硬盘管理功能进行的数据非易失存储，包括Linux的ext2/3等也是如此。基于文件系统的数据存储给我们的开发带来了极大的简便，但是其效率和可靠性一直称为人们争执的焦点。这个焦点也催生了更多、更好的文件系统。然而文件系统再怎么升级，也只是一个通用的基于人们一般应用习惯的产物。对于一些特殊行业，如：视频监控、IPTV。这些行业的数据的第一个特点就是庞大，一个监控摄像头、一个电影影片其大小动辄几百兆。第二个特点就是文件大小基本固定，也就是说：这些行业中不会在存储数据的时候掺杂着存储一些较小的文件，比如不会掺杂临时保存的一个网页等。第三个特点就是希望文件有序排列，也就是文件存储能够按照日期或者某种固定的排列方式在硬盘中进行记录。第四个特点就是文件的读取和写入非常频繁，这样对通用文件写碎片管理就带来的极大的挑战。

发明内容

本发明的目的在于：A：实现基于非文件系统的数据存储方法；B：实现文件存储和文件信息索引的独立存储；C：实现文件和文件索引信息的基本同步。

为实现上述目的，本发明采用以下技术方案：

本发明包括数据的写入过程、数据的读取过程、数据的删除过程，

在所述数据的写入过程中，操作者打开本地数据库，获取当前写入磁盘的偏移地址；然后打开硬盘设备，将文件指针偏移到写入位置；当有数据写入时，在本地数据库建立写入标志并开始写入数据；

在所述数据的读取过程中，根据应用层传入的检索条件，检索出文件的本地数据库记录，从记录中获取文件在硬盘记录中的偏移地址，从该偏移地址中将数据读出，以回调形式返回给应用层；

在所述数据的删除过程中，操作者在本地数据库中对该文件标识为删除。

所述的本地数据库采用Berkeley DB作为原型数据库。

在数据的读取过程中，本地数据库记录该数据的读取次数。

采用上述技术方案的本发明，很好地将文件存储和文件信息索引独立开来，提高了存储的效率。另外，有信息需要删除时只是在本地数据库中对相应的记录进行标记，而不是物理的文件删除。这个保证了过程中最小的对磁盘进行操作，延长了磁盘的工作寿命。方法中将数据进行独立存储，对应的数据信息则进入数据库进行记录。当需要读数据进行访问时，首先对数据库进行查询获取数据的磁盘地址直接进行读取。最大限度的减少对目录的遍历与搜索，提供了数据读取的效率减少对硬盘不必要的操作。数据写入时，直接从磁头当前位置写入。数据写入完成后将信息写入数据库。完成数据的同步写入，即数据存储完成后同步写入记录来对数据进行描述。

附图说明

图1为本发明中硬盘获取的流程图。

图2为本发明中视频数据获取的流程图。

图3为本发明中视频数据写入的流程图。

具体实施方式

一般来说，非文件系统的存储过程包括数据的写入过程、数据的读取过程、数据的删除过程。

在对数据进行各种操作之前，首先对本地数据库进行操作：因为系统中，存在大量的需要实时存储的记录信息。本发明采用了Berkeley DB为原型数据库，对系统中的信息进行存储。涉及数据库的打开、关闭、读取、写入、检索。由于该数据库没有采用类SQL数据库，而是为了性能抛弃了SQL语句支持，进而提升了数据库性能。Berkeley DB是一个开放的数据库，其接口是开放的、公开的。

其次，进行硬盘的打开和指针定位：硬盘在操作系统看来只是一个物理设备，以Linux为例内核将其表现为/dev/sd**。这个就是我们要操作的设备，如果系统中只有一块硬盘则为sda。依次类推为sdb、sdc、sdd、sde……，而在每个硬盘的分区则为：sda1、sda2、sda3（以第一块儿硬盘的不同分区为例）等。我们需要打开的设备为硬盘设备、而不是具体的某个分区。也就是我们应该打开sdb、sdc、sdd、sde……设备，设备打开后根据数据库中记录的该硬盘的偏移地址，对硬盘的操作文件指针进行偏移。数据写入接入就绪状态，等待应用数据到达。