[发明专利]分布式文件存储和查询方法及存取系统

说明书

本发明涉及一种分布式文件存储和查询方法及存取系统，所述分布式文件存储方法，包括：向服务器上传打包文件，所述打包文件包括原始文件和对所述原始文件进行描述的描述文件；所述服务器对所述打包文件进行解压，并对解压出的所述描述文件进行解析，以解析出所述描述文件的描述内容；所述服务器将解压出的所述原始文件传输到分布式文件系统；所述分布式文件系统向所述服务器返回所述原始文件存储的网络地址；所述服务器将所述原始文件存储的网络地址和解析出的所述描述内容传输到分布式数据库。由此，可以对存储的文件进行内容的分类和检索，实现了存储的数据与现有业务数据的结合。

技术领域

本发明涉及计算机存储技术领域，具体涉及一种分布式文件存储和查询方法及存取系统。

背景技术

分布式文件存储是对普通的文件系统的扩展，通过水平增加机器来实现数据的多点备份和存储容量的扩充。但是仅仅实现静态文件的存储而不可以对存储的内容进行一个宏观的控制和分类在现在这个大数据时代是有很大的局限性的。

随着移动互联网时代的到来，互联网应用由原来的浏览器为客户端的应用变成了多平台多终端的模式，如手机客户端、Pad客户端等。这些终端产生的数据如果放在本地易丢失也不易跨终端访问和查看，这样的数据查看有很大的狭隘性，将这些数据全部放在服务端存储可以解决以上的局限。但是，随着用户和应用功能的增大，又会存在产生的数据的存储问题。一台服务器的存储容量有限，如果存满了就需要不停的加磁盘，如果机器硬件或者网络发生故障，就无法访问服务器，从而导致用户体验太差。

对于以上的存储问题，现有技术中提出了很多解决办法，比如用多台机器进行文件的备份和增加存储节点的方式来扩容，这种文件存储系统业内已经有很多成熟的应用，比如HDFS、FastDFS、MooseFS、KFS等，他们都可以实现文件存储服务的高可用和高容量，但是这样的文件存储可扩展性不强，虽然可以存储大量文件，但是对存储的文件进行内容的分类和检索有很大的局限性；并且所存储的数据和现有的业务数据很难进行结合。

发明内容

本发明所要解决的技术问题之一是对存储的文件进行内容的分类和检索有很大的局限性。

为此目的，本发明提出了一种分布式文件存储方法，包括：向服务器上传打包文件，所述打包文件包括原始文件和对所述原始文件进行描述的描述文件；所述服务器对所述打包文件进行解压，并对解压出的所述描述文件进行解析，以解析出所述描述文件的描述内容；所述服务器将解压出的所述原始文件传输到分布式文件系统；所述分布式文件系统向所述服务器返回所述原始文件存储的网络地址；所述服务器将所述原始文件存储的网络地址和解析出的所述描述内容传输到分布式数据库。

优选地，当所述分布式文件系统配置为多节点存储时，所述服务器将解压出的所述原始文件传输到分布式文件系统以及所述分布式文件系统向所述服务器返回所述原始文件存储的网络地址包括：所述服务器向多节点存储的所述分布式文件系统发送存储指令；所述分布式文件系统根据容量和/或带宽，向所述服务器发送用于存储所述原始文件的存储节点的信息；所述服务器将所述原始文件传输到分布式文件系统的该存储节点内，以进行存储；所述分布式文件系统向所述服务器返回所述原始文件存储的存储节点及所述存储节点内的网络地址。

优选地，当所述分布式数据库配置为多节点记录时，所述服务器将所述原始文件存储的网络地址和解析出的所述描述内容传输到分布式数据库包括：所述服务器向多节点记录的所述分布式数据库发送记录指令；所述分布式数据库根据容量和/或带宽，向所述服务器发送用于存储所述原始文件存储的网络地址和解析出的描述内容的记录节点的信息；所述服务器将用于存储所述原始文件存储的网络地址和解析出的描述内容记录在所述分布式数据库的所述记录节点内。