[发明专利]一种便捷的备份邮件到HDFS上的方法

说明书

技术领域

本发明公开一种便捷的备份邮件到HDFS上的方法,属于大数据管理领域。

背景技术

Hadoop利用HDFS，Hadoop Distributed File System，分布式文件系统存储数据，利用namenode来存储文件系统的元数据，datanode用于存储数据本身。并且为了避免SPOF，Single Point of Failure，单一故障点问题的产生，namenode元数据节点支持HA软件特性。Namenode支持HA特性可以保证元数据的安全性。同样的，为了保证数据的安全性，避免数据丢失。HDFS引入了文件备份机制，默认情况下是一备三，即一个文件有三个备份。并且HDFS的HA和备份机制可以兼用于重要文件的保存。

目前Google增大Gmail邮箱空间之后，各大邮件服务提供商也相继跟风。邮箱的容量以数十GB甚至上百GB计量的，意味着邮箱可以存储的邮件更多，单封邮件可以存储的时间更长。如今人与人的沟通交流的方式尤其是大公司、大企业内部的信息交流以邮件为主。如何让邮件信息的快捷保存以便交流，并且不会因服务提供商的服务器被黑、服务提供商的信息迁移、公司内鬼等因素导致用户邮件丢失，成为亟待解决的问题。本发明针对上述问题提出的一种便捷的备份邮件到HDFS上的方法，利用fuse把邮件和HDFS分别都挂在为本地文件系统的一个目录，利用定时器定期检查邮箱的更新情况，如果邮件有变动就启动文件拷贝线程把邮件挂载点下的更新的邮件拷贝到HDFS挂载点的相应的目录下，整个过程就像操作本地文件一样，大大简化了以往备份邮件的复杂操作，提升了工作效率，更重要的是通过本发明方法可以把邮件安全备份到HDFS，避免重要邮件丢失造成的损失。

发明内容

本发明针对如何让邮件信息的快捷保存以便交流，并且不会因服务提供商的服务器被黑、服务提供商的信息迁移、公司内鬼等因素导致用户邮件丢失的问题，提供一种便捷的备份邮件到HDFS上的方法，简化了以往备份邮件的复杂操作，提升了工作效率，更重要的是通过本发明方法可以把邮件安全备份到HDFS，避免重要邮件丢失造成的损失。

本发明方法主要是基于fuse来实现的。fuse在用户态实现文件系统的接口。Linux发行版都在内核集成了fuse模块，可以通过modprobe fuse命令来启用fuse模块。要把邮箱空间挂载到Linux本地文件系统上基于fuse实现一个文件系统，python的imap可以胜任这一需求，我们把该文件系统统一称为mail_fuse_fs。此外   Hadoop发行版已经利用fuse实现了把hdfs挂在为本地文件系统的功能。用户只需要编译相应的模块就可以使用。

通过利用上述技术将邮件和HDFS都挂载到本地文件系统上。可以像操作本地文件一样对这两个挂载目录进行同步。本方法使用定时器来定期进行邮件和HDFS的同步。本方法不仅适用于邮件的备份，博客、网盘的备份同样也可以采用本方法。

本发明提出的具体方案是：

一种便捷的备份邮件到HDFS上的方法,具体步骤为：

①在本地系统的userspace中设置定时器，定时器定期检查用户邮箱，通过访问邮件的本地挂载点，把请求路径交给VFS模块，VFS将请求路径交给fuse模块，mail_fuse_fs文件系统实现邮件的读取，返回给fuse模块读取的内容，fuse模块将邮件内容返回给VFS模块；

②VFS模块将内容返回给读取线程，读取线程将读取的内容返回给定时器，定时器读取hdfs在本地挂载点目录，Hdfs读取线程访问VFS，VFS访问fuse，fuse调用hdfs fuse模块读取hdfs内容；

③VFS把读取内容返回给hdfs读取线程，Hdfs读取线程把hdfs内容返回给定时器，定时器完成邮件内容和hdfs内容的对比，确定哪些邮件需要同步，定时器调用hdfs写线程，Hdfs写线程完成邮件跟hdfs同步。

所述的步骤③中，Hdfs写线程将多封邮件进行归档后跟hdfs同步。

所述的邮件为Gmail邮件。

所述的一种便捷的备份邮件到HDFS上的方法应用于处理博客到HDFS上，具体步骤为：

①在本地系统的userspace中设置定时器，定时器定期检查用户博客，通过访问博客的本地挂载点，把请求路径交给VFS模块，VFS将请求路径交给fuse模块，blog_fuse_fs文件系统实现博客的读取，返回给fuse模块读取的内容，fuse模块将博客内容返回给VFS模块；