[发明专利]一种基于Hadoop分布式文件预览方法及其系统

说明书

技术领域

本发明涉及计算机领域，特别是涉及一种文件预览方法及系统。

背景技术

文件预览是指将一定格式的文件，如微软Office文件、PDF文件、文本文件和一些图片文件，在不经过文件编辑的情况下展示出文件内容。现有的文件预览方式主要有基于网页的预览、基于缩略图的浏览、苹果公司的Quick Look和基于Flash的预览。

基于网页的浏览是指将文件内容转换为HTML格式进行展示，它的缺点是丢失文件格式信息。基于缩略图的浏览是将文件内容按页生成图片，以图片方式进行查看，它的缺点是无法进行文本的查找。QuickLook技术是一种用在Mac OSX系统上的一种文件预览方式，缺点是只能用于Mac OSX系统上，并且也不支持文件内容查找。基于Flash的文件预览是将文件转换为SWF文件格式，并在网页中嵌入SWF播放器进行查看文件。此解决方案的文件预览基于Flash技术。

上述的文件预览解决方案只针对了文件格式的转换与文件的预览，但存在有以下问题：对文件可靠性、海量文件转换的时效性、海量文件检索的问题。

同时处理大文件或多文件时，转换时效性及效率较低；

在系统存在海量文件时，文件检索效率低；

在慢速网络或者文件较大情况下播放预览文件不流畅，影响用户体验。

所以，有必要提出一种新的技术方案，以解决在文件预览时提高文件可靠性、海量文件转换的时效性、海量文件检索的问题。

发明内容

本发明的目的在于提供一种基于Hadoop分布式文件预览方法及其系统，使得同时处理大文件多文件转换时效性得到显著提升，增强系统海量文件转换处理能力与海量索引检索能力，并能通过分页播放预览文件实现在慢速网络或者文件较大情况下仍然能够有效的维护用户体验的流畅性。

为解决以下技术问题，本发明提供一种基于Hadoop分布式文件预览方法，包括：

步骤1、将源文件存储于Hadoop分布式文件系统中；

步骤2、将存储于Hadoop分布式文件系统的源文件转换成SWF文件和TXT文件；

步骤3、将已转换为文本文件进行索引提取，建立索引；

步骤4、根据索引从Hadoop分布式存储中读取需要预览展示的SWF文件进行播放。

进一步地，所述步骤2具体包括：

步骤2.1、获取存储于Hadoop分布式文件系统的源文件；

步骤2.2、将源文件转换成PDF文件；

步骤2.3、将PDF文件格式抽取纯文本内容，存为文本文件；

步骤2.4、将PDF文件转换为SWF文件。

步骤2.5、将转换成功后的文本文件和SWF文件格式存回Hadoop分布式存储中。

进一步地，所述步骤3具体包括：

步骤3.1、在Hadoop分布式存储中建立索引目录；

步骤3.2、将转换为纯文本文件进行索引提取建立索引；

步骤3.3、将建立好的索引写入合并到Hadoop索引目录中。

进一步地，所述步骤4具体包括：

步骤4.1、根据索引从Hadoop分布式存储中读取需要预览展示的SWF文件；

步骤4.2、将读取到的SWF文件加载到文件预览播放器播放。

为解决以下技术问题，本发明还提供一种基于Hadoop分布式文件预览系统，包括：文件存储装置、文件转换装置、文件索引装置、文件预览装置，

所述文件存储装置，用于存储待转换的源文件，以及转换成功的文本文件和SWF文件；

所述文件转换装置，用于将源文件转换为纯文本文件格式和SWF格式；

所述文件索引装置，将转换为纯文本文件进行索引提取建立索引；

所述文件预览装置，用于根据索引播放需要预览展示的SWF文件。

进一步地，所述文件存储装置基于Hadoop分布式文件系统中，真实数据存储于Hadoop数据结点上。

进一步地，所述文件转换装置包括转换任务调度器、转换任务执行器，

所述转换任务调度器，用于提交文件转换任务，并将转换任务调度所述转换任务执行器；

所述转换任务执行器，用于执行转换任务调度器派发的文件转换任务。

进一步地，所述转换任务调度器是基于Hadoop MapReduce实现，将提交文件转换Map任务调度所述转换任务执行器。

进一步地，所述转换任务执行器包括：文件转换任务守护进程、OpenOffice服务、以及SWFTools，