[发明专利]基于微通道内存映射和Smart‑Slice的极速文件指纹提取系统及方法

说明书

技术领域

本发明涉及一种基于微通道内存映射和Smart-Slice的极速文件指纹提取系统及方法。

背景技术

随着科学技术的发展，从宏观的星图描绘到微观的粒子结构的研究，从军事领域的模拟核试验到生物领域的后基因组计划的解读，再到大规模网络测量、仿真与模拟等等，这些重大挑战性计算问题均需要跨管理域利用大量分布式计算任务调度及执行资源，随着人们对信息数据日益广泛的需求，使得传统的分布式计算任务调度及执行无法满足日益膨胀的需求。

分布式计算任务调度及执行软件就是多台相连的计算机各自承担同一工作任务的不同部分，在人的控制下，同时运行，共同完成同一件工作任务。由多个自主的、相互连接的信息处理系统，在一个高级操作系统协调下共同完成同一任务的处理方式。分布式计算任务调度及执行软件必须有能力在短时间内动态地组合成面向不同服务对象的系统。对用户来说系统是透明的，用户只需指定系统干什么而不必指出哪个部件可以提供这一服务。系统各组成部分是自主的，但不是无政府状态，而是遵循某个主计划由高级操作系统进行协调工作。在一个计算机网中有多台主机不一定都是分布式处理。如果这样的系统不具备动态组合及任务再指派的能力，那么它们仍然是集中式处理。高级操作系统是分布式处理的关键。在分布式系统中不再使用完整的信息，各个组成部分提供自己的状态信息，高级操作系统根据这些状态信息进行任务协调和资源再分配，各组成部分之间没有层次关系而是自主的。

传统的分布式计算任务调度及执行系统无法将不同地点的、或具有不同功能的、或拥有不同数据的多台计算机用通信网络连接起来，无法在控制系统的统一管理控制下，协调地完成信息处理任务，无法在短时间内动态地组合成面向不同服务对象的系统，系统无法根据用户的需求为用户提供相应服务。传统的分布式任务调度及执行系统对任务的几种状态中，大多规定“刚分配”和“已完成”两种状态为零容忍状态，在DSC的连续状态汇报中，如果因为网络的瞬时故障（这在复杂的分布式环境中是允许出现的）造成零容忍状态丢失或者被覆盖，就会造成任务的分配混乱或者再次分配同一条任务，如果任务的结果信息丢失，长时间完成的成果（比如转码成果）就会成为垃圾。

传统分布式计算任务调度及执行系统媒体文件的迁移和传输过程中，无法保证文件传输的可靠性和高效性，通常对于一个8GB大小的媒体文件而言，提取其文件指纹的时间需要1分钟以上，效率极其低下，直接影响了媒体文件的迁移和传输速率。

发明内容

本发明的目的在于克服现有技术的不足，提供一种新型的基于微通道内存映射和Smart-Slice的极速文件指纹提取系统及方法，微通道内存映射是指跳过操作系统，直接操作磁盘文件，同时根据文件的大小运用Smart-Slice智能分割技术把文件动态分割成数分大小均等的数据块，最后用多线程并行提取出各个数据块的指纹，在保证媒体文件正确性和可靠性的前提下，有效提高工作的连续性和效率。

本发明的目的是通过以下技术方案来实现的：基于微通道内存映射和Smart-Slice的极速文件指纹提取系统，包括一个或多个分布式任务调度中心、媒体服务单元、WEB及应用服务器中心、消息自动处理中心和数据存储中心，各分布式任务调度中心、WEB及应用服务器中心、消息自动处理中心和数据存储中心分别与媒体服务单元通信连接；

所述的分布式任务调度中心设置有分布式任务调度TSC进程、高效集群控制HAC进程和第一进程启动代理Agent进程，分布式任务调度TSC进程获取用户提交的任务列表，实时获取并维护分布式任务处理DSC进程的状态信息，根据分布式任务处理DSC进程的状态信息和任务分配原则完成对任务的调度分配；分布式任务调度TSC部署在任意多台计算机设备上，这些计算机设备组成一个分布式任务调度集群网络环境，多个分布式任务调度TSC进程互为热备，通过心跳完成各自状态信息的交换，同一时刻只有一个分布式任务调度TSC进程实例的状态为主，其他都为备；分布式任务调度TSC进程实例的主备切换通过高效集群控制HAC进程完成，所有分布式任务调度TSC进程在运行过程中实时向高效集群控制HAC进程汇报自己的当前状态，只要发现当前为主状态的分布式任务调度TSC进程实例异常，就根据参数序号原则在剩下的为备状态的分布式任务调度TSC进程实例中选择一个序号最小的分布式任务调度TSC进程实例为主，该分布式任务调度TSC进程实例在切换后，保留预设时间间隔的时间窗；