[发明专利]基于微通道内存映射和Smart‑Slice的极速文件指纹提取系统及方法

摘要

本发明公开了一种基于微通道内存映射和Smart‑Slice的极速文件指纹提取系统及方法，S1微通道内存映射，跳过操作系统，直接操作磁盘文件，根据媒体文件的大小运用Smart‑Slice智能分割方法将媒体文件动态分割成多个大小均等的数据块；S2多线程并行提取，使用多线程分布式任务处理DSC进程并行提取出各个数据块的文件指纹。本发明跳过操作系统，直接操作磁盘文件，同时根据文件的大小运用Smart‑Slice智能分割技术把文件动态分割成数分大小均等的数据块，最后用多线程并行提取出各个数据块的指纹，在保证媒体文件正确性和可靠性的前提下，有效提高了工作的连续性和效率；经过测试，提取一个8GB大小媒体文件的指纹，时间仅需20秒，比传统方法缩短了数倍时间。

主权项

基于微通道内存映射和Smart‑Slice的极速文件指纹提取方法，包括以下步骤：S1：微通道内存映射，跳过操作系统，直接操作磁盘文件，根据媒体文件的大小运用Smart‑Slice智能分割方法将媒体文件动态分割成多个大小均等的数据块；S2：多线程并行提取，使用多线程分布式任务处理DSC进程并行提取出各个数据块的文件指纹；S3：合成得到整个媒体文件的指纹信息；所述的Smart‑Slice智能分割方法包括以下步骤：SS1：接收切片请求并响应切片请求；SS2：根据切片请求中的内容源标识CID信息，从存储待切片媒体文件的数据存储中心获取相应的待切片媒体文件；SS3：识别待切片媒体文件的长度，并根据欲切片的份数计算每个切片的长度；SS4：按照步骤SS3得到的切片长度对待切片媒体文件进行分割切片，获得多个大小均等的切片片段，并生成每个切片片段的描述des信息；所述的des信息包括切片索引信息和I帧索引信息，des信息用于为多线程分布式任务处理DSC进程的并行提取提供数据块的标识；所述方法对应的基于微通道内存映射和Smart‑Slice的极速文件指纹提取系统，所述系统包括一个或多个分布式任务调度中心、媒体服务单元、WEB及应用服务器中心、消息自动处理中心和数据存储中心，各分布式任务调度中心、WEB及应用服务器中心、消息自动处理中心和数据存储中心分别与媒体服务单元通信连接；所述的分布式任务调度中心设置有分布式任务调度TSC进程、高效集群控制HAC进程和第一进程启动代理Agent进程，分布式任务调度TSC进程获取用户提交的任务列表，实时获取并维护分布式任务处理DSC进程的状态信息，根据分布式任务处理DSC进程的状态信息和任务分配原则完成对任务的调度分配；分布式任务调度TSC部署在任意多台计算机设备上，这些计算机设备组成一个分布式任务调度集群网络环境，多个分布式任务调度TSC进程互为热备，通过心跳完成各自状态信息的交换，同一时刻只有一个分布式任务调度TSC进程实例的状态为主，其他都为备；分布式任务调度TSC进程实例的主备切换通过高效集群控制HAC进程完成，所有分布式任务调度TSC进程在运行过程中实时向高效集群控制HAC进程汇报自己的当前状态，只要发现当前为主状态的分布式任务调度TSC进程实例异常，就根据参数序号原则在剩下的为备状态的分布式任务调度TSC进程实例中选择一个序号最小的分布式任务调度TSC进程实例为主，该分布式任务调度TSC进程实例在切换后，保留预设时间间隔的时间窗；高效集群控制HAC进程完成分布式任务调度集群网络环境和分布式任务调度TSC进程之间的心跳检测，实时监视并控制分布式任务调度TSC进程的主备状态，高效集群控制HAC进程在运行过程中实时向互为备份的高效集群控制HAC进程实例汇报自己的当前状态，并实时获取所有分布式任务调度TSC进程实例的状态信息，根据TSC状态信息发送正确的控制命令，只有状态为主的高效集群控制HAC进程实例才能控制分布式任务调度TSC进程实例间的主备状态切换；第一进程启动代理Agent进程完成当前计算机设备的运行环境资源监测，控制进程的启动、结束和状态检测，完成分布式任务调度TSC进程、高效集群控制HAC进程实例的维护；微通道内存映射是指跳过操作系统，直接操作磁盘文件，同时根据文件的大小运用Smart‑Slice智能分割技术把文件动态分割成数分大小均等的数据块，最后用多线程并行提取出各个数据块的指纹；所述的媒体服务单元设置有分布式任务处理DSC进程、DSC进程管理DSCM进程和第二进程启动代理Agent进程，分布式任务处理DSC进程完成媒体文件的处理，分布式任务处理DSC进程实例在运行过程中实时向分布式任务调度TSC进程汇报自己的当前状态；DSC进程管理DSCM进程使DSC进程具有自我管理能力，异常退出后自动恢复，根据参数配置的DSC进程实例数量动态调整本地DSC进程实例数量；同时，DSC进程管理DSCM进程获取本地设备上所有DSC进程实例汇报的实时状态，并向TSC集群转发本地设备上DSC进程实例状态，以备分布式任务调度TSC进程完成任务的实时分配和调度；第二进程启动代理Agent进程完成当前计算机设备的运行环境资源监测，控制进程的启动、结束和状态检测，完成分布式任务处理DSC进程、DSC进程管理DSCM进程实例的维护；所述的WEB及应用服务器中心设置有WEB负载均衡WLB进程、任务服务库和第三进程启动代理Agent进程，WEB负载均衡WLB进程完成WEB及应用服务器之间的负载均衡和容错服务控制，WEB负载均衡WLB进程实例在设定频率内完成检查IIS、DB有效性检查，同时通过心跳，综合本地计算机设备和WLB集群中其他计算机设备的CPU利用率情况，再向需要IIS服务的进程实例组播发送“有效”的服务器名称；任务服务库以WEB SERVICE的形式提供给分布式任务调度TSC进程，完成任务信息的处理；第三进程启动代理Agent进程完成当前计算机设备的运行环境资源监测，控制进程的启动、结束和状态检测，完成WEB负载均衡WLB进程实例的维护；所述的消息自动处理中心设置有消息自动处理DPU进程和第四进程启动代理Agent进程，消息自动处理DPU进程自动实时地获取本机上队列中的最新消息信息，对消息内容进行解析，根据消息内容完成业务的处理；第四进程启动代理Agent进程完成当前计算机设备的运行环境资源监测，控制进程的启动、结束和状态检测，完成消息自动处理DPU进程实例的维护；所述的数据存储中心存储以下几类数据：以媒体文件为主的公共数据交换和处理区存储设备，以存储元数据为主的数据库系统，以存储消息为主的MQ系统；所有数据存储中心中：媒体文件存储设备、数据库系统DB、MQ系统都分别一一进行热备容错构建；所述的数据库系统选择为Oracle、MySQL、SQL Server的多级串行分布式架构。