[发明专利]一种面向分布式CT的云端数据管理和任务调度方法及系统

权利要求书

1.一种面向分布式CT的云端数据管理和任务调度方法，其特征在于，包括以下步骤：

S1，云端存储集群对不同类型的磁盘按业务容量隔离和聚合，将聚合后的SSD作为动态数据缓存域，将聚合后的HDD作为静态数据持久化存储域；

S2，云端按指定大小分块读取CT数据流，并将块索引和块数据以哈希映射表的形式写入内存中，直到接收到传输结束标记位；

S3，待数据传输结束后，对内存中的数据进行分块校验；若某一块数据异常，仅向CT终端再次请求该块数据；若所有数据都正常，则将所有分块数据及其哈希映射表一次性写入动态数据缓存域中；

S4，集群中计算任务的各个阶段读取和写入缓存域中的数据，直到任务计算成功后，将数据迁移到静态数据持久化存储域进行持久化存储；

S5，将多任务的逻辑数据按照设定规则分到不同的子目录，在存储集群的主节点建立文件索引元数据，并建立用于访问文件的操作接口，提供CT数据读写和属性操作，

S6，云端构建kubernetes基础计算平台，kubernetes基础计算平台上的多任务优先级以多维度参数共同确定，考虑业务及操作的关键性和价值度，以任务权重为规则进行设计；

S7，在S6的基础上，将提交的任务按照时间窗进行划分，将任务加入设定时间窗内的集合中，同一个时间窗内的任务按照归一化权重计算方法进行处理，不同的时间窗按时间优先的方法进行处理；将时间窗与归一化权重相融合；

S8，基于kubernetes基础计算平台对S6和S7设计的基于时间窗加权调度方法，实现插件式任务调度器接口，通过配置的形式启用/切换调度策略；

S9，基于S6，S7，S8所描述的调度方法和调度器接口，将所有任务按业务最优的方式分配到集群中运行。

2.根据权利要求1所述的面向分布式CT的云端数据管理和任务调度方法，其特征在于，S1中，对不同类型的磁盘按存储需求进行划分，以主机Tag和磁盘Tag的形式实现同类型磁盘的逻辑聚合以及不同类型磁盘的逻辑隔离，主机Tag和磁盘Tag记录在存储元数据中以供读写实际CT数据时查询；CT任务执行过程中的热点数据将存储在SSD动态数据缓存域中；CT任务执行完成后的RawData和生成图像数据将存储在HDD静态数据持久化域中。

3.根据权利要求1所述的面向分布式CT的云端数据管理和任务调度方法，其特征在于，S2中，云端集群程序在内存中维护着一个全局的HashMap列表，在读取CT实时数据流的过程中，通过手动指定分块大小，将实时数据进行分块读取到内存，再以任务为单位建立任务ID-块索引-块数据的映射关系，将此映射关系写入到全局的HashMap列表中，直到接收到传输结束标记位代表数据接收完毕。

4.根据权利要求1所述的面向分布式CT的云端数据管理和任务调度方法，其特征在于，S3中，待内存中的CT数据块全部接收成功后，对数据块进行遍历并采用md5算法校验其合法性。

5.根据权利要求1所述的面向分布式CT的云端数据管理和任务调度方法，其特征在于，S4中，当集群中有空闲节点时，集群会在空闲节点临时分配一个数据迁移程序，该程序遍历所有动态域中已经完成的任务，将原始数据和结果数据迁移到可靠存储域进行持久化存储，然后删除动态数据缓存域中的数据。

6.根据权利要求1所述的面向分布式CT的云端数据管理和任务调度方法，其特征在于，S5中，在存储的上层逻辑视图中，将多任务的逻辑数据按照地区、医院、年、月、日、任务ID等业务规则分到不同的子目录。

7.根据权利要求1所述的面向分布式CT的云端数据管理和任务调度方法，其特征在于，S6中，多维度参数包括医院所属地域、历史诊断数量、历史评价分值、医院等级信息，提交科室信息、病情等级信息、病人历史检查信息、CT设备类型信息和网络传输指标信息，以任务权重为规则进行设计，

其中k为任务某参数的关键性，A为在平台中可自由配置的关键参数的系数，s为单任务的数值权重，

其中，计算结果R表示多任务的归一化权重，再通过对归一化权重进行Quicksort排序，获得单任务在某一时间点的优先级。