[发明专利]基于SparkR的产品检测总完工时间极小化方法

权利要求书

1.一种基于SparkR的产品检测计划总完工时间极小化方法，总完工时间极小化过程涉及到产品检测计划，试验工序，设备资源以及完工时间，其特征在于，把各个产品检测计划分配到设备资源对应的各个检测室，在产品检测计划确定的情况下，具体步骤包括有：

(1)导入原始试验数据：在R中调用DataFrame接口，首先创建SparkContext，然后创建SQLContext，用SQLContext来创建DataFrame，导入原始产品试验检测任务数据，用DataFrame对试验检测任务数据进行存储，原始产品试验检测任务数据量可达到TB量级；

(2)数据预处理：在所创建的DataFrame中对大规模试验检测任务数据根据产品检测计划进行缺失值的查找、插补、过滤以及数据列的操作和提取部分数据；所述的DataFrame是为存储产品试验检测任务数据创建的一种类似R的data.frame的二维表，用schema来表示产品试验检测任务数据列的名字和数据类型，DataFrame中的所有试验检测任务数据全部以JVM的数据类型来存储，简单地调用JVM端DataFrame的数据处理方法，直接通过R程序对DataFrame中存储的试验检测任务数据进行调用和预处理操作；DataFrame API还包含了一部分RDD API，先将DataFrame转换成RDD，然后调用RDD的数据分组、聚合和重分区方法，执行大规模试验检测任务数据时会启动一个R worker进程，将大规模试验检测任务数据进行分区安排到每个子节点进行分布式计算和分析，通过socket连接将分区试验检测任务数据、序列化后的R函数以及分区信息传给每个R worker进程，每个R worker进程反序列化接收分区试验检测任务数据和编写好的R函数，将R函数应用到分区试验检测任务数据上，最终将结果数据序列化成字节数组传回JVM端；

(3)确定产品检测计划目标函数和约束条件的数学模型：目标函数根据产品检测计划的最终目标建立，即产品检测计划的总完工时间，约束条件根据各试验检测产品的检测先后顺序和各检测室的检测先后顺序确定；

(4)建立产品检测计划总完工时间的遗传算法优化模型：对试验产品的所有试验检测任务数据进行参数初始化、遗传算子的设定、初始种群生成、个体编码、个体适应度计算、交叉和变异操作，得到子代基因序列，即试验产品的试验检测任务排序，然后根据个体适应度对产品检测计划的排序进行选择，计算每种排序的完工时间，如果目标函数的解没有收敛，则以得到的子代基因序列作为父代继续进行交叉和变异迭代操作，直到目标函数的解收敛；

(5)输出最优产品检测计划排序和每个试验产品、每道工序的开工、完工时间：满足迭代次数，结果达到收敛条件，即目标函数的解收敛，结束迭代，输出最优试验检测排序和每个产品、每道工序的开工和完工时间列表；

(6)输出整个产品检测计划总完工时间：根据每个试验产品、每道工序的开工、完工时间，所有试验产品最后一道工序中的最大完工时间，即为整个产品检测计划的总完工时间，将总完工时间输出；

(7)产品检测计划的可视化展示：总完工时间不能完全展示整个试验检测排序情况，根据每个试验产品、每道工序的开工、完工时间，将最终的试验检测排序显示为甘特图，将每个试验产品、每道工序在检测室检测的先后顺序和加工时间信息可视化展示。