[发明专利]基于深度学习和目标跟踪的大输液异物检测方法、系统、介质及设备

权利要求书

1.一种基于深度学习和目标跟踪的大输液异物检测方法，其特征在于，包括以下步骤：

步骤1：采集大输液生产线上通过高速旋转-急停后的序列图像；

步骤2：对采集的大输液序列图像进行格式转换，并裁剪掉边界干扰区域；

步骤3：将大输液药液历史序列图像的中央感兴趣区域中包含的异物目标进行最小外接矩形的方框标记，同时记录XML文件，并对XML文件进行脚本转换，获取TFRrecord文件；

所述XML文件记录每个异物目标的方框标记ground-truth box、角点坐标、所属图像名称、大小、通道数、图像格式与存储路径；

步骤4：构建基于Faster R-CNN深度神经网络的异物位置预测标记模型；

利用历史序列图像按照步骤2-步骤3处理，获得训练集的TFRecord文件，利用训练集的TFRrecord文件输入Faster R-CNN深度神经网络模型进行训练，获得基于Faster R-CNN深度神经网络的异物位置预测标记模型，训练时，配置文件的分类数设置为1，迭代批处理数据数目batch_size置为1，总的迭代次数num_steps设置为40000；

步骤5：按照步骤2-步骤3对实时采集的大输液医药药液生产线上的大输液药液序列图像进行处理，之后把第一帧图像的TFRecord文件所述的基于Faster R-CNN深度神经网络的异物位置预测标记模型，获得第一帧所有疑似异物目标的位置坐标点；

步骤6：将实时采集的序列图像和基于步骤5获得的第一帧所有的疑似异物目标坐标位置所在区域作为CSR-DCF目标跟踪算法的感兴趣区域输入部分，跟踪得到实时采集的序列图像中每个疑似异物目标的位置坐标；

步骤7：依据噪声与异物目标的运动轨迹差别，基于目标运动轨迹特征，利用贝叶斯原理的自适应分类算法从实时采集的序列图像中所有疑似目标的运动轨迹上区分出异物目标和噪声。

2.根据权利要求1所述的方法，其特征在于，所述对采集的大输液序列图像进行格式转换，裁剪边界干扰区域，过程如下：

步骤2.1：通过python中的字符串的拼接，将CCD相机获得的大输液药液序列图像BMP位图格式的图像为JPG格式；

步骤2.2：采用双线性插值将JPG格式的大输液药液图像的分辨率压缩成1000*750的分辨率；

步骤2.3：将经过压缩后的大输液药液图像进行resize操作，图像宽度裁剪范围为115至885的区域，高裁剪为75至675的区域，图像分辨率为770*600。