[发明专利]基于深度学习和目标跟踪的大输液异物检测方法、系统、介质及设备

说明书

本发明公开了一种基于深度学习和目标跟踪的大输液异物检测方法、系统、介质及设备，该方法对采集的连续多帧图像进行图像预处理后，结合了目标检测算法和目标跟踪算法，实现了目标检测与目标跟踪的融合、异物精准定位跟踪；首先通过对序列图像进行预处理，然后先运用Faster R‑CNN神经网络对第一帧图像进行目标检测，得到每个疑似目标的初始位置，然后通过CSR‑DCF目标跟踪算法跟踪每个目标在之后几帧的位置，得到每个疑似目标的运动轨迹，最后根据轨迹特征用基于半朴素贝叶斯原理的自适应分类算法进行分类，排除噪音干扰。实验表明，该方法不但可以极大提高检测速度而且检测精度也提高了许多，达到了工业生产精度和实时性要求。

技术领域

本发明属于医药图像检测领域，涉及一种基于深度学习和目标跟踪的大输液异物检测方法、系统、介质及设备。

背景技术

我国大输液生产量和销售量早已位居世界第一，在制药生产过程中，由于各种原因导致药液中混入直径大于50微米的微小异物，其中包括空气中的纤维，工人掉落的毛发，玻璃瓶碰撞产生的玻璃屑，橡胶塞脱落的橡胶块等。由于大输液药剂直接将药物输入静脉并进入人体血液，一旦这些异物进入人体血液循环，直接关系到人的生命安全，更重要的是，大输液是给病人使用的，而病人相对于正常人的抵抗能力要弱很多，带有异物的药业一旦输入血液，跳过人体安全的第一，第二防线，不但无法治病，还有可能致命。所以，大输液异物检测是重中之重，是维护人民生命安全的最重要一道防线。在传统中小制药企业采用的人工灯检法，这种方式依靠人力，伴有检测标准无法统一，导致视力疲劳，检测速度慢，漏检率高等缺点。而国外等先进设备，价格昂贵，维护成本极高，因此研究开发一套高效安全的大输液异物检测方法，是当务之急。对人民安全，工业生产，国家发展具有重大意义。

发明内容

本发明提供了一种基于深度学习和目标跟踪的大输液异物检测方法、系统、介质及设备，其目的在于，对大输液药液中的异物跟踪识别，并建立了自适应分类算法以排除气液体泡，瓶身划痕，光斑等噪音干扰，实现异物目标准确检测与跟踪。

本发明提供的技术方案如下：

一方面，一种基于深度学习和目标跟踪的大输液异物检测方法，包括以下步骤：

步骤1：采集大输液生产线上通过高速旋转-急停后的序列图像；

步骤2：对采集的大输液序列图像进行格式转换，并裁剪掉边界干扰区域；

步骤3：将大输液药液历史序列图像的中央感兴趣区域中包含的异物目标进行最小外接矩形的方框标记，同时记录XML文件，并对XML文件进行脚本转换，获取TFRrecord文件；

所述XML文件记录每个异物目标的方框标记ground-truth box、角点坐标、所属图像名称、大小、通道数、图像格式与存储路径；

将所有的标注XML文件先后利用xml_to_csv.py与generate_tfrecord.py脚本进行转换，最后依据约9比1的比例构建训练集和验证集的TFRecord文件；

步骤4：构建基于Faster R-CNN深度神经网络的异物位置预测标记模型；

利用历史序列图像按照步骤2-步骤3处理，获得训练集的TFRecord文件，利用训练集的 TFRrecord文件输入Faster R-CNN深度神经网络模型进行训练，获得基于Faster R-CNN深度神经网络的异物位置预测标记模型，训练时，配置文件的分类数设置为1，迭代批处理数据数目batch_size置为1，总的迭代次数num_steps设置为40000；

步骤5：按照步骤2-步骤3对实时采集的大输液医药药液生产线上的大输液药液序列图像进行处理，之后把第一帧图像的TFRecord文件所述的基于Faster R-CNN深度神经网络的异物位置预测标记模型，获得第一帧所有疑似异物目标的位置坐标点；