[发明专利]一种基于视觉三维场景重建的样本采集结果评估方法

说明书

本发明公开一种基于视觉三维场景重建的样本采集结果评估方法，包括步骤：S1、通过双目摄像头采集核酸采集过程中视频流图像；S2、三维点云重建算法将从双目摄像头输入的左右两个视频流中提取图像特征点；S3、采用特征点描述子对特征点进行识别和匹配；S7、利用接触检测算法，判断当前咽后壁三维mesh和咽拭子三维mesh的空间位置关系；S10、通过动作完成评估算法对视频流的多个连续视频帧进行步骤S1‑S7的检测判定，在视频流记录的采集动作达到算法指定条件时，给出采集动作完成的二分类结果判定。本发明实现了对整个咽拭子样本采集过程的采集部位指示、咽拭子头识别和指示、动作完成检测和评估的综合判定。

技术领域

本发明属于图像识别技术领域，具体来说，涉及一种基于视觉三维场景重建的样本采集结果评估方法。

背景技术

在核酸检测全流程中，核酸样本的采集是重要的一个环节。这个环节也非常容易发生受检人员和采集医务人员的交叉感染。为了保护医务人员，同时也为了节约社会人力资源，采用无人值守的自动化核酸采集亭方式是目前该领域的一个重要发展方向。无人化的自动采集亭目前实现的方式大多数是采用机械臂夹具夹取拭子伸入受检人员口腔进行咽部拭子的采集。而机械辅助采集的过程中，如出现机械故障，极易出现伤害被采样者口腔的情况，又因每个被采集者的口腔深度不同，身高不同，年龄不同，左右扁桃腺和后咽壁的生长角度不同等等，极易出现触碰不到口腔采集关键点，从而出现采集样本无效的情况，导致采集成功率低。

在专利号为CN202210941936.9的中国发明专利中，公开了一种基于目标检测的人体扁桃体区域检测系统及边侧部署方法，其方法包括将人体扁桃体区域检测系统部署到边缘计算设备上，选取nvidiajetson nana开发板进行部署，对原始生成的.pt最优模型进行压缩优化部署，具体如下：S1、使用ONNX工具对人体扁桃体区域检测系统进行初步优化，生成.onnx模型文件；S2、使用tensorrt对.onnx模型进行框架层间映射、张量融合及数据类型变换，生成.engine引擎模型文件；S3、使用c++编写调用.engine模型文件对视频进行人体扁桃体区域检测的.cpp文件；S4、编写CMakelists.txt编译文件；S5、使用cmake工具对源码进行编译，生成人体扁桃体区域检测的可执行文件.exe；S6、使用python编写调用人体扁桃体区域检测可执行文件和模型文件的.py文件；S7、配置jetpack框架下ubuntu系统的python环境；S8、编写shell调用相关资源实现基于usb或csi摄像头的人体扁桃体区域检测。解决如何通过分析摄像头拍摄到的图像和视频，判别出被采样者采样行为是否合规，提高被采样者自主完成咽拭子标本采集精准度的问题。

现有专利的缺陷在于，上述专利中虽然解决了如何判别出被采样者采样行为是否合规，但缺乏对整个咽拭子样本采集过程的采集部位指示、咽拭子头识别和指示、动作完成检测和评估的综合判定。

发明内容

针对现有技术缺乏对整个咽拭子样本采集过程的采集部位指示、咽拭子头识别和指示、动作完成检测和评估的综合判定的问题，本发明提供了一种基于视觉三维场景重建的样本采集结果评估方法。

为实现上述技术目的，本发明采用的技术方案如下：

一种基于视觉三维场景重建的样本采集结果评估方法，包括步骤：

S1、通过双目摄像头采集核酸采集过程中视频流图像；

S2、三维点云重建算法将从双目摄像头输入的左右两个视频流中提取图像特征点；

S3、采用特征点描述子对特征点进行识别和匹配，根据同一个特征点在两个视频图像中的位置关系，利用空间几何计算该特征点的视觉深度信息，对每一个特征点在三维空间中的空间位置进行还原，获得特征点组成的三维点云图；

S4、通过三维物体识别算法对三维点云样本进行标注和训练，得到在三维点云中分割出咽后壁点云簇和咽拭子点云簇的神经网络模型；