[发明专利]组织腔体的定位方法、装置、可读介质和电子设备有效
申请号: | 202111040354.5 | 申请日: | 2021-09-06 |
公开(公告)号: | CN113487609B | 公开(公告)日: | 2021-12-07 |
发明(设计)人: | 边成;李永会;赵家英;石小周 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | G06T7/00 | 分类号: | G06T7/00;G06T7/70;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 北京英创嘉友知识产权代理事务所(普通合伙) 11447 | 代理人: | 魏云鹿 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 组织 定位 方法 装置 可读 介质 电子设备 | ||
1.一种组织腔体的定位方法,其特征在于,所述方法包括:
获取当前时刻内窥镜采集的组织图像;
利用预先训练的分类模型对所述组织图像进行分类,以确定所述组织图像的目标类型;
若所述目标类型指示所述组织图像中存在组织腔体,根据预先训练的第一定位模型和所述组织图像,确定所述组织图像中组织腔体的位置;
若所述目标类型指示所述组织图像中不存在组织腔体,根据预先训练的第二定位模型、所述组织图像和历史组织图像,确定所述组织图像中组织腔体的位置,所述历史组织图像为当前时刻之前所述内窥镜采集的图像;
所述分类模型是通过以下方式训练得到的:
获取第一样本输入集和第一样本输出集,所述第一样本输入集包括:多个第一样本输入,每个所述第一样本输入包括样本组织图像,所述第一样本输出集中包括与每个所述第一样本输入对应的第一样本输出,每个所述第一样本输出包括对应的所述样本组织图像的真实类型;
将所述第一样本输入集作为所述分类模型的输入,将所述第一样本输出集作为所述分类模型的输出,以训练所述分类模型。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述目标类型指示所述组织图像的质量不满足预设条件,根据所述历史组织图像,确定所述内窥镜的进镜方向,以控制所述内窥镜按照所述进镜方向进镜;
在获得所述组织图像中组织腔体的位置的情况下,根据所述组织图像中组织腔体的位置,确定所述进镜方向,以控制所述内窥镜按照所述进镜方向进镜。
3.根据权利要求1或2所述的方法,其特征在于,所述分类模型包括:编码器和分类层,所述利用预先训练的分类模型对所述组织图像进行分类,以确定所述组织图像的目标类型,包括:
对所述组织图像进行预处理,并将预处理后的所述组织图像划分为大小相等的多个子图像;
根据每个所述子图像对应的图像向量,和该子图像对应的位置向量,确定该子图像对应的令牌,所述位置向量用于指示该子图像在预处理后的所述组织图像中的位置;
将每个所述子图像对应的令牌,和随机生成的分类令牌输入编码器,以得到每个子图像对应的局部编码向量,和所述组织图像对应的全局编码向量;
将所述全局编码向量和多个所述局部编码向量输入分类层,以得到所述分类层输出的所述目标类型。
4.根据权利要求1或2所述的方法,其特征在于,所述第一定位模型包括:多个第一编码器、点回归子模型和热力图子模型,所述根据预先训练的第一定位模型和所述组织图像,确定所述组织图像中组织腔体的位置,包括:
对所述组织图像进行预处理,并将预处理后的所述组织图像划分为大小相等的多个子图像;
根据每个所述子图像对应的图像向量,和该子图像对应的位置向量,确定该子图像对应的令牌,所述位置向量用于指示该子图像在预处理后的所述组织图像中的位置;
将每个所述子图像对应的令牌,和随机生成的第一定位令牌输入每个所述第一编码器,以得到该第一编码器输出的,每个所述子图像对应的局部编码向量,和所述组织图像对应的全局编码向量;
将每个所述第一编码器输出的所述全局编码向量输入所述点回归子模型,以得到所述点回归子模型输出的回归坐标;
将每个所述第一编码器输出的,每个所述子图像对应的局部编码向量输入所述热力图子模型,以得到所述热力图子模型输出的热力图;
根据所述回归坐标和热力坐标,确定所述组织图像中组织腔体的位置,所述热力坐标为所述热力图中亮度最大的点的坐标。
5.根据权利要求4所述的方法,其特征在于,所述根据所述回归坐标和热力坐标,确定所述组织图像中组织腔体的位置,包括:
若所述回归坐标与所述热力坐标之间的距离小于预设的距离阈值,根据所述回归坐标和热力坐标,确定所述组织图像中组织腔体的坐标;
所述方法还包括:
若所述回归坐标与所述热力坐标之间的距离大于或等于所述距离阈值,根据所述历史组织图像,确定所述内窥镜的进镜方向,以控制所述内窥镜按照所述进镜方向进镜。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111040354.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种精梳机智能自动退筒管装置
- 下一篇:一种纺织提拉装置