[发明专利]基于专注误分割区域的交互式图像分割方法和系统

说明书

本发明提供一种基于专注误分割区域的交互式图像分割方法和系统，对输入图像的初始分割进行前景和背景的抠图处理，得到前景和背景抠图图像；对输入图像以及欠分割和过分割指示点，生成欠分割和过分割测地距离指引图；根据输入图像、初始分割图像、欠分割以及过分割测地距离指引图，提取全图图像特征；根据背景和前景抠图图像以及欠分割和过分割指示点，提取欠分割和过分割区域特征；将欠分割和过分割区域特征以及全图图像特征进行特征融合，得到修正后的分割图像。本发明结合先验知识和神经网络本身的学习能力，提升对于图像分割的准确率和可解释性，并且作为获取分割数据标注的手段，使标注仅经过几次点击交互就能完成，避免逐像素点标注。

技术领域

本发明涉及一种计算机视觉和图像处理领域的方法，具体地，涉及一种基于专注误分割区域的交互式图像分割方法和系统。

背景技术

近年来，随着计算机视觉技术的迅速发展，语义分割任务作为视觉任务中的一个重要分支，越来越受到广泛研究。其中图像分割是计算机辅助诊断和外科手术计划等的重要组成部分。专家手工分割可以保证标注质量，但繁琐耗时。自动分割如U型网络已经取得了显著的进展，但在准确性和性能鲁棒性方面仍然不够好，不能用于临床应用。交互式分割以一种交互式的方式利用用户的知识来克服手工和自动方法所面临的挑战，利用少量所需人力得到良好的分割鲁棒性。

现有的交互式分割方法主要先使用自动分割网络分割出一个初始结果，而后将初始分割结果反馈给医生。医生根据初始分割给予一定的点击，涂抹或者范围框，表示在初始分割中所点击或者圈定的范围里有错误分割。交互式分割就是根据医生所给提示信息来改善初始分割得到令医生满意的结果。其中，基于深度学习的交互式分割有两个关键问题：(1)如何从医生的交互中有效地获取和表达交互式提示信息，这通常被称为“提示图生成”；(2)如何设计一个合适的网络来有效地利用这些交互式提示图来改善初始分割，同时具有更少的交互和更快的响应。

目前基于深度学习的交互式图像分割方法一般将医生给定的点击信息转换成距离图，例如欧氏距离图、高斯距离图或者测地距离图。然后将输入图像、初始分割、距离图拼接到一起，然后直接输入深度卷积神经网络得到改善后的分割。这样的作法主要有两个缺点，一是对于欧式距离图或者高斯距离图对于图中每个方向都相同的对待，没有考虑输入原图的信息，与之相反测地距离图能够反映一部分原图的信息做到更有针对性的指引；二是直接将所有已知信息进行拼接然后由网络学习整体分割没有关注到交互式分割问题的本质。交互式分割问题的本质是对初始分割中分错的地方进行改进，因此网络更应该注意到这些难以分割的区域，即更多网络参数应当为错误分割区域服务。因此如何设计网络更多更好地提取出错误分割区域的特征是需要着重考虑得问题。同时如何设计前端的输入图像使数据特征更容易地被观察也是在设计中需要解决的问题。

经过检索发现：公开号为CN108765426A，公开日为2018年11月6日的中国发明专利申请《自动图像分割方法及装置》，公开了：包括以下步骤：A、基于图论方法进行图像像素划分，由此将图像分割为不同区域；B、对图像分割的区域进行欠分割检测，修正图像分割区域；C、分析欠分割检测后的图像分割区域两两之间的近似度，如果足够近似则进行图像分割区域的合并。通过本发明的自动图像分割方法及装置，能够实现快速、准确、可靠的图像区域分割，并使分割结果更加接近人的视觉效果。该技术仍然存在以下问题：

1、该方法基于像素灰度值的相似性来决定判断像素点是否为同一类，但实际上误分割和正确分割区域往往存在一定的像素差异，即大的类内距离，所以仅根据像素灰度值来判断是否为同一类是不准确的；；

2、该方法基于传统图像分割算法，性能较深度学习分割方法差。