[发明专利]一种基于Res2Net、TransUNet和协同注意力的人体语义分割方法

说明书

本发明提供一种基于Res2Net、TransUNet和协同注意力的人体语义分割方法，包括获取人体部分语义分割数据集；引入Res2Net网络、TransUNet网络和Coordinate Attention机制，搭建神经网络模型；设计损失函数，并利用Adam算法对所述神经网络模型进行优化；采用数据集训练优化后的所述神经网络模型；输入待分割的人体图像到训练后的神经网络模型中，得到人体图像分割结果。本发明的技术方案解决了因实际拍摄的人体图像中，图像环境复杂，人体数量较多，现有技术在对人体语义分割时往往表现不佳，不能准确地将图像中人体的各个部分分割出来的问题。

技术领域

本发明涉及图像分割技术领域，具体而言，尤其涉及一种基于Res2Net、TransUNet和协同注意力的人体语义分割方法。

背景技术

复杂实际场景下的人体语义分割就是要从实际的野外场景下，对图像内的人体进行部分分割。通过建立深度神经网络模型并利用完整的数据集进行训练，使其能够适应各种复杂的实际环境。Ke Gong等人提出了PGN网络来分割复杂场景图像中的人体。使用ResNet-101提取特征图。然后，附加两个分支以捕获部分背景和人类边界背景，同时生成部分得分图和边缘得分图。最后，执行一个细化分支，通过整合部分分割和人类边界背景来细化预测的分割图和边缘图。U-Net系列算法通过对图像下采样，在上采样的方式对图像进行分割。模型的参数小，分割效果好。

但是，在实际拍摄的人体图像中，图像环境复杂，人体数量较多，现有技术在对人体语义分割时往往表现不佳，不能准确地将图像中人体的各个部分分割出来。

发明内容

根据上述提出的技术问题，提供一种基于Res2Net、TransUNet和协同注意力的人体语义分割方法。

本发明采用的技术手段如下：

一种基于Res2Net、TransUNet和协同注意力的人体语义分割方法，包括如下步骤：

S1、获取人体部分语义分割数据集；

S2、引入Res2Net网络、TransUNet网络和Coordinate Attention机制，搭建神经网络模型；

S3、设计损失函数，并利用Adam算法对所述神经网络模型进行优化；

S4、采用数据集训练优化后的所述神经网络模型；

S5、输入待分割的人体图像到训练后的神经网络模型中，得到人体图像分割结果。

进一步地，所述获取人体部分语义分割数据集，包括：

获取CIHP人体语义分割数据集，并将数据集划分为训练数据集和验证数据集；

将训练数据集中的全部语义图片用于神经网络模型的训练；

随机抽取验证数据集中的N张图像，用于评估神经网络模型的性能，其中，N小于等于10。

进一步地，所述引入Res2Net网络、TransUNet网络和Coordinate Attention机制，搭建神经网络模型，包括：

搭建的神经网络模型包括编码器单元和解码器单元；

编码器单元包括Res2Net网络和TransUNet网络，Res2Net网络和TransUNet网络提取输入图像中的全局特征和局部特征，得到特征图；

解码器单元包括上采样模块和Coordinate Attention机制，解码器单元获取并合并特征图，上采样模块对特征图进行处理，Coordinate Attention机制对处理后的特征图中的特征进行聚集，以分割图像并恢复至原来的图像大小。