热门论文
最新论文
医学影像深度半监督语义分割算法 设计与应用研究
发布时间：2023-09-20 14:30
第一章 绪论 1
1.1研究背景与意义 1
1.2国内外研究现状 2
1.2.1深度学习图像分割网络 2
1.2.2深度医学影像分割 2
1.2.3深度半监督医学影像分割 3
1.3本文的主要研究内容 4
1.4论文的结构安排 5
第二章 相关概念及技术分析 7
2.1深度神经网络 7
2.2半监督医学影像分割技术 12
2.2.1半监督学习概述 12
2.2.2一致性正则化方法 12
2.2.3对抗学习方法 14
2.2.4自训练方法 15
2.3评价指标 15
2.4其他技术 16
2.5本章小结 16
第三章 基于自训练的一致性半监督医学图像分割算法 17
3.1问题分析 17
3.2自训练一致性框架 17
3.2.1框架结构 18
3.2.2数据增强方法 19
3.2.3课程学习 20
3.2.4损失函数设计 20
3.3 实验与结果分析 21
3.3.1数据集 21
3.3.2实验设计 23
3.3.3皮肤病数据集分割实验分析 23
3.3.4视网膜眼底图数据集分割实验分析 24
3.3.5低级别胶质瘤数据集分割实验分析 26
3.3.6对比试验可视化 27
3.4本章小结 28
第四章 基于一致性和对抗训练的半监督医学图像分割算法 29
4.1问题分析 29
4.2一致性正则化与对抗机制框架 29
4.2.1框架结构 29
4.2.2分割网络 30
4.2.3判别器网络 31
4.2.4损失函数设计 32
4.3实验与结果分析 34
4.3.1数据集介绍 34
4.3.2实验设计 34
4.3.3皮肤病数据集分割实验分析 35
4.3.4视网膜眼底图像数据集分割实验分析 37
4.3.5低级别胶质瘤数据集分割实验分析 39
4.3.6对比实验可视化 41
4.4 本章小结 42
第五章 基于深度半监督的医学图像智能分割系统 43
5.1需求分析 43
5.2总体设计 43
5.3系统运行环境搭建 44
5.4系统详细设计与实现 44
5.4.1用户展示模块 44
5.4.2网络传输模块 46
5.4.3后端分割模块 47
5.4.4数据保存模块 47
5.5本章小结 48
第六章 总结与展望 49
6.1总结 49
6.2展望 50
参考文献 51
第一章 绪 论
1.1 研究背景与意义
近年来，由于医学影像成像技术的不断更新，每天产生着大量的医学影像数据，计 算机辅助诊断通过准确识别出病变区域可以帮助医生快速判断病情，在临床实践中有着 十分重要的意义。其中，医学影像语义分割是进行医学影像分析的关键步骤之一，通过 给图像中每一个像素点分配一个类别标签，具有相同的标签的像素点构成目标区域，计 算机自动从医学影像中逐像素地识别出目标区域。然而由于医学影像包含的器官较为繁 杂，目标在形状和特征上具有高度的复杂性，使得针对医学影像自动分割非常具有挑战 性。因此如何提出准确且高效的医学影像分割方法，成为极具临床应用价值的研究方向。
随着深度学习的发展，深度学习在语义分割领域带来了显著发展，众多研究学者设 计出许多基于深度学习的语义分割模型，成为图像分割领域的主流研究方法。深度学习 为语义分割模型带来更高的分割精度，在图像的分割任务上有着优异的分割性能，因此 在医学影像分割［1-2］领域中得到广泛的应用，它可以拟合原始数据与分割掩码之间的映 射关系。深度学习是一种端到端的深度学习方法，能够自动学习复杂的数据非线性特征， 具有强大的泛化能力。
现有的基于深度学习的医学影像语义分割模型训练严重依赖于大量精细标注的数 据，大量的标签数据用来解决模型的过拟合现象。特别在医学影像这个领域中，需要具 有较强专业知识背景的医生才可以对医学图像进行精准的标注，想要获得大量的高质量 标签的数据是非常困难的。相比于获得标签数据，由于成像技术的进步发展，大量的无 标签原始医学图像更容易获得。而深度半监督方法可以利用无标签数据获取数据之间的 信息，提升模型的性能。
因此，为了解决医学影像的标签数据的稀少问题，深度半监督方法在医学影像语义 分割任务中得到广泛的应用，它通过使用少量的标签数据和大量的原始图像数据，使得 模型表现的泛化性能接近甚至超过使用大量有标签数据所训练的模型，同时可以完成对 医学影像的分割，减轻医生的负担。如何利用少量的标签数据得到高性能模型并在此基 础上利用大量的原始图像数据以进一步提升模型的性能成为近年来医学影像分割领域 的研究热点。本文旨在利用深度半监督方法在少量标签数据的训练下，提高模型的分割 准确率，同时设计出智能分割系统对医学影像数据的自动分割，且可以用于临床辅助医 疗诊断。
1.2国内外研究现状 随着深度学习不断发展，深度学习在医学影像上的研究逐渐成为科研热点存在。本 文将从多个方向阐述医学影像分割的当前国内外研究现状。
1.2.1深度学习图像分割网络 早期的传统图像分割方法一般是自然图像处理中常用的分割算法，如区域分割法､
边缘分割法等。传统的分割方法需要人为根据具体任务设计相应的分割模型，而且需要 设计人员具有一定的专业知识，所以这些传统方法存在着较大的局限性。
随着计算机的快速发展，在2015年，卷积神经网络(Convolutional Neural Network， CNN)在图像分割任务上有着良好的性能表现，基于卷积神经网络的图像分割吸引了众 多学者的注意,图像分割领域有着很大的发展空间。在 MICCAI 举办细胞分割挑战赛中 U-Net［3］取得最好的分割效果，在图像语义分割领域成为了主流方法。其他语义分割方法 有:SegNet［4］、DeepLab［5］、RefineNet［6 ］等神经网络结构，这些网络模型同样都有着优异的分 割性能。在2015到2018年之间，DeepLab在FCN［7啲基础上进行改进，使用空洞卷积 扩大感受野提高对图像分割精度，在此期间DeepLab系列发布V1、V2、V3和V3+版本, 分割能力不断提升。
许多基于深度学习的全监督算法应用到分割任务中需要大量的标签数据，而进行精 细的标注是一件既费时又费力的任务，且对专家经验依赖性较强，因此获得大量完整标 注的且精确度高的标签数据集非常困难。
1.2.2深度医学影像分割
近年来，深度神经网络在医学图像分割中取得优异的性能，基于深度学习的医学图 像分割模型大大的提高分割的准确性，在辅助医生诊断中也表现出十分的优异，减轻医 生工作负担。
在皮肤病变图像的分割中，形状和边缘信息被广泛地挖掘和利用， Mirikharaji 等人
［8］在精确的形状预测之前应用星形状，提供更有效的几何性质的预测。Liu等人［9］引入边 缘预测损失来配合分割损失，同时通过注意机制提高网络架构的提取特征能力。 Gu 等 人［10］分别使用空间注意模块和通道注意模块迫使模型集中于前景区域，强调最相关的特 征。 Dong 等人［11］提出一种反馈注意网络，以获得更丰富的特征信息映射。对于其他医 学图像数据集的分割， Fu 等人［12］设计出一种新的用于青光眼筛查图像的视盘感知集成 网络，它集成四个不同层次的深度流，以获得更丰富的信息。 Buda 等人［13］改进提取多 特征的U-Net网络，从低级别胶质瘤图像中分割出目标区域。Yu等人卩4］对卷积残差网 络进行进一步的改进，得到全卷积残差网络(Fully Convolutional Residual Networks, FCRN),用于黑色素瘤精确的预测。尽管这些深度分割模型取得了成功，但仍需要有经 验的专家提供大量的像素级标签。
1.2.3深度半监督医学影像分割
半监督学习［15-18］优势是可以在无标签数据上学到知识，因此在医学领域中的半监督 学习同样有着良好的前景。在医学图像分割任务中，想要得到大量的像素级标签数据， 需要具有较强专业知识的医生才可以进行精准的标注。因此由于标签的匮乏，促进了半 监督学习在医学图像分割领域的发展。
早期的半监督学习在医学图像分割任务中，有手工特征［19］和基于聚类［20］的模型被广 泛研究。现在半监督医学影像分割的工作主要基于深度学习，半监督学习旨在仅仅利用 小部分标签数据，并利用大量的无标签数据来提高模型的准确性，其主要目的在于如何 充分地利用无标签数据。本章回顾该领域的几种典型方法:一致性正则化［21-23］､对抗训练 ［24-27］和自训练［28-31］。
一致性正则化：基于平滑性假设的方法称为一致性正则化，添加辅助任务来构造正 则化信息是引入一致性的有效方法，当在输入数据上添加扰动，鼓励模型对原始数据和 干扰后数据所得到的预测结果具有一致性。Luo等人［32］也提出双任务一致性半监督学习 框架。在这项工作中，像素分割模型和几何感知模型进行协同训练，以获得具有更准确 几何特征的预测。Basak等人［33］通过将无标签数据进行插值之后，鼓励其分割图的插值 之间具有相同的一致性结果训练网络。 Quali 等人［34］设计出多解码器模型，利用有标签 数据训练共享编码器和主解码器，将无标签数据分别输入到主解码器以及多个辅助解码 器中，使其结果具有一致性。
另一方面，将典型的一致性方法如平均教师(Mean-Teacher)直接集成到分割框架中 也被证明是有效的。Li等［21 ］在皮肤病变数据集上的分割任务中对平均教师模型的输入 数据采用不同的变换策略(如随机旋转、缩放、翻转等)，鼓励模型在不同的变换策略中 的模型预测保持一致。Cui等人［35］将同一个无标签数据注入两种不同的扰动，然后将无 标签数据输入到模型的训练，提供一致性正则化信息。 Chen 等人［36］在无标签数据的分 类和分割任务中引入双任务和一致性损失，以增强模型对差异增强的鲁棒性。Guo等人 ［37］在平均教师算法的基础上，添加不确定性滤波器，使得模型可以得到可靠的无标签数 据信息。Cai等人［38］认为平均教师模型中教师网络的批归一化(Batch Normalization, BN) 对网络预测有干扰，因此改为指数移动平均归一化(Exponential Moving Average Normalization, EMAN)进行更新教师网络的参数。平均教师算法是利用不同扰动的模型 预测不变性的同时融入伪标签思想，因为教师模型是对模型以往的权重进行融合，所以 教师模型的预测更加稳定，并且还可以当作伪标签指导学生网络的更新。
对抗性学习：另一种有效的半监督方法是对抗性训练， Hung 等人［39］将对抗性学习 引入到半监督分割中，利用分割网络作为生成器，并引入判别器来区分标签数据和无标 签数据的预测，通过判别器的对抗训练将无标签数据的预测分布接近于真实标签。 Zhang 等人［30］引入体素特征判别器来学习特定于类的体素特征分布。 Mittal 等人［40］在对抗性半 监督分割中设计出特征匹配损失以及将半监督分类和半监督分割联合使用，让模型产生 更加准确的预测结果，过滤网络错误的预测。Wu等人［41 ］在结肠镜息肉图像中应用双分 割网络，并使用主判别器和辅助判别器来缓解标签数据和无标签数据之间的不平衡，通 过对抗训练增强双分割网络的分割能力。
自训练学习：模型首先使用有标签数据训练得到具有一定分割能力，然后为无标签 数据上生成伪标签，使得模型可以在有标签数据和无标签数据上学习。 Bai 等人［42］设计 出两个不同无标签数据集，通过交替使用不同无标签数据集更新模型的参数，进而减轻 伪标签给模型带来的误差。 Ke 等人［43］通过使用多任务模型来降低生成的伪标签中的不 确定性，利用高质量的伪标签对模型进行训练。Lee等人［44］中，使用教师模型生成的伪 标签来监督重新训练的学生网络，该伪标签是在标签的数据上训练的。Yang［45］基于自训 练策略，并进一步建议选择总体可靠的预测数据进行选择性再训练。 Zhao 等人［46］通过 对同一张无标签数据进行不同的变换，将得到数据输入到模型中并对产生的预测结果进 行平均，得到无标签数据伪标签。
1.3本文的主要研究内容
以上半监督方法在医学影像分割中仍存在不足，如：基于自训练策略的算法，没有 考虑到样本具有难易之分，在模型性能欠佳时，对于难样本的预测出现较大的误差；而 基于平均教师的算法，对于教师模型性能过于依赖，导致模型存在严重的认知偏差。
综上所述，目前医学影像分割算法在大量的标签数据上有着良好的表现，但在标签 数据缺乏时算法分割效果欠佳。为了解决在少量标签的情况下，导致算法在医学影像上 分割精度较低，本文设计出基于自训练的一致性半监督医学图像分割算法与基于一致性 和对抗训练的半监督医学图像分割算法，并且在多个医学数据集上验证本文提出两种算 法的有效性，以及开发实现医学图像智能分割系统。
本文研究内容包括:
1.本文提出自训练一致性学习算法，提升模型对无标签数据的利用，设计出强弱双 教师模型来监督学生模型，在双教师模型的监督下，提供更多一致性正则化信息。并且 教师模型以课程学习的方式，为无标签数据生成伪标签扩充标签数据集，并通过实验验 证该方法的有效性。
2.本文引入对抗机制来进一步提高平均教师算法中学生网络性能，判别器生成的置 信度图可以在无标签数据上为学生网络提供更可靠的监督信息。同时引入了一个辅助判 别器，以缓解由于标签稀缺引起的判别器过拟合，构建出主判别器和辅助判别器之间的 协同一致性损失(Collaborative Consistency Loss，CCL)，帮助主判别器为学生网络提供更 高质量的监督信息。
3.设计并实现基于半监督医学影像的智能分割系统，完成计算机辅助诊断以及图像 的智能分割功能。
1.4论文的结构安排
本文的内容结构安排如下:
第一章阐述课题的研究背景和意义，介绍了深度学习和深度学习图像分割以及深度 半监督医学图像分割算法的国内外研究现状，并且阐述了本文的研究内容和组织结构。
第二章介绍神经网络和半监督学习相关理论概念以及本文所涉及的半监督医学图 像分割相关算法。
第三章论述自训练策略、数据增强和课程学习的优势，设计出一种基于自训练的一 致性半监督医学图像分割算法。
第四章通过分析一致性正则化与对抗训练的特点，提出一种基于一致性与对抗训练 深度半监督医学图像分割算法。
第五章在 PyCharm 平台上开发基于深度半监督医学图像智能分割系统。
第六章对上述工作进行总结，并对医学图像半监督分割的发展进行展望。
第二章 相关概念及技术分析
2.1深度神经网络
深度神经网络有着很强的特征提取能力，模型通过学习提取得到的这些特征，可以 更准确地预测出结果。卷积神经网络已经成为了主流的方法，至今已经有二十多年的发 展历史。不同的神经网络都有着不同的创新与优势，例如:AlexNet[47]、VGG[48]、ResNet[49] 和DenseNet[50]。因此在图像识别领域中，深度神经网络作为提取图像特征已经成为许多 方法的首要选择。
卷积神经网络通常包括三种机制:权值共享、局部感受、下采样。卷积神经网络不同于 全连接网络，卷积神经网络使用局部连接，通过不同尺寸的卷积核获得不同大小的感受 野，提取数据特征，以及通过池化操作可以对特征图进一步池化下采样。卷积神经网络 的基本结构如图 2.1 所示:
输入层 卷积层 池化层 全连接层 输出层
图 2.1 卷积神经网络结构示意图
Fig 2.1 Structure diagram of convolutional neural network
1 ．卷积层
卷积层的主要作用是从输入特征中学习局部信息，利用设定的卷积核来学习图像特 征，提取的特征可用于后续网络层的学习训练。如图 2.2 所示，绿色矩阵表示输入特征 大小为5x5，图2.3黄色矩阵展示卷积核大小为3x3。
Fig 2.2 Input image
图 2.3 卷积核
Fig 2.3 Convolution kernel
卷积核决定特征进行卷积时提取的特征区域大小，矩阵中的数字通过训练进行学习。 卷积操作如下:
1.将特征矩阵与卷积核矩阵中某个位置重叠;
2.将特征矩阵与卷积核矩阵对应位置上数字相乘并相加，得到的结果作为下一层的 数据特征的像素值;
3.将卷积核在特征矩阵上滑动，重复第二步，分别计算得到所有位置的输出特征值。
对上述操作进行举例说明，将特征矩阵使用3x3卷积核进行卷积，设定步长为1， 填充为 0，首先将卷积核与特征矩阵左上角进行卷积计算，按照从左至右，从上至下的 顺序，每个对应位置分别进行相乘并把每个位置结果相加，既1*1 + 1*0 + 1*1 + 0* 0 + 1*1 + 0*0 + 1*1 + 0*0 + 0*1 = 4，得至U特征图左上角的像素值，同理，其他位 置按此过程完成卷积操作。最终网络输出的特征图大小也为3x3,如图2.4所示：
2．池化层
池化层是在卷积层之后对得到的特征图进行的下采样，主要是为了减少参数量，缓 解网络过拟合。池化操作主要是在减少图像中相邻的相同像素，防止这些重复的信息成 为冗余信息。池化层使用的两个主要的池化操作为：最大池化和平均池化，使用不同尺 寸的池化核分别在池化区域进行池化操作，最大池化操作是在池化区域内以最大像素值 作为池化后的目标像素值，而平均池化操作是在池化区域内的所有像素级值的平均值作 为池化后的目标像素值。如图2.5所示，图中左边特征图大小为4x4。，池化核大小为 2x2,步长为2,分别进行最大池化和平均池化得到图2.5，图2.5中间为最大池化特征 图和右面为平均池化特征图。池化操作之后得到的特征图大小为原来特征图大小的二分
之一。
特征图 最大池化 平均池化
图2.5池化操作
Fig 2.5 Pooling operation
3．全连接层
全连接层是将神经网络中输入节点和输出节点全部连接，因此在全连接层中的每一 个特征都将影响最终结果的预测。所以全连接层通常在卷积神经网络中的最后几层，同
时加入激活函数，将卷积神经网络的输出结果经过非线性转换达到增强网络的拟合能力。
如图 2.6 所示:
图 2.6 全连接层结构示意图
Fig 2.6 Structural diagram of full connection layer
4．激活函数 激活函数是在神经网络中引入非线性，因为大部分数据分布为非线性，而神经网络 计算过程是简单的线性计算，想要尽可能拟合原始数据分布，需要在网络中引入非线性 是必不可少的。常见的激活函数有:Sigmoid、Tanh、ReLU和Leaky ReLU。图2.7展示这 四种激活函数。
图2.7(a)为Sigmoid激活函数，计算公式如式(2.1)所示:
Sigmoid 函数把输出结果映射到(0, 1)，当输入接近于正无穷时，输出值无限靠近于 1；当输入接近于负无穷时，输出值无限靠近于 0。在神经网络早期， Sigmoid 函数被大 量的运用到训练中，因为它对于神经元的激活频率有很好的解释：完全不激活(0)以及在 最大频率处的完全饱和(saturated)的激活(1)。但是在多层神经网络的情况下，Sigmoid激 活函数在神经网络训练中的反向传播，会导致梯度弥散和梯度爆炸的问题，其中有极大 的概率产生梯度弥散，从而导致神经网络无法学习。
图2.7(b)为Tanh函数曲线，计算公式如式(2.2)所示:
Tanh 的输出取值范围为(-1, 1)，均值为 0，使得网络收敛速度要比 Sigmoid 快，还 可以减少网络训练迭代次数，但Tanh函数仍然存在梯度消失问题。
图2.7(c)为ReLU函数的曲线图，在输入为负值时，输出均为0，在输入大于0的区 间，输出y = x，可见该函数并非全区间可导的函数;计算公式如2.3所示：
relu = max(x, 0) (2.3)
ReLU损失函数当输入值x处于负无穷到0之间，导数为0,网络中该节点的特征不 参与网络的学习，这样可以将密集特征进行稀疏化，减少参数之间的关联性，保留有用 数据信息，使模型具有鲁棒性，缓解过拟合问题。当x大于0时，网络的输入与输出一 样，它的导数为 1，不存在饱和问题，因此解决梯度弥散问题，相对于 sigmoid 和 tanh 激励函数，对ReLU求梯度非常简单，计算相对容易，可以很大程度地提高在随机梯度 下降过程中的收敛速度。在实验中，使用ReLU函数作为网络在卷积和池化之后的激活 函数。
图2.7(d)为Leaky ReLU的曲线图，函数计算公式为(2.4)所示:
〃、(X x > 0
心=h x<0
Leaky ReLU 函数为了解决 ReLU 存在的梯度消失问题，提出将 ReLU 的前半段设 为QX而非0,主要是为了避免梯度消失，当神经元处于非激活状态时，允许一个非0的 梯度存在，不会出现梯度消失，进而导致网络模型参数无法更新，从而无法学习到有效 特征。
2.2半监督医学影像分割技术
2.2.1半监督学习概述 半监督学习是一种介于全监督学习和无监督学习之间的一种学习方法，在全监督学 习中，数据样本都有着对应的类别标签，模型只需要找到数据样本与标签之间的联系。 当有标签数据数量巨大时，模型在数据样本中学习到的信息越多，模型的预测能力越高。 但是大量的标签数据很难获得，数据对应的标签的标注花费比较昂贵。无监督学习由于 在分割任务中的不准确性，很难得到广泛的应用。所以半监督学习就是利用这一特点， 模型利用少量的有标签数据，同时利用大量相对容易得到的原始数据来训练模型，进而 解决标签数据不足的问题。
如图 2.8 所示，半监督学习是在少量有标签数据和大量无标签数据上进行的学习训 练，半监督学习包含了全监督学习和无监督学习的特点，当全部使用有标签数据时作为 全监督学习，或者全部使用无标签数据时作为无监督学习，所以如何有效地利用无标签 数据信息是半监督学习的关键。事实上，无标签数据虽然没有标签，但是假如无标签数 据和有标签数据是从相同的数据集中独立同分布采集得到的，那么无标签数据中的数据 分布信息对模型的建立也大有脾益。
图 2.8 半监督学习
Fig 2.8 Semi supervised learning
半监督学习算法大致可以分为三种模式，一是同时利用有标签数据和无标签数据共 同训练，如：一致性正则化方法；二是利用生成对抗思想，对无标签数据进行判别学习， 如：对抗训练；三是先用有标签数据训练网络模型，再用训练好的网络模型对无标签数 据进行标注生成伪标签，如：自训练、协同训练。本章节重点介绍半监督学习中的一致性 正则化、对抗学习和自训练方法。
2.2.2一致性正则化方法
一致性正则化是半监督学习中重要的方法之一，在半监督任务中，无标签数据因为 没有对应的标签，因此一致性正则化方法是在对输入数据添加不同的噪声扰动，迫使模 型对相同数据不同扰动噪声下的预测结果应该保持一致。如图 2.9 所示，假设对于一个 猫狗分类模型，对输入“狗”图像做了颜色扰动等数据增强，模型预测结果都是“狗”。
n-model等人［51 ］是运用一致性正则化的简单半监督学习方法，训练过程的每一个迭 代中，同一个无标签数据前向传播两次，分别通过不同数据增强注入扰动，同一样本数 据的两次前向传播会得到不同的预测，n-Model希望这两预测结果尽可能一致，即模型 对扰动鲁棒。
Temporal Ensembling是在口-Model上进行改进，利用集成学习的思想。训练过程 的每一个迭代中，同一个无标签样本前向传播一次。 Temporal Ensembling 使用之前迭代 得到的预测结果来充当一致性结果，用指数滑动平均(Exponentially Moving Average， EMA)的方式计算之前迭代所得的预测结果，使得前向传播的次数减少一半，速度提升 近两倍。
平均教师方法［52］是一致性正则化中最具有代表性的方法，采用双模型结构，一个是 学生网络模型，另一个是教师网络模型。其中学生网络模型采用梯度下降进行网络参数 更新，而教师网络模型是用学生网络参数通过指数滑动平均(Exponentially Moving Average，EMA)计算得到。在训练过程中，当输入数据为有标签数据时，采用交叉熵损 失函数更新学生网络参数。当输入数据为无标签数据时，对输入数据进行数据增强，然 后将没有进行数据增强的无标签数据输入到学生模型，将添加数据增强的无标签数据输 入到教师模型，利用一致性正则化损失函数使得学生模型与教师模型的预测结果保持一 致。一般一致性正则化损失使用均方误差，公式(2.5)所示:
其中x和0分别是代表原始无标签数据和添加扰动后的无标签数据，0和0'分别代表 学生模型参数和教师模型参数。
教师网络参数是通过学生网络参数指数滑动平均得到的，由于教师网络参数是集成 迭代中的网络参数，所以教师模型的预测结果误差较小，从而可以为学生模型提供较为 准确的结果。指数滑动平均如公式2.6所示:
0；=必；-]+ (1 ― ^)0t
其中Q是一个平滑系数超参数，决定教师网络参数按照多少比例滑动平均学生网络 参数。Q设为0.999。
在半监督分割任务中，不同于分类任务，在分类任务中模型的预测结果一致性是不 变的。而在分割任务中，如果输入图像进行旋转､翻转等变换操作，分割出的掩码与输入 图像旋转或者翻转一样，那么一致性正则化时，需要将无标签数据进行相同的变换操作。
2.2.3对抗学习方法
半监督学习中的对抗网络是基于生成对抗网络，对抗学习主要是从生成对抗网络形 成的，生成对抗网络由生成模型和判别模型构成，如图 2.10 所示。生成器和判别器以博 弈思想的方式进行相互学习训练，模型训练开始时，生成器通过随机数据产生一个虚假 图像，由判别器判断真实图像和虚假图像，判别器最后输出是对样本的预测结果的概率 值。在生成对抗网络的训练中，生成器最大可能的产生虚假图像骗过判别器，使得判别 器无法分别真假。判别器以最大正确率的区分真实图像和虚假图像，并对由生成器产生 的虚假图像输出一个较低的概率值。
图 2.10 生成对抗网络
Fig 2.10 Generating a countermeasures network
在DCGAN[53]中，将真实的数据视为有标签数据集，通过随机信号生成的数据被认 为无标签数据集。使用生成器对特征提取后，判别器进行分类的功能，DCGAN中由分 类器C、生成器G和判别器D构成，判别器学到的特征对分类器有着提升分类的作用， 而好的分类器同样可以提升判别器对真实数据和虚假数据的判断能力，分类器和判别器 相互促进提升性能，当判别器的判别能力提升时，生成器产生的数据的效果页随之变好， 三者动态的趋于一个平衡点。在SGAN[54]中，其中判别器设置为一个多分类器，判别器 不是简单的进行真假判断，而是额外进行区分 N+1 类，其实就是在 N 分类任务上增加 一类（生成的数据）。
在分割任务中，可以由分割网络分割出的掩码作为生成的样本，有标签数据的真实 标签作为真实样本。通过训练判别器网络区分生成的分割掩码和真实标签掩码，来促进 分割网络分割出更加接近真实标签的掩码。同时判别器通过训练学习，对数据的分辨能 力也在不断提升。最终由分割网络分割出的掩码，判别器很难分辨时，分割网络和判别 器达到一种动态平衡。Luc等人［55］首次使用生成式对抗网络(GAN)进行语义分割，他们 把 GAN 中的生成器使用分割网络进行替换，然后让分割网络的输出与输入图像进行拼 接，输入到判别器中判别真假，从而实现对抗训练。
2.2.4自训练方法
分割任务中的自训练方法主要是通过给无标签数据赋伪标签，然后将有标签数据和 无标签数据共同加入到模型的训练中。训练过程如下：首先用少量有标签数据训练分割 网络模型，然后通过模型对无标签数据进行预测分割，进而生成无标签数据的分割掩码 作为伪标签，然后将无标签数据和伪标签加入到有标签数据集中，重新训练分割网络模 型。通过不断地迭代更新伪标签，最终得到性能较好的分割模型。如图 2.11 所示
图 2.11 自训练示意图 Fig 2.11 Self training diagram
2.3评价指标
图像分割任务中常用的指标有:交并比(Intersection-Over-Union, IoU)、Dice系数(Fl-
score )和召回率(Recall)。混淆矩阵是图像分割指标的基础，如表2.1所示：
表 2.1 混淆矩阵
Tab 2.1 Confusion matrix
预测值
正 负
真实值 正 真阳性(TP) 假阴性(FN)
负 假阳性(FP) 真阴性(TN)
交并比是预测分割和标签之间的重叠区域除以预测分割和标签之间的联合区域，定
义如下:
2.4其他技术
Docker 是 Linux 容器的一种封装，简单易用的容器使用接口。它是目前最流行的 Linux 容器解决方案。可以将应用以及依赖包打包到一个轻量级､可移植的容器中，然后 发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是进程级别的虚拟化，不需 要虚拟整个操作系统，并且使用的是宿主机的内核，所以，其可以充分以及高效地利用 系统资源，基本不消耗额外的系统资源。Docker的容器-镜像技术，提供除内核以外完 整的运行环境，确保应用环境的一致性。Docker可以在很多平台运行，无论是物理机, 虚拟机，云服务器等环境，运行结果都是一致的，可以轻松的将一个平台的应用，迁移 到另一个平台，而不用担心因为运行环境的变化，导致程序无法运行。
2.5本章小结
本章主要介绍神经网络和半监督学习相关理论概念，分析了深度卷积神经网络的特 点、概括关于半监督学习在分割任务上的相关方法。阐述了医学影像分割领域的发展现 状和概述图像分割领域上的指标及公式，以及介绍系统开发部署所用到的相关技术。本 文所提出的半监督医学图像分割算法及应用是以本章介绍的理论知识为基础。
第三章 基于自训练的一致性半监督医学图像分割算法
基于深度神经网络模型的成功通常依赖于大量的标签数据集，然而，获得大量的标 签数据是困难和昂贵的，特别是在医学影像领域，只有专家才能提供可靠的注释。例如， 临床中心有数以千计的皮肤病变图像记录，但由经验丰富的皮肤科医生描绘黑色素瘤的 情况非常罕见，这种情况也可以在视网膜眼底图像的分割中观察到，特别是在低级别胶 质瘤图分割中，其中在图像中描绘器官非常耗时且昂贵。本章提出一种半监督医学图像 分割算法，在模型训练过程中，在使用标签数据训练的同时利用课程学习的自训练对无 标签数据重复训练，提高模型的分割精度。
3.1问题分析
本章从另一个角度研究半监督医学图像分割的方法，通过自训练方式为无标签数据 生成伪标签是一种常规、简单和流行的方法。自训练通常被认为是半监督学习中熵最小 化的一种形式，最初是在分类任务中，最近应用于半监督分割任务上，它结合在标签数 据上训练的分割模型中获得的无标签数据上的伪标签，然后将伪标签用于重新训练分割 模型，这个过程可以迭代几次，在无标签的图像上选择较好的分割预测结果作为最终的 伪标签。然而，自训练存在一个长期被低估的问题是：经典的自训练框架一次性利用所 有的无标签数据，然而，在无标签数据上存在难易样本，对应生成的伪标签质量参差不 齐，导致使用这些存在误差的伪标签在迭代优化模型时会产生严重的确认偏差，导致模 型性能下降。
3.2自训练一致性框架
为了进一步的提升无标签数据的利用率，在本章工作中，首先通过在无标签数据的 图像上添加强弱两种数据增强来构建双教师的半监督医学图像分割的模型，以缓解过度 拟合的噪声标签，并解耦学生与教师之间的相似预测。通过这种简单的机制，在实验中 取得较好的效果。深入研究自训练方法，由于不准确的伪标签容易累积错误信息到模型 中导致模型性能下降。为此，本章进一步提出一种先进的自训练框架，该框架基于课程 学习的思想引入整体预测的稳定性，优先选择可靠的无标签数据样本进行训练。具体而 言，在训练过程中，通过双教师模型在无标签样本上添加强弱数据增强，加强模型的一 致性正则化预测，并且通过计算每个样本的mIoU,选择mIoU值较高的样本，教师模 型在可靠的样本上可以产生更高质量的伪标签，为无标签数据样本生成的伪标签的可靠 性，在整个训练过程中通过不断迭代训练逐渐稳定提高。
3.2.1框架结构
本章提出一种基于自训练的一致性半监督医学图像分割算法，该算法分为两个训练 阶段：强弱双教师模型训练阶段和自训练生成伪标签训练阶段。在双教师模型训练阶段， 对于有标签数据学生模型使用监督训练，对于无标签数据分别由强数据增强得到的强教 师模型和由弱数据增强（翻转、裁剪、旋转等）得到的教师模型分别监督学生模型的学习， 增加学生模型对无标签数据学习的可信度。在自训练阶段，此时教师模型和学生模型都 具有一定的分割能力，将分割性能较好的教师模型作为基准，用教师模型在无标签数据 分割的结果作为伪标签，并且与学生模型在同一个无标签数据上分割结果计算 mIoU， 优先选择可靠的无标签数据样本，既选择较高mIoU结果的无标签数据样本，以一种由 易到难的课程学习方式利用整个无标签数据，通过多次少量的方式产生无标签数据的伪 标签，逐步提高模型分割能力。如图 3.1 所示。
图 3.1 展示本章提出的将强弱双教师模型运用到平均教师算法结构示意图，首先对 学生模型使用有标签数据进行监督训练，然后对无标签数据分别进行强弱数据增强，然 后分别输入到强教师模型和弱教师模型中，对于强数据增强的数据使用强一致性损失函 数Lstr，对于弱数据增强的数据使用弱一致性损失函数Lweafc。然后用验证数据集测试双 教师分割性能，用性能较好者作为计算mIoU的基准模型。使用教师模型与学生模型分 别预测相同的无标签数据样本，通过预先定义的阈值过滤低置信度预测结果。在获得所 有无标签数据图像的稳定性预测后，根据课程学习的思想选择前N%样本进行学习。将 标签数据和伪标记数据结合成标签数据集，在此基础上进行第二阶段的再训练，此过程 将重复多次，逐步学习难样本，增加生成伪标签稳定性。算法伪代码表3.1所示。
图 3.1 双教师模型框架示意图
Fig 3.1 Schematic diagram of dual teacher model framework
表 3.1 算法步骤
Tab 3.1 Algorithm steps
算法Co-ST
Input： Labeles dataset Dl = {xl, yl], Unlabeled dataset Du = {xu}, Student model / Strong Teacher model / Weak Teacher model S/ST/WT, Strong augmentations/Weak augmentations As/Aw
Output： Student model S
Train S on Dl with cross-entropy loss Lce
for xu E Du do
x殳，As(xu)/Aw(xu)
train S / ST / WT on xu,瑞，瑞
for k E {1 …K} do
Select N highest mIoU score images to compose DUl
Obtain pseudo labeled Du = {(xf ,T(xf)')}_i from DUl
q^2 = du — Dui
Dli = Dl +DU
Re-initialize S
Re-train S on Dl1 with cross-entropy loss Lce
Re-train S / ST / WT on D枝2
for xu E D% do
x殳,As(xu)/Aw(xu)
train S / ST / WT on xu, x芟，瑞
return S
3.2.2数据增强方法 在无标签的图像上注入数据增强非常有利于缓解有噪声的伪标签对模型产生的过 拟合现象，图像级数据增强基于弱增强(WDA)和强增强(SDA)。弱数据增强(图像翻转 旋转，移位，裁剪，变形，缩放等)的无标签图像传递给教师模型。此外，对输入强教师 模型的相同无标签图像进行强增强(高斯噪声、颜色抖动、模糊、灰度中随机选择一个算 子)，以提高整体泛化能力。例如：Yang等人［56］应用强数据增强到无标签数据样本中， 通过自训练策略选择总体可靠的预测数据进行选择性再训练，提高分割的精度。 FixMatch［65］将模型对弱数据增强样本的预测结果认为可靠的结果，将同一样本的强数据 增强的预测结果强制相同。上述方法将不同级别的数据增强的数据输入到一个网络模型， 导致网络模型学习到不同的数据分布，这样使得模型预测不准确，在本章中，将强弱图 像级增强应用于双教师模型，增加模型对不同扰动的鲁棒性，缓解错误的预测结果给模 型带来的错误累计。
3.2.3课程学习
课程学习［60］是一种模型训练策略，课程学习首先根据样本的难易程度，给样本分配 不同的权重。训练开始阶段，把简单样本赋值较高权重，通过不断地训练，再逐渐的调 高难样本的权重。让模型先从简单样本学习数据的信息，逐步学习难样本，使得模型性 能得到更好的泛化性能。本章根据课程学习的思想，在生成伪标签阶段，首先给简单样 本生成伪标签，由于模型对简单样本的预测具有较高的可信度，生成的伪标签所带来的 错误信息较少，模型对错误信息的积累也会较大程度的减少。
3.2.4损失函数设计
本文把医学图像数据集分为有标签数据集和无标签数据集，其中少量有标签数据集 "={*,;/}，和大量无标签数据集D" = {x"}。xgWxwxc为输入图像y€{0,1}Hx“xC 表示按像素划分的分割标签，其中H, W, C分别为图像的高、宽和类别。
本章提出的CO-ST算法的损失函数由交叉熵损失函数Se、强一致性正则化损失函 数和弱一致性正则化损伤函数Lweafc构成。总损失函数如3.1所示：
L = Se + 久sStr + 久(3.1)
其中，忑，仏分是强一致性正则化损失函数Lstr和弱一致性正则化损伤函数Lweafc的 权重因子，分别从0逐渐接近于1。当输入无标签数据为弱数据增强时，将强数据增强 的权重因子Lstr设为0。
交叉熵损失：这是一个标准的监督像素交叉熵损失项Lce，应用于标签数据孙:
Se =—》y'M'C) /og(S(H)(hM,c)) (3.2)
h,w,c
其中，S(・)代表学生分割网络。
弱一致性正则化的损失：这个损失函数是鼓励学生模型和弱教师模型在无标签的数 据x"中预测尽可能接近的结果，并使两者输出之间的差异最小化
Lweak =》||T(0‘)(认Q — S(0))(认Q||2 (3.3)
h,w,c
其中，X"为无标签数据X"弱数据增强(翻转、裁剪、旋转等)后的图像，T(-)为教师 分割网络。学生模型的参数0由梯度下降来更新，弱教师模型的参数0'由指数滑动平均 来更新，0； = Q0；_i+ (1 — Q是平滑系数。根据平均教师算法的设定，在实验中设
a = 0.999。
强一致性正则化的损失：该损失函数同公式(3.3)一样：
Lstr =》II T(xu")(h'w'c) — S(xu)(h'w'c)II2 (3.4)
h,w,c
其中x"为无标签数据X"强数据增强(颜色抖动、高斯模糊、灰度等)后的图像。 3.3实验与结果分析
3.3.1数据集
为了验证以上提出的算法的有效性，本章在三个医学图像数据集上进行实验评估， 分别是皮肤病变图像(ISIC)数据集［61］、视网膜眼底图像(Refuge)数据集［62-63］和低级别胶质 瘤(LGG)数据集［64］。
ISIC 皮肤病变数据集：皮肤病变图像上皮肤病变的自动分割是黑色素瘤计算机辅 助诊断的重要组成部分。黑色素瘤的自动分割是一项非常具有挑战性的任务，因为不同 患者的病变大小、位置、形状和颜色差异很大，而且存在毛发和静脉等伪影。本章实验中 的皮肤病变图像数据集来自2017 年 ISIC 皮肤病变分割挑战赛，如图 3.2 示。该数据集 包含训练集中的 2000 张图像，验证集中的 150 张图像和测试集中的 600 张图像。皮肤 病变图像的原始尺寸从540x722到4499x6748不等。为了便于进一步处理，通过双三次 插值将其调整为500 x 375的固定大小。
图 3.2 ISIC 数据示例
Fig 3.2 Example of ISIC dataset
Refuge视网膜眼底图像数据集：眼底图像数据集来自MICCAI 2018视网膜眼底青
光眼挑战赛，由中山眼科中心和中山大学的 7位独立青光眼专家提供视盘和视杯的手工 像素标签。 该数据集包括400 张图像的训练数据， 400 张图像的验证集和 400 张图像的
测试集。视网膜眼底图像也被调整为500x375。如图3.3所示。
图 3.3 Refuge 数据示例
Fig 3.3 Example of Refuge dataset
LGG 低级别胶质瘤图像数据集：低级别胶质瘤是一组 WHO 二级和三级脑肿瘤。 脑胶质瘤是由于大脑和脊髓胶质细胞癌变所产生的､最常见的原发性颅脑肿瘤，发病率 高、治愈率低。LGG(Low-Grade Gliomas)是其中最常见具有高度侵袭性，可以是良性或 恶性，生长速度较慢，临床上通常采用粗略测量的方法评估，因此，实现肿瘤的准确分 割和精确定位十分必要。该数据集包含3321 张用于训练的图像和608张用于测试的图 像。从训练集中分离出100张图像进行验证。图像大小均为256x256，如图3.4所示。
图 3.4 LGG 数据示例
Fig 3.4 Example of LGG dataset
图像增强效果图：进行弱数据增强之后的效果图如图3.5所示。
图 3.5 增强数据示例
Fig 3.5 Augmentation data example
3.3.2实验设计
采用在ImageNet上预训练的ResNet-101 +DeepLab-v2作为学生和教师分割网络， 使用随机梯度下降(SGD)优化器训练学生分割网络，学习率为2.5e-4，动量系数为0.9, 权值衰减系数为5e-4。所有的实验训练共计40000次迭代，批大小为8。在进入网络之 前，医学图像被随机裁剪到321X321。本章提出的模型使用PyTorch框架实现，并在具 有48 GB内存单个NVIDIA A40 GPU上训练。
本章实验指标采用均交并比(mIoU),召回率(Recall)和Dice系数(F1-score)来评估算 法的分割性能，其中均交并比最能代表分割效果的好坏。
本章采用平均教师(Mean Teacher, MT)作为本章算法的基线，为了评估提出的Co-ST 方法的性能，将其与全监督方法U-Net[4 ]和六种先进的半监督方法进行比较，包括MT[52]、 ALSS [52]、Self-training[57]、ST++ [58]、CLCC[70]和 S4-PLCL[71]。为了公平起见，在相同的 实验设置上使用PyTorch重新实现这些方法。
3.3.3皮肤病数据集分割实验分析
对本章提出的Co-ST算法在皮肤病数据集上进行实验，分别从训练集中随机设置 5%(100张图像)、 10%(200张图像)和 20%(400张图像)的标签数据量和剩余无标签数据 进行半监督实验。实验过程中使用验证集的150张图像验证Co-ST算法，最终使用测 试数据集的 600 图像进行测试实验。
如表3.2所示，在ISIC数据集上，本章提出的Co-ST方法明显优于平均教师方 法，当使用10%的标签数据时，平均教师的mIoU、F1-score和Recall三个指标分别 为：74.34%、 84.52%和 87.46%， Co-ST 方法的三个指标分别为：77.35%、 87.07%和 89.97%，分别提升了 3.01%、 2.55%和 2.51%。这说明本章提出的自训练一致性方法对 无标签数据信息的挖掘利用起到一定效果，对模型训练有显著的提升。
在半监督的实验中，所有的半监督方法都是在皮肤病变数据集上训练，这些数据 集使用 5%、 10%、 20%的标签数据和 95%、 90%、 80%的无标签数据。对于全监督方 法U-Net，在训练过程中只用5%/10%/20%的标签数据。不同方法在皮肤病变图像数据 集的性能如表 3.3 所示。
表3.3展示Co-ST算法同其他的半监督方法的对比实验，其中，ST++同样使用自训 练策略的平均教师模型，但是本章采用的双教师模型在不同的数据增强下引入更多的扰 动，以及使用多次少量的课程学习的方式增加伪标签数量，扩展标签数据集，减轻模型 对错误信息的积累。
表 3.2 在皮肤病变数据集上消融研究的实验结果比较
Tab 3.2 Comparison of experimental results of ablation studies on the skin lesion dataset
方法 标签/无标签 指标
mIoU F1-score Recall
全监督 100%/0 81.64 89.56 93.90
全监督 5%/0 71.93 83.53 86.61
平均教师 5%/95% 73.12 82.90 88.37
双教师模型 5%/95% 73.97 83.55 88.81
Co-ST 5%/95% 75.93 85.23 8&95
全监督 10%/90% 72.87 81.50 74.26
平均教师 10%/90% 74.34 84.52 87.46
双教师模型 10%/90% 75.18 85.54 89.01
Co-ST 10%/90% 77.35 87.07 89.97
全监督 20%/80% 76.11 85.98 86.79
平均教师 20%/80% 76.98 86.36 82.85
双教师模型 20%/80% 76.29 86.94 90.08
Co-ST 20%/80% 7&36 87.91 90.50
表 3.3 不同方法在皮肤病变数据集上实验结果比较
Tab 3.3 Comparison of experimental results of different methods on the skin lesion dataset
标签比例 方法 mIoU F1-score Recall
5% U-Net 70.92 81.90 84.56
MT 73.12 82.90 88.37
ALSS 72.92 82.73 87.76
Self traing 72.90 84.00 87.63
ST++ 73.26 85.21 89.78
CLCC 61.23 70.92 72.65
S4-PLCL 68.19 79.80 87.56
Co-ST 75.93 85.23 8&95
10% U-Net 71.74 82.49 80.09
MT 74.34 84.52 87.46
ALSS 73.72 84.06 86.33
Self traing 74.05 85.81 88.49
ST++ 75.51 86.10 89.10
CLCC 65.40 74.80 80.95
S4-PLCL 71.08 82.22 85.10
Co-ST 77.35 87.07 89.97
20% U-Net 75.27 85.19 81.32
MT 76.98 86.36 82.85
ALSS 76.91 86.41 82.76
Self traing 76.05 87.20 89.93
ST++ 76.69 86.92 91.84
CLCC 68.93 76.65 78.03
S4-PLCL 71.83 82.69 88.42
Co-ST 7&36 87.91 90.50
3.3.4视网膜眼底图数据集分割实验分析
在视网膜眼底图数据集（Refuge）上，本节同3.3.4节一样随机使用5%（20张图像）、 10%（40张图像）和20%（80张图像）的标签数据和剩余的无标签数据进行半监督实验。
从表 3.4 中可以看出，在 5%标签数据的设定下，提出的强弱双教师模型和 Co-ST 分别在平均教师上提升了分割性能，在mIoU指标上分别提高了 2.34%和4.31%,表明
把不同的数据增强赋予双教师模型比单教师模型的鲁棒性更好，同时本章提出的课程学 习的自训练策略在双教师的作用下生成的伪标签更加可靠。
在表 3.5 中分别与其他的半监督方法进行对比，实验表明， Co-ST 与基于平均教师 的算法：MT[44]、CLCC[29]、S4-PLCL[68啲结果相比有显著的优势，证明了本章提出的基 于双教师的一致性方法在标签数据量少的情况下仍然可以提供有效的信息。
表 3.4 在视网膜眼底图数据集上消融研究的实验结果比较
Tab 3.4 Comparison of experimental results of ablation studies on the retinal fundus map dataset
方法 标签/无标签 指标
mIoU F1-score Recall
全监督 100%/0 80.08 88.53 92.37
全监督 5%/0 66.92 77.05 75.20
平均教师 5%/95% 68.00 78.11 89.89
双教师模型 5%/95% 70.34 80.23 89.30
Co-ST 5%/95% 72.31 82.88 90.08
全监督 10%/90% 68.08 79.04 80.54
平均教师 10%/90% 71.74 82.04 87.16
双教师模型 10%/90% 73.59 84.85 89.68
Co-ST 10%/90% 75.11 85.24 91.59
全监督 20%/80% 72.77 82.92 83.25
平均教师 20%/80% 74.08 83.81 88.05
双教师模型 20%/80% 76.19 84.26 89.88
Co-ST 20%/80% 77.09 86.78 91.76
表 3.5 不同方法在视网膜眼底图数据集上实验结果比较
Tab 3.5 Comparison of experimental results using different methods on the retinal fundus map dataset
标签比例 方法 mIoU F1-score Recall
5% U-Net 67.09 78.19 77.78
MT 68.00 78.11 89.89
ALSS 69.53 80.13 86.45
Self traing 48.40 54.53 86.45
ST++ 41.76 48.58 82.50
CLCC 60.62 70.48 73.41
S4-PLCL 59.02 70.30 74.39
Co-ST 72.31 82.88 90.08
10% U-Net 69.01 79.88 79.71
MT 71.74 82.04 87.16
ALSS 72.92 83.05 90.63
Self traing 56.67 67.92 85.93
ST++ 60.12 71.01 85.60
CLCC 63.57 76.08 74.04
S4-PLCL 63.65 74.93 77.98
Co-ST 75.11 85.24 91.59
20% U-Net 74.19 84.01 85.08
MT 74.08 83.81 88.05
ALSS 74.83 84.46 90.56
Self traing 67.23 78.34 88.80
ST++ 61.44 71.31 86.49
CLCC 72.88 83.14 84.32
S4-PLCL 70.38 81.02 88.28
Co-ST 77.09 86.78 91.76
3.3.5低级别胶质瘤数据集分割实验分析
在低级别胶质瘤(LGG)数据集同样使用与上述两个数据集相同标签数量的比例设定, 表3.6展示在测试集的608张息肉图像上的本章提出的消融实验。结果表明，在10%的 标签数据量下，Co-ST方法相比于平均教师在mIoU、F1-score和Recall指标上提升了 5.02%、 6.45%和 6.89%。
表 3.6 在低级别胶质瘤数据集上消融研究的实验结果比较
Tab 3.6 Comparison of experimental results of ablation studies on low-grade glioma dataset
方法 标签/无标签 指标
mIoU F1-score Recall
全监督 100%/0 73.98 83.75 79.76
全监督 5%/0 61.74 68.34 62.88
平均教师 5%/95% 62.36 70.12 61.37
双教师模型 5%/95% 64.68 73.26 65.69
Co-ST 5%/95% 66.17 74.86 6&35
全监督 10%/90% 63.15 71.10 63.68
平均教师 10%/90% 65.47 73.86 64.21
双教师模型 10%/90% 68.11 78.59 68.08
Co-ST 10%/90% 70.49 80.31 71.10
全监督 20%/80% 67.25 75.78 68.03
平均教师 20%/80% 68.97 76.94 70.69
双教师模型 20%/80% 70.02 79.30 71.97
Co-ST 20%/80% 71.64 81.48 73.71
表 3.7 不同方法在低级别胶质瘤数据集上实验结果比较
Tab 3.7 Comparison of experimental results using different methods on low grade glioma dataset
标签比例 方法 mIoU F1-score Recall
5% U-Net 62.74 70.58 63.33
MT 62.36 70.12 61.37
ALSS 61.73 69.31 62.00
Self traing 61.67 69.22 64.84
ST++ 62.68 70.50 64.43
CLCC 60.36 62.27 63.73
S4-PLCL 62.66 70.49 65.54
Co-ST 66.17 74.86 6&35
10% U-Net 64.55 72.78 65.16
MT 65.47 73.86 64.21
ALSS 64.32 72.51 63.96
Self traing 68.71 77.41 69.23
ST++ 69.17 78.91 66.15
CLCC 63.71 70.09 63.01
S4-PLCL 63.95 72.07 65.17
Co-ST 70.49 80.31 71.10
20% U-Net 67.30 75.89 68.19
MT 68.97 76.94 70.69
ALSS 67.04 75.59 68.50
Self traing 71.88 78.45 70.91
ST++ 70.94 79.51 68.71
CLCC 65.90 72.48 68.94
S4-PLCL 66.24 76.70 66.66
Co-ST 71.64 81.48 73.71
表3.7同样与3.3.4节中提到的半监督方法进行对比实验，可以看到Co-ST在mIoU 指标上明显优于其他半监督算法，标签数据量从 5%增加到 10%时，实验结果表明 Co- ST算法提升显著。
3.3.6对比试验可视化
为了直观地展示Co-ST算法的优越性，图3.5为仅使用20%有标签数据在3个数据 集上所得到的分割结果可视化。由于医学图像通常具有复杂的视觉特征，模型难以区分， 尤其当提供有限的标签数据时。例如，图 3.5 第二列所示，图像中病变区域的底部很容 易与正常皮肤混淆，Co-ST成功地给出了相对准确的预测，通过从未标记中提取更可靠 的信息数据，可视化结果进一步证实了该方法的有效性。
3.4本章小结
本章提出了一种基于自训练的一致性半监督医学图像分割算法，首先介绍Co-ST算 法与框架结构，该方法有两部分构成，基于强弱双教师模型和自训练的优先选择。然后 阐述数据增强方法以及课程学习，并且给出算法的训练策略以及损失函数设计。最后在 皮肤病变数据集、视网膜眼底图数据集和低级别胶质瘤数据集上分别进行消融实验并和 其他半监督方法做了对比实验，实验结果表明Co-ST方法取得了较好的效果。
第四章 基于一致性和对抗训练的半监督医学图像分割算法
4.1问题分析
由于像素级标签的稀缺，许多研究学者提出不同的半监督方法，半监督图像分割目 的是在大部分无标签图像和一小部分有标签图像的混合中进行学习。到目前为止，半监 督学习问题在图像分割领域上得到广泛的研究，并提出各种半监督方法，如一致性正则 化和对抗性学习等， Yu 等人［72］和 Shi 等人［22］为教师网络预测添加不确定性估计，在平 均教师框架下为学生网络选择一个更可靠的目标。
然而，在之前的相关工作中，教师网络是学生网络监督信息的唯一来源，从而导致 对教师网络产生的预测过于自信。目前的研究没有考虑到教师模型预测的可靠性。由于 教师网络的参数是通过学生网络当前参数的指数移动平均(EMA)来更新的，因此它继承 学生网络的部分归纳偏差。这种偏差不仅影响教师网络的预测质量，而且进一步危及学 生网络的性能。虽然第三章的Co-ST算法在平均教师模型上添加强弱数据增强，但教师 模型作为学生网络的唯一监督信息来源，对错误信息无法分辨，难免将错误信息积累到 教师模型中，教师对学生的监督不再可靠。因此，在基于平均教师的方法中，引入额外 的监督信息对学生网络学习至关重要。在本章中，采用对抗性学习来辅助一致性学习， 并提供置信度图作为教师网络输出的补充。本章的主要贡献如下:
本章提出一种新的一致性和对抗性半监督学习医学图像分割方法，该方法将对抗性 机制集成到平均教师方法中，以获得更可靠的监督信息。首先，分别使用有标签数据和 无标签数据训练学生网络，同样使用EMA更新教师网络参数；此外，引入对抗机制， 加强学生网络的训练。学生对标签和无标签数据的预测被认为是真实和虚假的样本，并 以对抗性的方式进行训练。同时，由判别器生成的置信度图作为学生网络的额外监督信 息。最后，引入辅助判别器与主判别器进行协同学习，它可以通过两个判别器之间的一 致性正则化来促进对抗性学习。
4.2一致性正则化与对抗机制框架
4.2.1框架结构
为了充分利用无标签数据，提高少量有标签数据的医学影像分割性能，本文提出一 种基于一致性和对抗性半监督学习医学图像分割算法。本章提出的医学图像半监督分割 的总体框架如图 4.1 所示。将平均教师模型与对抗性训练相结合，其中分割网络既作为 学生模型，又作为对抗性训练的生成器。学生模型在教师模型和双判别器的共同作用下 进行训练。
图 4.1 框架结构示意图
Fig 4.1 Schematic diagram of frame structure
图 4.1 为本章提出的半监督医学图像分割框架(以使用皮肤病变图像为例)。学生模 型和教师模型具有相同的网络结构，教师模型的网络参数是学生模型网络参数的指数移 动平均(EMA)得到的。在监督阶段，学生模型采用交叉熵损失Lce和对抗损失Rd”函数进 行训练。在半监督阶段，学生模型由教师模型和判别器(Di)提供的损失函数一致性损失 Sons和半监督损失Lsmi进行训练。在判别器训练阶段，主判别器使用标签数据的空间交 叉熵损失See和辅助判别器的协同一致性损失Lccl进行训练。
4.2.2分割网络
DeepLab-V2 用 Resnet 网络代替 VGG16 进行特征提取，取得更好的分割效果。
DeepLab-V2引入新的结构：空洞空间卷积池化金字塔(Atrous Spatial Pyramid Pooling (ASPP))对所给定的输入以不同采样率的空洞卷积并行采样，相当于以多个比例捕捉图 像的上下文，得到的特征具有不同大小的感受野，最后将多个并行分支上的结果进行融 合。通过设置空洞卷积的扩张率，可以随意控制输出的特征的分辨率，高分辨率可以使 得最后的分割图更准确。图4.2展示以ResNet101作为骨干网络的DeepLab-V2网络结 构
图 4.2 分割网络结构
Fig 4.2 Segmentation network structure
4.2.3判别器网络
本算法中的判别器网络是由简单的全卷积网络构成标准的二分类网络，由4个大小 为4x4卷积核通道数为：｛64、128、256、512｝构成，每个卷积层之后进行Leaky-ReLU激
活函数和dropout（概率为0.5）,网络最后一层使用全连接层。判别器的输入为：分割网 络预测出的分割掩码或者真实标签。判别器的输出为概率图，其中每个像素值表示该像 素是否从标签(1)或者分割网络(0)采样得到。
判别器的功能示意图如图4.3所示，图中辅助判别器中虚线表示辅助判别器(D2)协 助引导主判别器判断真假并生成置信度图。有标签的图像被预测为真实的，没有标签的 图像被预测为假的。
4.2.4损失函数设计
1、分割网络 本章同样使用平均教师作为基本框架，它有两个分割网络：学生网络和教师网络。
对同一图像添加两个不同的扰动，然后输入学生和教师网络中，通过一致性正则化迫使 两个网络的分割结果一致。平均教师模型包括两个损失项，即交叉熵损失和一致性损失。
交叉熵损失：这是一个标准的监督像素交叉熵损失项4，应用于标签数据认
Lce = -^ y(h，w，c) log(S(xl)(h，w，c)) (4.1)
h,w,c
其中s(-)为学生分割网络。
一致性的损失：这个损失函数是鼓励学生模型和教师模型在无标签的数据X"中预测 尽可能接近的结果，使教师与学生模型之间的输出差异最小化
LCOns =》HT(Xu')(h，w，c^- S(Xu))(h，w，c^H2 (4.2)
h,w,c
其中Xu'为无标签数据0(如高斯模糊、椒盐噪声等)数据增强后的图像,T(-)为教师分 割网络。学生模型的参数0由梯度下降来更新，教师模型的参数0'由指数滑动平均来更
新, % =必;_1 + (1 - Q是平滑系数。根据平均教师算法的设定，在实验中设Q=
0.999。
在平均教师模型中，由于教师模型的预测可能不可靠以及存在噪声，平均教师模型 过多地依赖于教师模型产生的结果的质量，较差的预测结果必然导致模型性能不理想。 因此，本章引入一个主判别器对抗学习模块。模型的主判别器通过添加对抗性损失为学 生网络的分割结果生成置信度图，并通过半监督损失来提高无标签数据的利用率。
对抗损失：将预测结果与输入图像叠加，让判别器从中学到更多的信息，产生的高 置信度的区域更接近于真实标签的分布。对抗损失使真实标签分布产生的预测结果的概 率最大化。这样分割网络就可以欺骗判别器。
厶ad” =— Z log(^1(S(%z)(ft，w，c)㊉ *)) (4.3)
h,w,c
其中Di(・)是一个全卷积判别器网络，㊉表示沿信道维度的拼接。
半监督损失：该损失函数是基于生成式对抗网络中生成器和判别器的思想设计的， 并鼓励生成器产生更多可以欺骗判别器的输出。在半监督对抗训练中，由于无标签的数 据没有标签，为了重用它们进行监督训练，判别器需要为分割结果生成相应的高质量置 信度图。然后，将这个置信图二值化，它的范围从0到1。
同时，提出的辅助判别器。2(不参与分割网络的训练)协助判断分割结果的置信度。
最终，当两个判别器同时给出高置信度时，如图 4.3 所示，高质量的预测将用于后续的 监督训练。将半监督损失函数定义如下： 0表示预测的分割图， 1表示标签。
i/ D](S(xU)㊉ %u) > t and D2(S(%u)㊉ %u) > T
,otherwise
其中r为分割模型预测无标签数据x"得到的伪标签。t是阈值。
用损失心训练学生分割网络，心是四个损失的组合：交叉熵损失、一致性损失、半监
督损失和对抗损失，如公式(4.5)所示。
= ^ce + 久consSons + 久ad”^ad” + 久smiSmi
其中九。心九d”人加为损失函数的权值，九。ns从0逐渐接近于1。在初始训练阶段， 教师网络的表现通常不理想，因此九。ns被赋予较低的权重。因此，分割网络可以从其他 损失函数中获得有效的信息。在训练后期，随着教师模型性能的提高，九。ns权重赋值逐 渐增加。
2、判别器网络
前面的对抗分割网络中，训练开始时，对生成器和判别器进行交替迭代训练。但是 判别器只能使用标签数据进行训练。在训练的后期，由于用于训练的标签数据量很小， 判别器没有为生成器提供任何有用的学习信号。此外，在少量有标签数据的训练下，模 型性能会较低，在分割网络训练过程中会产生更多的错误信息。
因此，在半监督对抗训练设置下，单判别器的性能较差，不能为分割网络提供准确 的对抗信息，这可能会为无标签的数据生成低质量的置信度图，为分割模型提供虚假信 息。因此，本章提出辅助判别器网络，这两个判别器网络具有相同的结构，但初始化不 同。目的是使两者的结果尽可能不一致，从而为彼此提供更多有用的信息，减少有标签 数据与无标签数据不平衡的影响。判别器D2不参与分割网络的训练，仅在主判别器Di生 成置信图时提供辅助判别，使生成的置信图在分割网络的训练中是可信的。
空间交叉熵损失：判别器网络的训练与 Mittal 等人［40］相同，本章将输入图像与分割 结果或标签叠加作为判别器的输入。判别器对真实标签数据产生更高的分数，对分割结 果产生较低的分数。如公式(4.6)所示。
Lsce = -(E 卩ogDiC/ ㊉旳］+ E 卩og(l - Di(S(xu)㊉亡))］) (4.6)
其中㊉表示沿通道维度的连接。
协同一致性损失：本章设计出这个损失函数，以缓解由于单个判别器在标签数据数 量有限，而导致的判别器训练不充分的问题。该损失函数为判别器Di提供一致的信息, 允许判别器在标签和无标签的数据上进行训练。
2
Led = ^Di(S(xu))(h，w，c)㊉ xu) - D2(S(xu))(h，w，c)㊉ xu)^ (47)
最后，得到判别器训练的总损失函数S如下：
Ld = ^sce^sce + ^ccl^ccl (4.8)
其中，^sce和^ccl分别表示空间交叉熵损失和协同一致性损失的权重。通过最小化厶^ 来优化判别器Di，D2的损失函数同公式(4.6)、(4.7)和(4.8)相同。
4.3实验与结果分析
4.3.1数据集介绍
数据集与第三章介绍的数据集相同。
4.3.2实验设计
实验设置与第三章相同，其中判别器的实验设定为：采用学习速率为 1e-4 的 Adam 优化器训练主判别器和辅助判别器。本算法同样使用平均教师(Mean Teacher, MT)作为 基线。
本算法在不同数据集上分别设定了不同的损失函数权重，在皮肤病数据集上九d”和 忑加设置为0.9和0.01,在视网膜眼底图数据集上久ad”和忑加设置为0.5和0.1,在低级 别胶质瘤数据集上久ad”和忑加设置为0.3和0.1。
久see和久eel在上述三个数据集均设为0.9和0.1
4.3.3皮肤病数据集分割实验分析
为了验证提出的每个组件的有效性，采用只使用标签数据的监督方法和平均教师进 行实验比较。此外，还加入提出的对抗训练模块(MT+AT)以及本文提出的算法 CASSL(MT+AT+CCL)。均使用Deeplab-V2+ResNet-101作为分割网络在所有方法上进 行训练。
从表4.1中可以看出，在不同标签比例的半监督设置下，MT+AT模块的性能均优于 平均教师。在使用 20%的标签数据的情况下，可以观察到在皮肤病变图像数据集上， AT 模块在 mIoU、F1-score 和 Recall 方面分别比平均教师提高了 1.44%/1.08%/8.76%。这表 明对抗训练能够有效利用对抗信息，为无标签数据提供监督信息，提升分割精度。同时， CASSL在使用20%的标签量下与全监督训练使用100%的标签量，在mloU、F1-score和 Recall 指标上仅仅相差2.33%、1.54%和 2.4%。 同时可以观察到， 本章的方法 (MT+AT+CCL)与没有协同一致性学习模块(MT+AT)在三种不同标签比例设定下，通过 添加协同一致性学习模块，整体性能得到提高。例如，当只有5%、 10%、 20%时，添加 协同一致性学习模块在mloU中提高了 0.98%、1.08%、0.89%。进一步分析表明，协同 一致性学习模块可以促进主判别器的学习，从而为分割网络提供更可靠的监督信息。添 加协同一致性学习模块(CCL)的优越性也可以从图4.4中看到，可视化结果表明，协同 一致性学习模块(CCL)能够在有限的标注下减少前景与背景边界的错误分割。
从表4.2可以看出，与其他半监督方法对比，在使用不同标签比例的实验中，本文 提出的方法在各个指标上均有显著的提升。同时可以看出本章算法在 5%、 10%和 20% 的标签数据下，在各个指标均高于 Co-ST 算法，在 5%的标签数据下，分别在 mIoU、 F1-score和Recall上高于Co-ST算法0.98%、1.15%和0.88%,实验结果表明本章提出的 对抗机制可以缓解教师模型对于错误信息积累，使得教师模型对学生网络的监督更有效。
图4.4展示上述方法使用20%标签上消融实验可视化结果图，图4.4中第四列可以 明显的观察到本章所提出的对抗训练模块很大程度上改善部分细小区域的遗漏或错误 分割的情况，验证了对抗训练的有效性。通过与平均教师得到的分割结果可视化相比， Co-ST的分割结果更接近标签，尤其在图像的特征不容易被识别区分的情况下，如图4.4
的第二行和第四行。
表 4.1 在皮肤病变数据集上消融研究的实验结果比较
Tab 4.1 Comparison of experimental results of ablation studies on the skin lesion dataset
方法 标签/无标签 指标
mIoU F1-score Recall
全监督 100%/0 81.64 89.56 93.90
全监督 5%/0 71.93 83.53 86.61
平均教师 5%/95% 73.12 82.90 88.37
平均教师+AT 5%/95% 75.57 84.96 88.73
CASSL 5%/95% 76.55 86.11 89.61
全监督 10%/90% 72.87 81.50 74.26
平均教师 10%/90% 74.34 84.52 87.46
平均教师+AT 10%/90% 76.41 86.08 88.79
CASSL 10%/90% 77.49 86.77 90.19
全监督 20%/80% 76.11 85.98 86.79
平均教师 20%/80% 76.98 86.36 82.85
平均教师+AT 20%/80% 78.42 87.44 90.61
CASSL 20%/80% 79.31 8&02 91.50
表 4.2 不同方法在皮肤病变数据集上实验结果比较
Tab 4.2 Comparison of experimental results of different methods on the skin lesion dataset
标签比例 方法 mIoU F1-score Recall
5% U-Net 70.92 81.90 84.56
MT 73.12 82.90 88.37
ALSS 72.92 82.73 87.76
Self traing 72.90 84.00 87.63
ST++ 73.26 85.21 89.78
CLCC 61.23 70.92 72.65
S4-PLCL 68.19 79.80 87.56
Co-ST 75.93 85.23 88.95
CASSL 76.55 86.11 91.61
10% U-Net 71.74 82.49 80.09
MT 74.34 84.52 87.46
ALSS 73.72 84.06 86.33
Self traing 74.05 85.81 88.49
ST++ 75.51 86.10 89.10
CLCC 65.40 74.80 80.95
S4-PLCL 71.08 82.22 85.10
Co-ST 77.35 87.07 89.97
CASSL 77.49 86.77 90.19
20% U-Net 75.27 85.19 81.32
MT 76.98 86.36 82.85
ALSS 76.91 86.41 82.76
Self traing 76.05 87.20 89.93
ST++ 76.69 86.92 91.84
CLCC 68.93 76.65 78.03
S4-PLCL 71.83 82.69 88.42
Co-ST 78.36 87.91 90.50
CASSL 79.31 88.02 91.50
（a）原始图像 （b）标签 （c）平均教师（d）平均教师+AT （e）CASSL
图 4.4 ISIC 皮肤病变数据集消融实验结果可视化对比
Fig 4.4 Visual comparison of ablation experimental results from ISIC skin lesions dataset
4.3.4视网膜眼底图像数据集分割实验分析
表4.3展示在测试数据集（400张图像）上，本文提出的CASSL方法与平均教师的消 融实验。实验结果表明，CASSL算法比平均教师在mloU、F1-score和Recall指标上有 着显著的提升，在20%标签数据下与平均教师方法相比提升了3.67%、2.73%和2.19%， 与平均教师+对抗训练提升了 1.37%、0.9%和0.39%,可以看出CASSL取得最佳的结果。
表 4.3 在视网膜眼底图数据集上消融研究的实验结果比较
Tab 4.3 Comparison of experimental results of ablation studies on the retinal fundus map dataset
方法 标签/无标签 指标
mIoU F1-score Recall
全监督 100%/0 80.08 88.53 92.37
全监督 5%/0 66.92 77.05 75.20
平均教师 5%/95% 68.00 78.11 89.89
平均教师+AT 5%/95% 71.64 82.03 91.30
CASSL 5%/95% 73.23 83.06 91.24
全监督 10%/90% 68.08 79.04 80.54
平均教师 10%/90% 71.74 82.04 87.16
平均教师+AT 10%/90% 74.83 84.45 90.56
CASSL 10%/90% 75.81 85.25 87.91
全监督 20%/80% 72.77 82.92 83.25
平均教师 20%/80% 74.08 83.81 88.05
平均教师+AT 20%/80% 76.38 85.64 89.85
CASSL 20%/80% 77.75 86.54 90.24
表4.4展示本章提出的方法与其他半监督分割方法的对比试验，MT、CLCC和S4- PLCL 是基于一致性正则化的方法。对于这些方法，由于无标签数据上伪标签来源的唯 一性，不能保证监督信息的质量。所提出的CASSL通过引入对抗机制缓解这一问题， 使其在三个数据集上的 mIoU、 F1-score 和 Recall 均显著优于 MT、 CLCC 和 S4-PLCL。
如在使用5%、10%和20%标签数据下，本章的方法CASSL在mloU上分别比MT提升 5.23%、 4.07%和 3.67%。
表 4.4 不同方法在视网膜眼底图数据集上实验结果比较
Tab 4.4 Comparison of experimental results using different methods on the retinal fundus map dataset
标签比例 方法 mIoU F1-score Recall
5% U-Net 67.09 78.19 77.78
MT 68.00 78.11 89.89
ALSS 69.53 80.13 86.45
Self traing 48.40 54.53 86.45
ST++ 41.76 48.58 82.50
CLCC 60.62 70.48 73.41
S4-PLCL 59.02 70.30 74.39
Co-ST 72.31 82.88 90.08
CASSL 73.23 83.06 91.24
10% U-Net 69.01 79.88 79.71
MT 71.74 82.04 87.16
ALSS 72.92 83.05 90.63
Self traing 56.67 67.92 85.93
ST++ 60.12 71.01 85.60
CLCC 63.57 76.08 74.04
S4-PLCL 63.65 74.93 77.98
Co-ST 75.11 85.24 91.59
CASSL 75.81 85.25 87.91
20% U-Net 74.19 84.01 85.08
MT 74.08 83.81 88.05
ALSS 74.83 84.46 90.56
Self traing 67.23 78.34 88.80
ST++ 61.44 71.31 86.49
CLCC 72.88 83.14 84.32
S4-PLCL 70.38 81.02 88.28
Co-ST 77.09 86.48 91.76
CASSL 77.75 86.54 90.24
从图4.5 的可视化结果可以看出，在使用 20%的标签数据下，监督方法和平均教师 的分割结果出现明显的分割错误，本章提出的方法与平均教师相比分割结果更加精细， 预测错误的情况相对较少，更接近标签图。
图 4.5 Refuge 视网膜眼底图数据集消融实验结果可视化对比
Fig 4.5 Visualization comparison of ablation experimental results from the Refuge retinal fundus map
dataset
4.3.5低级别胶质瘤数据集分割实验分析
本节在 LGG 低级别胶质瘤数据集上进行实验，表 4.5 中展示不同模块所带来的性 能表现，从表中可以看出在CASSL在使用20%标签数据量下，与使用100%标签数据量 的全监督方法在mIoU指标上仅相差2.08% ,表明CASSL可以更好地利用无标签数据， 从而提高预测性能。
表 4.5 在低级别胶质瘤数据集上消融研究的实验结果比较
Tab 4-5 Comparison of experimental results of ablation studies on low-grade glioma dataset
方法 标签/无标签 指标
mIoU F1-score Recall
全监督 100%/0 73.98 83.75 79.76
全监督 5%/0 61.74 68.34 62.88
平均教师 5%/95% 62.36 70.12 61.37
平均教师+AT 5%/95% 66.49 75.01 69.54
CASSL 5%/95% 66.61 75.15 69.01
全监督 10%/90% 63.15 71.10 63.68
平均教师 10%/90% 65.47 73.86 64.21
平均教师+AT 10%/90% 69.72 78.45 70.88
CASSL 10%/90% 70.75 79.48 71.76
全监督 20%/80% 67.25 75.78 68.03
平均教师 20%/80% 68.97 76.94 70.69
平均教师+AT 20%/80% 71.59 80.03 72.92
CASSL 20%/80% 71.90 80.59 72.96
从表4.6中可以看出与对抗性方法ALSS相比，本章算法也显示出竞争性的结果, 当使用5%、10%和20%的标签数据时，mloU分别提高了 4.88%、6.43%和4.86%,结果 表明， CASSL 中的一致性学习模块可以带来明显的性能提升。从表 4-6 中可以看出 CASSL在分割任务上主要指标mloU上大多数标签比例上超过Co-ST,但在F1-score和 Recall指标上在20%标签数据略低于Co-ST,是因为对抗机制在难样本上无法提供较为 精确的监督信息，因此不如Co-ST方法利用强弱数据增强与课程学习的自训练策略对难 样本的学习。
表 4.6 不同方法在低级别胶质瘤数据集上实验结果比较
Tab 4.6 Comparison of experimental results of different methods on low grade glioma dataset
标签比例 方法 mloU F1-score Recall
5% U-Net 62.74 70.58 63.33
MT 62.36 70.12 61.37
ALSS 61.73 69.31 62.00
Self traing 61.67 69.22 64.84
ST++ 62.68 70.50 64.43
CLCC 60.36 62.27 63.73
S4-PLCL 62.66 70.49 65.54
Co-ST 66.17 74.86 68.35
CASSL 66.61 75.15 69.01
10% U-Net 64.55 72.78 65.16
MT 65.47 73.86 64.21
ALSS 64.32 72.51 63.96
Self traing 68.71 77.41 69.23
ST++ 69.17 78.91 66.15
CLCC 63.71 70.09 63.01
S4-PLCL 63.95 72.07 65.17
Co-ST 70.49 80.31 71.10
CASSL 70.75 79.48 71.76
20% U-Net 67.30 75.89 68.19
MT 68.97 76.94 70.69
ALSS 67.04 75.59 68.50
Self traing 71.88 78.45 70.91
ST++ 70.94 79.51 68.71
CLCC 65.90 72.48 68.94
S4-PLCL 66.24 76.70 66.66
Co-ST 71.64 80.48 73.41
CASSL 71.90 80.59 72.96
为了直观地展示该算法的性能，图4.6 中仅使用 20%标签数据训练的分割结果的可 视化。因为医学图像往往具有复杂的视觉特征，难以区分，当模型使用有限的标签数据 时，这个问题尤其会加剧。例如，在图4.6 的第1 行中，图中病变区域的底部很容易与 正常区域混淆，本章提出的方法通过从无标签的数据中提取更可靠的信息，较大程度地 给出相对准确的预测，可视化结果进一步证实本章算法的有效性。
图 4.6 LGG 低级别胶质瘤数据集消融实验结果可视化对比
Fig 4.6 Visual comparison of ablation experimental results of LGG low-grade glioma dataset
4.3.6对比实验可视化
图4.7为仅使用20%标签数据的对比方法分割结果可视化。在图4.7中第二列与第 六列可以明显的看出CASSL方法所得到的分割结果更接近于标签，表明CASSL方法 在相同标签数据量时，模型通过判别器提供的对抗信息，在学习过程中学到的信息更为 准确，缓解了模型对有标签数据的依赖。
4.7 LGG 对比实验结果可视化
Fig 4.7 Visualization of comparative experimental results
4.4本章小结
本章提出一种基于一致性和对抗机制的半监督医学图像分割算法，分别介绍本章的
算法框架、分割网络、判别器网络和损失函数，并且在三个公开医学数据集上进行实验
验证，结果表明本章算法在不同数据集上不同标签数据设定下都有着良好的性能表现。
第五章 基于深度半监督的医学图像智能分割系统
5.1需求分析
计算机辅助诊断（CAD ）通过结合计算机对医学影像分析计算，辅助医生判断病灶位 置，减少误诊率。因此在临床实践中有着十分重要的意义。本系统利用第三、四章的医 学影像分割模型作为系统的后端分割模型，运用 PyTorch 技术完成模型开发，使用 Dockers 技术封装模型并部署到 Linux 系统上，使用 PyQt5 搭建系统前端框架。该系统 主要为医生在临床诊断提供辅助服务，通过系统的快速识别图像中的目标区域以提供给 医生辅助诊断信息。该系统的优势有一下几点，部署相对简单，使用docker镜像技术, 可以让开发环境与运行环境保持一致，解决环境的冲突问题。其次系统无需登录注册， 运行软件即可使用，不会因为网络信息盗取而导致个人信息泄露。最后系统对网络要求 低，网络传输的数据量较少。
5.2总体设计
本系统基于中国科学院自动化研究所中“智能标注”项目进行的二次开发，系统使 用 Windows10 系统和 Pycharm 编辑器进行开发。功能主要分为：用户展示界面、后端分 割模块、网络传输模块、数据保存模块，具体功能模块如图 5.1 所示：
（智能医学图像分割系统）
图 5.1 智能分割系统框架图
Fig 5.1 Framework diagram of intelligent segmentation system
用户展示模块是用来展示图像以及提供操作功能的一个简单模块，用于与后端分割 模块信息传输的一个接口。其中图像导入是用户可以选择所需分割图像，便捷操作包括 用户可以快速选择哪些图像进行智能分割，图像展示是为用户选择图像之后，显示导入 的图像信息。
网络传输模块通过网络传输功能将图像通过网络传输功能传入到后端，然后再将分 割之后的信息返回前端。
后端分割模块将多个医学图像分割模型进行封装，使得用户可以在展示页面上选择 的不同图像，在后端模型响应的进行智能图像分割。
数据保存模块对分割之后的图像保存，并且另存分割之后的图像以及位置节点信息。
5.3系统运行环境搭建
1.系统开发环境
软件环境：前端基于 Windows10 系统， Pycharm 编辑器进行开发，编程语言采用 python3.7、PyQT5。服务器后端模型通过调用Numpy库、Opencv库、Pytorch库完成医 学图像分割功能。
硬件环境：Windows 10系统、Linux系统
2.系统运行环境
软件环境： windows10 系统
硬件环境：至少 500M 磁盘空间，所需运行内存根据用户传入图像的大小来决定。
5.4系统详细设计与实现
本节将对系统功能进行演示，并测试系统是否正常运行。
5.4.1用户展示模块
1.主页面，打开运行本系统软件，首先进入系统的主页面，只有“打开”和“打开
目录”按钮可用。如图 5.2 所示。
图 5.2 主页面 Fig 5.2 Main page
2.选择图像，选择所需分割图像文件夹，如图5.3 所示：
图 5.3 载入图像
Fig 5.3 Loading images 点击“打开目录”按钮，用户选择对应图像的文件夹，选择完文件夹之后会将图像 展示到页面，并自动提供前后预览功能。如图5.4所示。
U - feAMte/tMuftidi</20irAU>vsic.ooooooajp« -ax
图 5.4 展示图像
Fig 5.4 Shows the image
3.便捷操作：本系统提供快速拖动进行选择图像，通过下方预览界面可以浏览前后 图像，并且通过点击下面预览图像中小窗口直接选择该图像，或者拖动进度条前后拖动 选择图像，如图5.5 所示。
图 5.5 拖动选择图像示意图
Fig 5.5 Schematic diagram of drag selection image
5.4.2网络传输模块
1.网络传输：通过 HTTP 请求，将服务器端网络地址以及端口暴漏给前端，前端通 过 requests 中 post 请求进行发送数据。后端接收到数据后，通过 response 响应报文将分 割结果传回。如图5.6和5.7所示。
img_path = self.loadFile(self.filename)[1] ff 'C:\\Users/wsl/Desktop/l.jpg'
#需要后端返回方框坐标、标签
file = opendmg.path, 'rb'J # 二迸制打开图片
files = {'file': (self.filename, file)} # 拱接参数
response = requests.posthttp:〃172.28.116.36:7891/ad-predict", fites=files) # 发送post请求到服务器端
data = json.loads(response.text) ff diet found, label = data['found'], data['label']
图 5.6 前端网络传输代码
Fig 5.6 Front-end network transmission code
叩load_file = request.files['file'] it upload_file =(图片名,图片二进制数据)
if upload_file:
img_arr = np.array(Image.open(upload_file), dtype=np.uint8)
if not os.path.exists('/mnt/wsl/project/mask_r50_fpn_coco/uploaded_imgs/1):
os. makedirsC/mnt/ws'L/project/mask_r50_fpn_coco/up'Loaded_imgs/')
img_path = '/mnt/wsl/project/mask_r50_fpn_coco/uploaded_imgs/1 + datetime.datetime.now().strftime( + ■.jpg'
Image.fromarray(img_arr, mode='RGB').save(img_path) contours_list, category_list = maskRCNN_instance_segmentation.predict(img_path) #将每个元素由np. int转换为pg.int contours_list_npint_2_pyint =[]
for i in contours_list: # i; Iarroy([[[xxx, yyyjj, [[xxxt yyyjj,…,[[xxx, yyyJJ])]
current-=[]
for j in i[Q]： # j: [[xxx, yyyll
xxx, yyy = list(j[8]) # j[0]: [xxx, yyy] current..append([[int(xxx), int(yyy)]]) # [[xxx, yyyll Cnp.int) => [[xxx, yyyjj Cpy.int) contours_list_npint_2_pyint.append(current_)
response = {'contours-list': contours_list_npint_2_pyint, 'category_list': cateqory_list} return response #返回至前端
图 5.7 后端网络传输代码
Fig 5.7 Back-end network transmission code
5.4.3后端分割模块
1.分割结果：以皮肤病分割功能以及胃肠道息肉分割功能分别进行演示，点击对应 功能按钮，通过网络传输模块把图像传入服务器后端，服务器中对应的分割模型对输入 图像分割，将分割得到的信息返回。通过读取响应报文中的坐标信息，将坐标点连线并 在展示在图像上。如图5.8和图 5.9 所示：
图 5.8 皮肤病变分割示意图
Fig 5.8 Schematic diagram of skin lesion segmentation
图 5.9 胃肠道息肉分割示意图
Fig 5.9 Schematic diagram of gastrointestinal polyp segmentation
5.4.4数据保存模块
保存信息：通过点击“保存”按钮，把分割坐标点信息通过json文件形式进保存存 储。将分割之后的图像另存到与图像文件夹同级目录名为“ Temp”文件中。如图5.10和 图 5.11：
图 5.10 保存信息示意图
Fig 5.10 Schematic diagram of saving information
图 5.11 另存分割图像节点示意图
Fig 5.11 Schematic diagram of node for saving divided image as another
5.5本章小结
本章利用第二章理论知识结合第三章和第四章提出的医学图像分割算法开发出基 于深度半监督医学图像分割模型系统，详细介绍从输入图像到分割结果的展示全过程， 最终实现医学图像智能分割功能。
第六章 总结与展望
6.1 总结
随着信息的快速发展，人工智能技术愈发成熟，计算机辅助诊断系统辅助医生进行 病灶的判断已经具有十分重要的意义。然而，医学图像像素级标注成本非常昂贵，而医 学图像像素级标签的数量直接影响监督学习模型分割性能，导致医学图像分割领域发展 非常缓慢，无法对医生提供有效辅助。在像素级标签的稀缺的情况下，使用少量标签数 据的半监督医学图像分割成为研究热点，本文将探索研究深度半监督医学图像分割算法。
本文研究了现有的半监督学习的医学图像分割算法的相关理论知识，重点分析一致 性正则化方法的研究现状以及自训练策略的半监督方法优势。对现有的平均教师模型存 在的问题以及不足进行改进，提出两种改进的算法，分别为：基于自训练的一致性半监 督医学图像分割算法与基于一致性和对抗机制的半监督医学图像分割算法，在少量有标 签数据下有效地提高模型的分割性能。本文主要贡献如下：
(1)提出自训练的一致性半监督医学图像分割算法，该算法使用强弱数据增强的强 弱双教师模型来监督学生模型，加强模型的一致性正则化，并且用教师模型以课程学习 的方式多次少量的为无标签数据生成可靠的伪标签，用来扩充标签数据集。在三个具有 代表性但具有挑战性的医学图像分割任务上广泛评估 Co-ST 算法： 1)在皮肤镜图像 (ISIC)2017数据集中分割皮肤病变；2)从视网膜眼底青光眼挑战(REFUGE)数据集中的眼 底图像中分割视杯和视盘(OC/OD)； 3)低级别胶质瘤(LGG)肿瘤图像中分割肿瘤。实验结 果验证所提出的半监督算法在医学图像分割中的优越性和有效性。
(2)针对平均教师存在的归纳偏差问题，设计出一种新的半监督医学图像分割方法， 该方法将对抗性训练机制和协同一致性学习策略引入平均教师模型。通过对抗性训练机 制，判别器可以为无标签数据生成置信度图，从而为学生网络提供更可靠的监督信息。 在对抗性训练过程中，进一步提出一种协同一致性学习策略，辅助判别器可以帮助主判 别器获得更高质量的监督信息。为了验证该方法的有效性，同样在上述三个公开医学图 像数据集上进行实验验证，实验结果表明该算法取得较好的分割效果。
(3)开发基于深度半监督的医学图像智能分割系统，将提出的算法模型部署在服务 器端，通过网络通信实现实时的智能分割，同时可以进行辅助诊断。
6.2展望
本文研究少量标签数据场景下的医学图像分割任务，针对标签数据的稀缺导致的医 学图像分割性能下降的问题，本文提出的半监督医学图像分割算法在多个公开医学数据 集上进行验证，实验结果表明本文的半监督算法的有效性，但是本文仍具有的不足之处， 具体工作展望如下：
1.本文提出的基于自训练的一致性半监督医学图像分割算法的训练时间较长，在 ISIC 数据集上的训练时间达到将近 10 个小时，下一步工作应该研究加速训练的策略， 如多卡进行训练或者使用半精度训练以加快模型的训练速度
2.本文的提出的基于自训练的一致性半监督医学图像分割算法在数据集较小时，由 于训练数据较少，在后续的生成的伪标签中存在较多的错误预测，模型容易过拟合，导 致模型性能较低。虽然使用多种数据增强以及双教师模型，但是挑选的伪标签策略是简 单课程学习的排序选择，应该将分割结果的不确定性考虑到对伪标签的选择中，还可以 研究加入更多优秀的方法，如使用性能更好的 Transformer 算法增加模型对提取的特征 学习。
3.第四章提出的基于一致性和对抗训练的半监督医学图像分割算法，虽然在 mIoU 指标上全面超过基于自训练的一致性半监督医学图像分割算法，但是在 F1-score 和 Recall 指标上还存在低于第三章的算法，后续可以将模型进行改进，让第四章的算法得 到更好的效果。
4.本文算法是做的2D图像的分割，但是大部分医学图像的原始数据为3D数据，本 文算法需要将原始数据加工处理为 2D 图像才可以学习训练，所以后续将本文的算法应 用在3D医学图像上，并且将3D分割结果在展示在第五章的智能分割系统上出来。
参 考 文 献
[1]Wu Z, Wei J, Wang J, et al. Slice imputation: Multiple intermediate slices interpolation for anisotropic 3D medical image segmentation[J]. Computers in Biology and Medicine, 2022, 147: 105667.
[2]Peng C, Zhang Y, Meng Y, et al. LMA-Net: A lesion morphology aware network for medical image segmentation towards breast tumors[J]. Computers in Biology and Medicine, 2022, 147: 105685.
[3]Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation]。]. Medical Image Computing and Computer-Assisted Interventi on-MIC CAI 2015: 18th International Conference, Munich, Germany, October 5-9, 2015, Proceedings, Part III 18. Springer International Publishing, 2015: 234-241.
[4]Badrinarayanan V, Kendall A, Cipolla R. Segnet: A deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE transactions on pattern analysis and machine intelligence, 2017, 39(12): 2481-2495.
[5]Chen L C, Papandreou G, Kokkinos I, et al. Deeplab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs[J]. IEEE transactions on pattern analysis and machine intelligence, 2017, 40(4): 834-848.
[6]Lin G, Milan A, Shen C, et al. Refinenet: Multi-path refinement networks for high- resolution semantic segmentation[C]. Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 1925-1934.
[7]Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]. Proceedings of the IEEE conference on computer vision and pattern recognition. 2015: 3431-3440.
[8]Mirikharaji Z, Hamarneh G. Star shape prior in fully convolutional networks for skin lesion segmentation[C]. Medical Image Computing and Computer Assisted Intervention- MICCAI 2018: 21st International Conference, Granada, Spain, September 16-20, 2018, Proceedings, Part IV 11. Springer International Publishing, 2018: 737-745.
[9]Liu L, Tsui Y Y, Mandal M. Skin lesion segmentation using deep learning with auxiliary task[J]. Journal of Imaging, 2021, 7(4): 67.
[10]Gu R, Wang G, Song T, et al. CA-Net: Comprehensive attention convolutional neural networks for explainable medical image segmentation[J]. IEEE transactions on medical imaging, 2020, 40(2): 699-711.
[11]Dong Y, Wang L, Cheng S, et al. Fac-net: Feedback attention network based on context encoder network for skin lesion segmentation[J]. Sensors, 2021, 21(15): 5172.
[12]Fu H, Cheng J, Xu Y, et al. Disc-aware ensemble network for glaucoma screening from fundus image[J]. IEEE transactions on medical imaging, 2018, 37(11): 2493-2501.
[13]Buda M, Saha A, Mazurowski M A. Association of genomic subtypes of lower-grade gliomas with shape features automatically extracted by a deep learning algorithm[J]. Computers in biology and medicine, 2019, 109: 218-225.
[14]Yu L, Chen H, Dou Q, et al. Automated melanoma recognition in dermoscopy images via very deep residual networks[J]. IEEE transactions on medical imaging, 2016, 36(4): 994 1004.
[15]Chen R, Tang Y, Zhang W, et al. Deep multi-view semi-supervised clustering with sample pairwise constraints[J]. Neurocomputing, 2022, 500: 832-845.
[16]Peng J, Estrada G, Pedersoli M, et al. Deep co-training for semi-supervised image segmentation[J]. Pattern Recognition, 2020, 107: 107269.
[17]Xu M C, Zhou Y K, Jin C, et al. MisMatch: Learning to Change Predictive Confidences with Attention for Consistency-Based, Semi-Supervised Medical Image Segmentation[J]. arXiv e-prints, 2021: arXiv: 2110.12179.
[18]Aboobacker S, Vijayasenan D, Suresh P K, et al. Semantic segmentation of low magnification effusion cytology images: A semi-supervised approach[J]. Computers in Biology and Medicine, 2022, 150: 106179.
[19]Jaisakthi S M, Chandrabose A, Mirunalini P. Automatic skin lesion segmentation using semi-supervised learning technique[J]. arXiv preprint arXiv:1703.04301, 2017.
[20]Portela N M, Cavalcanti G D C, Ren T I. Semi-supervised clustering for MR brain image segmentation[J]. Expert Systems with Applications, 2014, 41(4): 1492-1497.
[21]Li X, Yu L, Chen H, et al. Transformation-consistent self-ensembling model for semisupervised medical image segmentation[J]. IEEE Transactions on Neural Networks and Learning Systems, 2020, 32(2): 523-534.
[22]Shi Y, Zhang J, Ling T, et al. Inconsistency-aware uncertainty estimation for semi supervised medical image segmentation[J]. IEEE transactions on medical imaging, 2021,
41(3): 608-620.
[23]Chen J, Chen J, Zhou Z, et al. MT-TransUNet: Mediating multi-task tokens in transformers for skin lesion segmentation and classification[J]. arXiv preprint arXiv:2112.01767, 2021.
[24]Zhang Y, Jiao R, Liao Q, et al. Uncertainty-guided mutual consistency learning for semi supervised medical image segmentation[J]. Artificial Intelligence in Medicine, 2023, 138: 102476.
[25]Li Y, Luo L, Lin H, et al. Dual-consistency semi-supervised learning with uncertainty quantification for COVID-19 lesion segmentation from CT images[C]. Medical Image Computing and Computer Assisted Intervention—MICCAI 2021: 24th International Conference, Strasbourg, France, September 27—October 1, 2021, Proceedings, Part II 24. Springer International Publishing, 2021: 199-209.
[26]Huo X, Xie L, He J, et al. Atso: Asynchronous teacher-student optimization for semi supervised image segmentation[C]. Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2021: 1235-1244.
[27]Lai X, Tian Z, Jiang L, et al. Semi-supervised semantic segmentation with directional context-aware consistency[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 1205-1214.
[28]Hu Z, Yang Z, Hu X, et al. Simple: Similar pseudo label exploitation for semi-supervised classification[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 15099-15108.
[29]Li S, Zhang C, He X. Shape-aware semi-supervised 3D semantic segmentation for medical images[C]. Medical Image Computing and Computer Assisted Interventi on-MIC CAI 2020: 23rd International Conference, Lima, Peru, October 4-8, 2020, Proceedings, Part I 23. Springer International Publishing, 2020: 552-561.
[30]Zhang Y, Yang L, Chen J, et al. Deep adversarial networks for biomedical image segmentation utilizing unannotated images[C]. Medical Image Computing and Computer Assisted Intervention- MICCAI 2017: 20th International Conference, Quebec City, QC, Canada, September 11-13, 2017, Proceedings, Part III 20. Springer International Publishing, 2017: 408-416.
[31]Mondal A K, Dolz J, Desrosiers C. Few-shot 3d multi-modal medical image segmentation using generative adversarial learning[J]. arXiv preprint arXiv:1810.12241, 2018.
[32]Luo X, Chen J, Song T, et al. Semi-supervised medical image segmentation through dual task consistency[C]. Proceedings of the AAAI Conference on Artificial Intelligence. 2021, 35(10): 8801-8809.
[33]Ouali Y, Hudelot C, Tami M. Semi-supervised semantic segmentation with cross consistency training[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 12674-12684.
[34]Basak H, Bhattacharya R, Hussain R, et al. An embarrassingly simple consistency regularization method for semi-supervised medical image segmentation[J]. arXiv preprint arXiv:2202.00677, 2022.
[35]Cui W, Liu Y, Li Y, et al. Semi-supervised brain lesion segmentation with an adapted mean teacher model[C]. Information Processing in Medical Imaging: 26th International Conference, IPMI 2019, Hong Kong, China, June 2-7, 2019, Proceedings 26. Springer International Publishing, 2019: 554-565.
[36]Chen J, Yang M, Ling J. Attention-based label consistency for semi-supervised deep learning based image classification[J]. Neurocomputing, 2021, 453: 731-741.
[37]Guo J, Wang Q, Li Y. Semi - supervised learning based on convolutional neural network and uncertainty filter for facade defects classification^]. Computer - Aided Civil and Infrastructure Engineering, 2021, 36(3): 302-317.
[38]Cai Z, Ravichandran A, Maji S, et al. Exponential moving average normalization for self supervised and semi-supervised learning[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 194-203.
[39]Hung W C, Tsai Y H, Liou Y T, et al. Adversarial learning for semi-supervised semantic segmentation[J]. arXiv preprint arXiv:1802.07934, 2018.
[40]Mittal S, Tatarchenko M, Brox T. Semi-supervised semantic segmentation with high-and low-level consistency[J]. IEEE transactions on pattern analysis and machine intelligence, 2019, 43(4): 1369-1379.
[41]Wu H, Chen G, Wen Z, et al. Collaborative and adversarial learning of focused and dispersive representations for semi-supervised polyp segmentation[C]. Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 3489-3498.
[42]Bai W, Oktay O, Sinclair M, et al. Semi-supervised learning for network-based cardiac MR image segmentation[C]. Medical Image Computing and Computer-Assisted Intervention- MICCAI 2017: 20th International Conference, Quebec City, QC, Canada, September 11-13, 2017, Proceedings, Part II 20. Springer International Publishing, 2017: 253-260.
[43]Ke R, Aviles-Rivero A I, Pandey S, et al. A three-stage self-training framework for semi supervised semantic segmentation[J]. IEEE Transactions on Image Processing, 2022, 31: 1805-1815.
[44]Lee D H. Pseudo-label: The simple and efficient semi-supervised learning method for deep neural networks[C]. Workshop on challenges in representation learning, ICML. 2013, 3(2): 896.
[45]Yang L, Zhuo W, Qi L, et al. St++: Make self-training work better for semi-supervised semantic segmentation[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022: 4268-4277.
[46]Zhao Y X, Zhang Y M, Song M, et al. Multi-view semi-supervised 3D whole brain segmentation with a self-ensemble network[C]. Medical Image Computing and Computer Assisted Intervention-MICCAI 2019: 22nd International Conference, Shenzhen, China, October 13-17, 2019, Proceedings, Part III 22. Springer International Publishing, 2019: 256 265.
[47]Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84-90.
[48]Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv:1409.1556, 2014.
[49]He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]. Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 770 778.
[50]Huang G, Liu Z, Van Der Maaten L, et al. Densely connected convolutional networks[C]. Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 4700 4708.
[51]Laine S, Aila T. Temporal ensembling for semi-supervised learning[J]. arXiv preprint arXiv:1610.02242, 2016.
[52]Tarvainen A, Valpola H. Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results[J]. Advances in neural information processing systems, 2017, 30.
[53]Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks[J]. arXiv preprint arXiv:1511.06434, 2015.
[54]Odena A. Semi-supervised learning with generative adversarial networks[J]. arXiv preprint arXiv:1606.01583, 2016.
[55]Luc P, Couprie C, Chintala S, et al. Semantic segmentation using adversarial networks[J]. arXiv preprint arXiv:1611.08408, 2016.
[56]Yang Q, Wei X, Wang B, et al. Interactive self-training with mean teachers for semi supervised object detection[C]. Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2021: 5941-5950.
[57]Zhao X, Fang C, Fan D J, et al. Cross-level contrastive learning and consistency constraint for semi-supervised medical image segmentation[C]. 2022 IEEE 19th International Symposium on Biomedical Imaging (ISBI). IEEE, 2022: 1-5.
[58]Alonso I, Sabater A, Ferstl D, et al. Semi-supervised semantic segmentation with pixel level contrastive learning from a class-wise memory bank[C]. Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 8219-8228.
[59]Yu L, Wang S, Li X, et al. Uncertainty-aware self-ensembling model for semi-supervised 3D left atrium segmentation[C]. Medical Image Computing and Computer Assisted Intervention-MICCAI 2019: 22nd International Conference, Shenzhen, China, October 13 17, 2019, Proceedings, Part II 22. Springer International Publishing, 2019: 605-613.
[60]Bengio Y, Louradour J, Collobert R, et al. Curriculum learning[C]. Proceedings of the 26th annual international conference on machine learning. 2009: 41-48.
[61]Codella N C F, Gutman D, Celebi M E, et al. Skin lesion analysis toward melanoma detection: A challenge at the 2017 international symposium on biomedical imaging (isbi), hosted by the international skin imaging collaboration (isic)[C]. 2018 IEEE 15th international symposium on biomedical imaging (ISBI 2018). IEEE, 2018: 168-172.
[62]Orlando J I, Fu H, Breda J B, et al. Refuge challenge: A unified framework for evaluating automated methods for glaucoma assessment from fundus photographs[J]. Medical image analysis, 2020, 59: 101570.
[63]Fang H, Li F, Fu H, et al. Refuge2 challenge: Treasure for multi-domain learning in glaucoma assessment[J]. arXiv preprint arXiv:2202.08994, 2022.
[64]Clark K, Vendt B, Smith K, et al. The Cancer Imaging Archive (TCIA): maintaining and operating a public information repository[J]. Journal of digital imaging, 2013, 26: 1045-1057.
[65]Sohn K, Berthelot D, Carlini N, et al. Fixmatch: Simplifying semi-supervised learning with consistency and confidence[J]. Advances in neural information processing systems, 2020, 33: 596-608.
[66]Chen J, Fu C, Xie H, et al. Uncertainty teacher with dense focal loss for semi-supervised medical image segmentation[J]. Computers in Biology and Medicine, 2022, 149: 106034.
[67]刘少鹏，洪佳明，梁杰鹏等.面向医学图像分割的半监督条件生成对抗网络J].软件学 报,2020,31(08):2588-2602.DOI:10.13328/j.cnki.jos.005860.
上一篇：基于 Transformer 网络模型和多重注意力机制的医学影像 分割算法研究
下一篇：没有了
相关标签:
