多机构医学影像分割的联邦多目标神经架构搜索

发布时间：2023-09-22 15:49

第一章绪论 1

1.1 研究背景及意义 1

1.2 国内外研究现状 3

1.3 论文研究内容 7

1.4 论文的组织结构 8

第二章相关背景知识 11

2.1神经架构搜索 11

2.2 联邦学习 15

2.3 多目标进化算法 19

2.4 本章小结 20

第三章联邦 NAS 的医学影像分割超网设计 21

3.1 可搜索式卷积模块设计 21

3.2 可搜索式跳跃连接设计 25

3.3基于U-Net++改进的医学影像分割网络 26

3.4网络评价指标与损失函数 27

3.5本章小结 29

第四章联邦多目标进化神经架构搜索 31

4.1基因型与进化算子设计 32

4.2联邦神经架构搜索的子网加速评估方法设计 34

4.3算法总体设计 39

4.4本章小结 40

第五章实验与分析 41

5.1 实验设置 41

5.2视网膜血管分割数据集实验 42

5.3脑肿瘤分割数据集实验 54

5.4本章小结 64

第六章总结与展望 65

6.1 工作总结 65

6.2 未来展望 66

参考文献 67

第一章绪论

本章主要介绍了本文研究工作的背景及意义，总结了近年来集中式医学影像上手工设计的分割神经网络、集中式神经架构搜索中的加速评估技术和联邦神经架构搜索的国内外研究现状，最后概述本文研究内容及组织结构。

1.1研究背景及意义

在医学领域，医学影像分割是至关重要的一个步骤，可以帮助医生更准确地诊断和治疗患者。医学影像分割可以将医学影像中的不同组织、器官或病灶区分出来，从而更好地帮助医生定位问题所在。深度神经网络(Deep Neural Network, DNN) []可以用于医学影像分割以减轻医疗系统的压力，同时也可以提高医生的工作效率和减少医生误诊的概率。以往的集中式学习环境中，研究人员将医学影像数据集中起来，用来训练一个深度神经网络。然而，这种传统的做法正面临严峻挑战。深度神经网络的性能高度依赖于训练数据的质量和数量。一方面，在医学影像领域，标记医学图像数据这类工作需要专家知识和大量的人力资源，并且某些疾病的发病率较低且该病患者数量有限。这两个原因可能会导致单个机构无法获取足够的训练数据来训练深度神经网络。另一方面，由于政策法规的限制和保护病人隐私的需要，病人的医学数据孤立在机构之间无法共享，形成“数据孤岛”。这使得构建一个大规模的医学影像数据集来训练深度神经网络变得非常具有挑战性。因此，联邦学习(Federated Learning，FL) [] 成为了一种解决这个问题的方法。

区别于集中式学习，联邦学习允许在不共享原始数据的情况下，多个医学机构使用客户端数据训练一个预定义的本地神经网络模型，并将本地模型参数共享到中央服务器上聚合成全局模型。这种方法有助于保护病人的隐私和医疗机构的数据安全，并且能够利用分散的数据集训练模型。在联邦学习中，服务器预定义一个神经网络模型，并将模型的结构和参数发送给客户端，每个客户端利用本地数据进行模型训练，并将更新后的模型参数提交给服务器。服务器积累并聚合各个客户端的贡献并重新下发给客户端。重复上述流程一定轮次后，这个预定义的模型被训练完成。这一过程中，联邦学习只共享模型的可训练权重梯度，从而保护了患者隐私，使得医疗机构的数据孤岛问题[3]得到解决。这些医疗机构有机会共同训练出一个比本地模型更强的全局模型。然而，联邦学习面临着通讯成本的问题，在联邦学习训练过程中，需要不断在服务器和客户端之间上传下载模型参数，这造成了大量的通讯开销。

在传统的联邦学习中，通常使用预定义的模型去解决特定的任务。这种方式要求模型设计者经验丰富，并且还要花费大量时间对模型的结构、超参数进行验证，这样的工作十分繁琐耗时。研究人员可能花费大量精力用于联邦学习训练并验证一个预定义模型，而在确认其性能不佳之后需要重新设计一个新的模型进行验证。这个重复试错的过程也造成了大量的通讯开销。因此，人们在联邦学习中结合神经架构搜索

(Neural Architecture Search, NAS) ［4］来自动搜索网络，也称作联邦神经架构搜索。目前，针对联邦神经架构搜索的研究还较少。传统的神经架构搜索还是基于集中式学习的设计，这种设计不能很好地解决隐私保护问题，而联邦神经架构搜索在保护隐私的同时还能对神经网络进行搜索，是未来研究的趋势。针对医学诊断领域，不同医学机构之间可以使用联邦学习保护病人隐私，并通过神经架构搜索来得到满足需求的神经网络。尽管集中式学习下的神经架构搜索的研究取得了显著进展，但也存在一些重大挑战，特别是在有限的计算资源下执行神经架构搜索。架构搜索过程得到的候选神经网络，也被称作子网。在神经架构搜索过程中，需要对产生的大量子网进行评估以得到其性能或者排名，然而在目标数据集上直接对其进行训练或验证，均会耗费大量的计算资源和时间，这就是子网昂贵评估问题。当在联邦学习环境下，子网昂贵评估问题仍在存在，并且还会加剧联邦学习的通讯开销问题，这对联邦神经架构搜索带来了更大的挑战。

在医学影像分割中，将搜索到的神经网络部署到设备上，部署的场景可能多样化。例如，研究人员希望得到参数量很少但性能也比较低的适合部署在边缘设备上的神经网络，或者参数量适中但性能稍高的适合部署在算力较高的机器上，又或者参数量很大但性能也很高的适合部署在机房的高算力机器上。因而在医学影像分割任务中应用联邦神经架构搜索时，研究人员需要从多个目标对搜索得到的网络进行权衡以适应具体部署要求，比如考虑神经网络的参数量、神经网络的推理速度、神经网络的性能等，这些目标往往相互冲突。因此，神经架构搜索也被视作多目标优化问题。进化算法

(Evolutionary Algorithms， EAs)在求解多目标优化问题方面取得不错的成果［5,6］。相比于强化学习和梯度优化的方法，进化算法基于种群进行进化搜索，一次运行能够得到一组帕累托权衡解，这与神经架构搜索的目标不谋而合，十分适合作为神经架构搜 2 索的搜索策略。然而，进化算法的种群优势也对联邦神经架构搜索带来挑战。一次进化过程产生的众多的子网都需要被评估，这也加剧了联邦神经架构搜索的子网昂贵评估问题和通讯开销问题。

综上所述，针对医学影像分割领域，使用具有种群优势的进化算法作为搜索策略的联邦神经架构搜索能够在进行隐私保护的同时，又能搜索得到一组参数量和性能不同的神经网络来适应不同的部署场景。然而，集中式学习的神经架构搜索存在子网的昂贵评估问题。当在联邦学习设置下，基于分布式的训练，子网的昂贵评估问题更加严重，同时联邦学习的通讯开销问题加剧。本文将研究如何结合进化算法和联邦神经架构搜索，探索解决联邦神经架构搜索下的子网昂贵评估问题，搜索出适用于医学影像分割的不同部署场景下的神经网络, 并降低联邦神经架构搜索过程中的通讯量。

1.2国内外研究现状

1.2.1集中式医学影像上手工设计的分割神经网络研究现状

医学影像分割是指对医学图像中的某一特定目标区域进行分割。为了帮助医生在临床实践中进行医学诊断，有必要对医学图像中的一些关键对象进行分割，以使图像中的解剖或病理结构的变化更清晰。图像分割一般划分为实例分割、语义分割和全景分割：语义分割指区分不同含义的像素，而实例分割则进一步细分到分割不同实例（即使类别相同），全景分割则是二者的结合。医学影像分割主要涉及到的是语义分割，因为医学影像分割往往要求分割特定的器官或者病灶。

集中式学习中的卷积神经网络能够自动进行特征提取。该技术在医学影像分割领

域吸引了更多的学者进行研究并取得了更加广泛的成就。经典的fcn[7]网络能够端到端地进行语义分割。它使用经典的VGG-16[8]网络作为编码器，并将网络后几层的全连接层改成全卷积层，使得空间维度信息得以保留。在解码器部分， FcN 的上采样模块使用的是反卷积，并使用跳跃连接作用于网络的不同深度，巧妙结合了编解码器的特征。

由于 FcN 只在网络的最后一层进行上采样和特征融合，其对深层和浅层的特征利用不够高效。经典的U-Net[9]网络提出了一种对称的U形编解码器结构，如图1-1所示。 U-Net 在编码器部分（图 1-1 左侧部分）进行了四次下采样（图 1-1 红色箭头），对应解码器部分（图1-1右侧部分）采用了四次上采样（图1-1绿色箭头）。由于U-Net使

用了跳跃连接，一个解码器的输入不仅来自上一个解码器，还来自对应层级的编码器。以图 1-1虚线圆圈中的解码器为例，其输入来自下方的解码器，还来自左侧对应层级的编码器。这个巧妙的设计使得U-Net在输出最终结果之前，进行了多轮多层次的特征融合。以 U-Net 为代表的图像分割网络，得益于其编解码器结构和跳跃连接，可以很好的捕捉图像的全局信息和局部信息，从而达到较好的分割精度，成为解决集中式医学影像分割任务的基准网络。随后许多研究人员基于U-Net进行创新改进，提出了许多类 U-Net的网络。Attention U-Net[10]在跳跃连接处添加了注意力门结构，从而抑制无关区域的特征和强调相关联区域的特征，避免额外的人为监督。Cascaded U-Net[11]将两个 U-Net 网络串联起来，将前一个 U 形网络的分割结果传入后一个 U 形网络做进一步的精细分割并使用了跳跃连接用于两个 U 形网络之间，从而把浅层的细节特征传递给深层结构。

尽管 Attention U-Net 和 Cascaded U-Net 这些网络基于 U-Net 进行了改进，然而 U- Net 网络存在两个问题：一是对于不同的任务难度和训练数据量，编码器-解码器结构的网络的最佳深度往往也不同；二是在编码器-解码器网络中使用的跳跃连接的设计受到不必要的限制，即要求融合相同比例的编码器和解码器特征图。 U-Net ++[12]针对以上问题，对于 U 型网络应该设计多少层、如何融合不同层级特征等问题进行思考，提出了如图1-2所示的网络结构。在U-Net++中，密集的跳跃连接被作用于相同层级模块和不同层级模块，使得不同层级的特征图信息得到融合，增强了网络的特征信息捕获

能力，并通过实验证明了其强大性能。

U-Net++在集中式学习环境下能够得到较好的性能，但其本身的参数量相较U-Net 是比较多的。如果不加以改进而直接用于联邦神经架构搜索中，U-Net++在整个联邦神经架构搜索过程中将产生较多的通讯成本。因此，本文提出了基于U-Net++进行改进的超网，减少了其参数量而不明显降低其分割性能，使得改进后的超网可以适用于联邦神经架构搜索。

图1-2 U-Net++网络架构[12]

1.2.2集中式神经架构搜索中的加速评估技术研究现状

在神经架构搜索过程中，子网的昂贵评估一直是一个非常具有挑战性的问题。对子网进行评估需要对其训练验证，这在时间和资源上都是十分昂贵的。在架构搜索的过程中，早期的工作［13-16］通常采用最简单的方式来评估候选网络的性能：从搜索空间中抽出大量的网络，在训练数据上从头开始训练然后再在验证数据集上评估其性能。由于训练神经网络本身的计算成本很高，所以早期的 NAS 方法存在着很高的计算负担。例如，Zoph等人［15］使用强化学习(Reinforcement Learning， RL)在CIFAR 10数据集上设计神经网络，该过程使用了 800 个高性能的图形处理单元，耗时 28 天。这样庞大的计算开销让普通研究人员望而却步。

为了解决上述问题，研究人员在加快子网性能评估方面做出大量努力。目前，集中式神经架构搜索中主要有三种方法来解决或者缓解子网昂贵评估问题，分别是权重共享方法、低保真评估方法和代理模型方法。

(1)权重共享方法：Hieu等人［17］首次提出使用权重共享方法。该工作首先设计并训练一个超网，该超网可被视作一个有向无环图，子网可被视作是超网的一个子图，子网可从训练好的超网中共享权重，达到加速子网评估的目的。 Cai 等人［18］提出了 Once-for-All方法，该方法采用了渐进收缩算法来训练One-Shot模型。在One-Shot模型训练完成后， Once-for-All 将 One-Shot 模型的参数直接映射到子模型，从而无需对子模型进行从头训练。Shin等人［19］提出Darts方法，该方法通过对离散的搜索空间进行连续松弛化，使用梯度下降进行NAS，将 NAS的搜索耗时降低到数个GPU小时。

(2)低保真评估方法：Zoph等人［20］在一个小规模的数据集上设计了小型的有前景的构建块，并将优化后的具有优秀泛化能力的构建块在不同的数据集或计算机视觉任务之间转移，以此减少搜索成本。 Zhong 等人［21］在 CIFAR10 数据集上使用了早停策略来实现快速收敛的搜索策略，并将搜索成本降低到20个GPU小时。

(3)代理模型方法： Peng 等人［22］提出了一个代表选择方案，使其能够在极其有限的训练样本数量内训练出一个表现良好的性能预测器。 Sun 等人［23］采用随机森林［24］作为代理模型，通过给定网络编码来预测网络性能, 在有限的训练数据下取得良好的性能。 Ying 等人［25］采用随机森林作为代理模型来直接预测每个子网的性能。

这三种方法可以用来缓解集中式神经架构搜索中的子网昂贵评估问题，然而这些加速评估方法无法直接应用于联邦神经架构搜索中。首先，在联邦神经架构搜索中子网的性能评估需要服务器和客户端协作完成，集中式神经架构搜索下的权重共享方法无法直接应用。如何在分散的客户端之间完成权重共享是一个难点。其次，低保真评估方法要求子网进行联邦学习训练，这就需要服务器下发模型参数给客户端，而客户端完成本地训练后还需要上传更新的模型参数给服务器聚合。这造成了大量的通讯成本。此外，在联邦神经架构搜索中，需要解决如何获得代理模型的训练数据和如何更新在线代理模型等难题。

1.2.3联邦神经架构搜索研究现状

联邦学习是一种新兴的保护隐私的分布式机器学习范式，研究人员正利用联邦学习技术来解决医学影像领域的隐私保护问题。 Li 等人［26］设计了一种分散迭代优化算法，提出了一个保护隐私的联邦学习框架来训练得到适用于多医学站点磁共振成像分类任务的神经网络模型。然而，手工设计神经网络是一个劳动密集型作业。因此，研究人员希望在满足隐私保护的基础上，进行联邦学习下的神经网络自动搜索。

作为一种新兴的研究领域，联邦神经架构搜索目前还处于起步阶段，大部分的工作也集中在图像分类任务上，并关注于减少通讯成本问题。 Zhu 等人［27］将联邦神经架

构搜索视为二目标优化问题来最小化通讯量和最大化图像分类准确率。该工作提出了一种适用于联邦神经架构搜索的用于编码网络连接的可扩展方法，通过降低神经网络参数量来减少联邦搜索过程中的通讯量。在 Zhu 等人提出的算法中，每一代的个体映射成子网后被直接发送到所有客户端进行联邦学习训练，这对计算和通信成本造成了一定负担。Xu等人［28］通过客户端采样技术来缓解子网昂贵优化问题和降低通讯成本，并应用于分类任务。在他们的工作中，所有客户端被分为不同的组，每个采样的模型使用一组客户端进行局部训练，而不是选取所有客户端来参与训练。此外， Xu 等人还通过模型修剪技术和本地计算测试精度等方式来尽量减少客户端和服务器之间的通讯成本。Zhu 等人［29］在《Real-time federated evolutionary neural architecture search》该项研究中考虑客户端的计算能力、网络的性能，采用进化算法来进行多目标优化，通过对全局模型和客户端的双重采样，减少了通讯成本。此外，该算法结束后得到一个训练完成的全局模型，而无需再进行联邦学习训练，进而节约通讯成本。

1.3论文研究内容

联邦学习作为一种保护隐私的分布式机器学习方法，能够解决医疗机构之间的数据孤岛问题，帮助医疗机构训练出性能更好的神经网络。联邦学习对通信提出了很高的要求，因为大量的模型参数必须在服务器和客户端之间传输。当要在联邦学习中进行神经架构搜索时，这个问题会变得更加严重。集中式医学影像上手工设计的分割神经网络直接应用于联邦神经架构搜索中，会带来较大的通信压力。此外，集中式神经架构搜索中用于缓解子网昂贵评估问题的几种常用加速评估方法无法直接应用于联邦

神经架构搜索。针对上述问题，本文的研究路线如图 1-3所示，具体内容如下：

（1）以性能良好的U-Net++为基础，使用深度可分离卷积改进U-Net++中的双卷积层，并针对U-Net++中的冗余跳跃连接进行可搜索设计，提出了 FSU-Net++作为用于医疗影像语义分割的超网架构并使用联邦学习技术对其进行训练。FSU-Net++可应用于联邦神经架构搜索过程来搜索子网，搜索到的子网在结构上与超网一致，但其双卷积层具有不同的通道数且其具有不同的跳跃连接，得到更加精简的网络，从而减少了联邦学习过程中产生的通讯量。

（2）神经架构搜索普遍存在子网昂贵评估问题。鉴于集中式神经架构搜索中用于缓解子网昂贵评估问题的三种加速评估技术无法直接应用联邦神经架构搜索中，本文设计了适用于联邦神经架构搜索的三种加速评估方法：适用于联邦 NAS 的权重共享方法、适用于联邦NAS的低保真评估方法和适用于联邦NAS的在线代理模型预测方法。

（3）提出了可用于多机构医学影像分割的联邦多目标神经架构搜索算法 FSU- NAS。FSU-NAS基于本文提出的FSU-Net++超网和适用于联邦NAS的三种加速评估方法，可在一次搜索结束后可以得到一组网络结构，这些网络结构具有不同的参数量和精度。FSU-NAS中设计了基于FSU-Net++的搜索空间，使用进化算法作为搜索策略，将联邦进化搜索过程划分为三个阶段，根据每一阶段特点组合使用本文提出的三种加速评估方法。

（4）在视网膜血管分割数据集和脑肿瘤分割数据集两个医学影像分割数据集上进行实验验证。实验结果表明，本文设计的方法在联邦学习环境下搜索出的子网性能接近甚至超越人工设计的网络，而这些子网具有相对更少的参数量，减少了联邦学习过程中产生的通讯量。通过消融实验证明，本文提出的三阶段算法合理有效，在加速神经架构搜索的子网评估过程的同时，相应减少了联邦神经架构搜索过程中的通讯开销。

1.4论文的组织结构

本文剩余章节内容安排如下：

第二章主要介绍与本文研究相关的背景知识。本文的研究工作主要集中于联邦神经架构搜索，因此介绍了联邦学习和神经架构搜索的相关背景知识。此外，本文的研究使用多目标进化算法作为神经架构搜索的搜索策略，因此也对其进行介绍。

第三章介绍本文提出的适用于联邦神经架构搜索的医学影像超网FSU-Net++,其主要由可搜索式卷积模块和可搜索式跳跃连接组成，并介绍在联邦学习环境下训练超网的细节。此外，还介绍了相关的网络评价指标与损失函数。

第四章基于FSU-Net++超网，介绍了本文提出的联邦多目标进化神经架构搜索算法FSU-NAS,分点介绍了基因型和进化算子设计、三种适用于联邦神经架构搜索的子网加速评估方法以及总体的三阶段算法。

第五章将本文提出的方法在视网膜血管分割数据集和脑肿瘤分割数据集上进行实验验证。首先介绍了两个数据集实验上的共同设置，包括硬件环境和软件环境。接着介绍了两个数据集以及对应的数据集预处理，随后介绍了本文的方法在两个数据集上的实验结果。最后，还对本文提出的方法的组成部分进行消融实验，并进行了联邦神经架构搜索的通讯量分析。

第六章为本篇论文的工作总结与展望。

第二章相关背景知识

本章将介绍本文所做研究的相关背景知识。首先介绍神经架构搜索的基本原理和流程，主要从搜索空间、搜索策略和性能评估策略对其进行分点阐述。随后介绍联邦学习的相关知识，包括其产生的背景、定义以及基本概念。这一部分还将介绍本文研究所使用的 FedAvg 算法。最后，介绍多目标进化算法的相关内容，包括多目标优化问题和本文使用的NSGA-II算法的基本步骤。

2.1神经架构搜索

■S'™'! Bmmmmm 且■呻享■

■廖■

图 2-1 神经架构搜索流程图

NAS 过程可以建模为一个双层优化问题，如公式（2-1）和公式（2-2）

^a = arg min £ train (N(A, W^), Dtrain), A 6 S

A* = argmin £valid (N(A,必),Dvalid)

其中，S表示搜索空间，N（A,血）表示搜索空间中的候选架构，血表示网络结构4 对应的权重。NAS的目标是搜索到在验证集Dvalid上损失函数值£valid最小的神经网络结构4。而神经网络结构4的最优权重血可以通过式（2-1）训练4,使其在训练集 Dtrain上的损失函数值如伽最小。

神经架构搜索主要由三个方面组成，即搜索空间、搜索策略和性能评估策略［30］。首先定义搜索空间，随后根据搜索策略从搜索空间采样候选网络，使用性能评估策略对其进行评估，搜索策略再根据评估的结果进行下一步调整和搜索。神经架构搜索的基本流程如图 2-1 所示。搜索策略的目的是基于给定的任务，在搜索空间中找到最优的神经网络架构，例如最小化验证集的损失值。性能评估策略则是用于评估由搜索策略采样得到的神经网络架构的性能，进而反馈给搜索策略进行下一轮搜索。

2.1.1搜索空间

搜索空间是一个包含所有可能的候选神经网络架构的集合。目前， NAS 的搜索空间可大致分为三类：宏观搜索空间( Macro search space) 、微观搜索空间( Micro search space)和基于模板的搜索空间(Template-based search space)。

宏观搜索空间包含了网络架构所需要的基础组件，如网络的深度，层间连接方式，层内算子类型(如卷积或者池化)等。宏观搜索空间自由度较高，可以探索生成不包含目前人类专家经验的神经网络架构，其代价是这类搜索空间十分庞大，即使在小规模数据集如CIFAR10上进行NAS，其搜索成本也十分昂贵［14］。宏观搜索空间示例如图 2-2 所示。

图 2-2 宏观搜索空间示意图

微观搜索空间放弃了设计完整网络架构的思路，而是通过构建网络架构中的基础结构，称作块(Block)结构。搜索出这种基础结构之后，反复堆叠这些块结构组成完成的神经网络架构，如图 2-3所示。这种设计可以解决宏观搜索空间过大导致算法搜索成本过高的问题。Zoph等人［20］便是采用了这种思路，其设计了两种块结构：Normal Block和Reduction Block。该工作使用较少的搜索成本得到Normal Block和Reduction Block，并通过残差连接的方式将这两个块结构进行堆叠，组成一个完整的神经网络。

图 2-3 微观搜索空间示意图

随后，出现了一种以现有的手工网络为模板，对该模板进行细粒度微调的搜索空

间，称作基于模板的搜索空间。 Lu 等人［31］使用以 MobileNetV2 为模板的搜索空间，基于该搜索空间通过算法精细化调整模板网络的卷积核的大小、通道数等，实现比模板神经网络更高的性能，如图 2-4 所示。 Fang 等人［32］以 ResNet50 网络架构为模板，提出了一种基于参数重映射的神经网络架构搜索算法，可以为目标检测框架定制特征提取能力更好的主干网络架构。本文的研究使用的便是基于模板的搜索空间。

Network Stage Layer

图 2-4 基于模板的搜索空间示意图［31］

2.1.2搜索策略

NAS 的搜索策略可以大致分为以下三类：

（1）基于强化学习的搜索策略。 Zoph 等人［15］将 NAS 定义为强化学习问题，通过把神经网络结构的生成认为是代理的行为，搜索空间视为强化学习中的动作空间，训练得到的神经网络的性能评估以视作代理的奖励。该工作使用基于强化学习的搜索策略在 CIFAR-10 和 Penn Treebank 基准测试中获得了极具竞争性的性能。 Zhong 等人［33］在MetaQNN中创新性地把NAS过程建模为了马尔科夫决策过程，使用了 Q-learning算法来控制CNN架构的生成。

（2）使用基于梯度的方法作为搜索策略。Liu等人［19］提出了一种Darts方法，以实现直接基于梯度的优化。 Darts 使用了 Softmax 将离散的搜索空间进行了连续松弛化，能够在验证集上使用梯度下降对网络结构进行高效搜索。具体地，在搜索过程中，操作集的每个操作都会处理每个节点的特征图，之后，再对所有操作得到的结果加权求和，训练结束后取权重最大的操作作为两个节点之间的操作。Xie等人［34］和Cai等人［35］没有对可选的操作的权重进行优化，而是在可选的操作中进行参数化分布优化。 Shin

等人［36］和Ahmed［37］等人也采用了基于梯度的神经结构优化，但分别侧重于优化层的超参数和连接模式。

（3）基于进化算法的搜索策略。 Real 等人［38］将 NAS 视作多目标优化问题，使用多目标进化算法来求解，其采用定长编码字符串作为编码方案，将其称为基因型，在进化过程中通过交叉变异，保留优秀的神经网络，从而搜索出性能优异的网络。 Lu 等人［39］使用了进化算法中的NSGA-II［40］算法作为搜索策略，同样采用多目标优化的方式（考虑网络的精度和计算复杂度），有效平衡潜在的神经网络结构空间的勘探与开发，能够在一次运行中找到一组不同的权衡网络体系结构。

2.1.3性能评估策略

神经网络需要在训练数据上进行充分的训练才能够获取其性能评估值（如网络的分割性能）。早期的工作采用最简单的完整训练方法来评估候选网络的性能。这个完整的过程如下：在训练集上对采样的候选网络进行训练数个epoch，直到模型收敛。这样的性能评估策略虽然简单，但是使用这种策略评估一个网络需要几个小时到几天的时间。因此， NAS 的主要计算瓶颈在于整个搜索过程中需要对大量的模型进行完整训练以及性能评估。这种耗时的性能评估方式在现实中有限的计算资源约束下是无法承受的，即使在小规模数据集上，计算成本也是十分昂贵的。这样的问题也被称作 NAS 的昂贵评估问题。为了缓解 NAS 的昂贵评估问题，目前有如下几种策略：

（1）低保真评估。低保真评估是早期使用的一种加速候选神经网络的训练和评估的方法。低保真评估主要包括缩短训练时间［21,41］、使用低分辨率的图像［42］、使用小规模数据集搜索［20］、使用不完整训练集［43,44］、在搜索时降低候选神经网络架构的规模

（如使用较少的通道数）［45］。与完整训练相比，低保真评估方法可以将计算成本降低一个数量级。 Zhong 等人［21］提出了一种早停策略，缩短了每个候选网络的训练时间，提高搜索效率。Zoph等人［20］提出的NASNet将基于CIFAR10数据集搜索神经网络架构迁移到 ImageNet 分类任务和 MS-COCO 目标检测任务，并取得较好的实验结果，避免了直接基于大型数据集搜索，降低了搜索成本。低保真估计的缺点是由这种方法得到的候选网络架构的性能评估值可能不准确，进而误导搜索策略［46］。

（2）权值共享方法，也称为One-Shot方法。权值共享方法需要预先定义一个包含所有候选神经网络架构的神经网络模型，称为 One-Shot 模型。 One-Shot 模型可以看作一张有向无环图,所有可能的候选神经网络架构都是该有向无环图的不同子图。有向无

环图中的节点代表神经网络中的操作（例如卷积），而有向边代表从一个节点到另一个节点的信息流（即特征图）。节点之间不同的连线可以产生大量的神经网络。 One- Shot 模型训练完成之后，所有的候选神经网络架构都可以直接从 One-Shot 模型继承权值，不需要从头开始训练即可评估其性能。权值共享方法极大地缩短了 NAS 的搜索耗时。例如，ENAS［17］使用了权值共享方法，在相同的数据集、搜索空间和搜索策略下，花费16 GPU小时完成了搜索，而NASNet花费了 43200 GPU小时。

（3）代理模型方法。在NAS中，可以使用代理模型作为一个性能预测器来直接评估候选网络的性能。目前，其主要有两类用途，一类是基于学习曲线的预测器［47-50］，另一类是端到端的预测器［23,51］。基于学习曲线的性能预测器通过对神经网络进行部分训练，随后根据训练数据的轨迹来预测后续轨迹。端到端的性能预测器是通过将建模完成的神经网络结构信息输入到代理模型中，直接预测神经网络结构的性能，预测的指标通常为神经网络结构在验证集上的分类准确率等。基于代理模型的性能评估策略与基于权重共享的评估策略相比，基于代理模型的性能评估策略要更加灵活，它可以把模型的评估方法从模型编码、优化策略中解耦出来，提高神经架构搜索算法的可扩展性。此外，训练良好的代理模型可以用于预测搜索空间中的任意候选架构的性能，避免对一些性能不佳的架构进行耗时的训练，节省了计算开销。当在联邦学习环境下，还能节省通讯开销。

2.2联邦学习

2.2.1背景

随着社会的发展，人们对私有数据和隐私安全越发关注，不同国家和地区也通过立法不断加强对数据安全和隐私的保护。 2018 年 5 月 25 日，欧盟出台《通用数据保护条例》，旨在保护用户的个人隐私和数据安全，要求企业不能再使用模糊、难以理解的语言或冗长的隐私政策来从用户处获取数据使用许可，禁止企业在未经用户许可的情况下利用用户数据进行模型训练。《中华人民共和国网络安全法》和《中国人民共和国民法通则》指出，网络运营商不得披露、篡改或销毁其收集的个人信息。在与第三人进行数据交易时，有必要确保拟签订的合同中明确规定交易数据的范围和数据保护的义务。这些法律法规的建立，对传统的数据处理模式提出了新的挑战。

以医疗领域为例，医疗中更加严格的政策法规、医学伦理限制和病人隐私保护的

需要给构建大型集中式的医学影像数据集带来巨大挑战，现实的数据便往往以“数据孤岛”的形式存在，分散于各个医疗机构之间，无法被有效利用。可以说，在人工智能领域，数据是基础设施，没有数据就谈不上模型训练。然而传统的集中收集数据的处理方法容易使得用户的隐私和数据在收集和处理过程中被泄露。为了解决数据孤岛的困境，联邦学习(Federated learning，FL)被提了出来。联邦学习通过模型聚合、同态加密和差分隐私等手段提供隐私保护机制，可以有效地利用终端设备的计算资源来训练模型，防止私人信息在数据传输中被泄露。由于移动设备和其他领域的设备数不胜数，存在大量有价值的数据集资源，联邦学习可以充分利用这些资源。一般地，将参与联邦学习的设备称作客户端或参与者。联邦学习可将多个参与训练的客户端的数据利用起来联合训练一个模型，其性能要优于在单一客户端上训练的模型。

2.2.2定义和基本概念

口忑・・・…□

③：本地训练

图 2-5 联邦学习示意图

联邦学习的定义如下：N个客户端｛Ui,匹，…,Un｝拥有各自的数据集｛Di,D2，…,Dn｝，每个客户端都不能直接访问其他客户端的数据来扩展自己的数据。如图 2-5所示，其基本步骤分四步：第一步，服务器选择一部分客户端参与本轮联邦学习；第二步，服务器发送全局模型到各个客户端；第三步，客户端S不需要共享自己的数据，直接在本地利用U训练出本地模型必；第四步，服务器聚合本地模型｛“1,02，…,％｝。循环以上基本步骤直至训练完成。

根据数据的特征分布和样本来源，联邦学习可以分为横向联邦学习、纵向联邦学习和联邦迁移学习，如图2-6所示。其中，矩阵口表示客户端G持有的数据。Di纵轴是标签，横轴是特征，即Q的每一行是一个样本，每一列是一个特征。Dt的最右一列是标签信息。记样本组成的向量空间为/,特征组成的向量空间为X,标签组成的向量空

16 间称为丫。则一个数据集可表示为(/, X, Y)。

横向联邦学习(Horizontal Federated Learning， HFL)：横向联邦学习适用于两个数据集的特征X重合度很高，但样本I重合度很小的情况。横向联邦学习是将数据集横向分割(按样本维度)，然后取出特征相同但样本不完全相同的部分数据进行训练。因此，横向联邦学习可以增加用户样本量。谷歌于 2016 年提出的针对安卓手机网络模型更新的数据联邦建模方案［52］就是一个典型的横向联邦学习应用。它采用了差分隐私和安全聚合的方法。

图 2-6 联邦学习分类示意图

纵向联邦学习(Vertical Federated Learning， VFL):两个数据集之间特征X重合度不高，但样本 I 重合度较高的情况。纵向联邦学习是将数据集垂直划分(按特征维度)，然后取出用户相同但用户特征不完全相同的部分数据进行训练。换句话说，不同列的数据有相同的样本(按样本对齐)。因此，纵向联邦学习可以增加训练数据的特征维度。比如同一区域的一家餐饮店和快递站，他们的用户均来自当地的居民。餐饮店记录了居民的饮食时间和口味，快递站则记录了居民的包裹类型和包裹数量，他们之间的特征几乎没有交集，但是样本均是来自当地的居民。纵向联邦学习可以将这些不同的特征以加密的形式聚合起来联合训练一个模型。

联邦迁移学习(Federated Transfer Learning， FTL):两个数据集的样本I以及特征 X 都很少重叠的情况下，这时进行联邦学习训练是比较困难的。可以不对数据进行分割，使用迁移学习来克服数据或标签的不足，这种方法被称为联邦迁移学习。

2.2.3FedAvg 算法

图2-7 FedAvg算法示意图

FedAvg[2]是一个基本且广泛使用的横向联邦学习算法，如图2-7所示。在每次迭代

中，服务器首先将当前全局模型发送给选定的各个客户端。然后，选定的各客户端用其本地数据更新全局模型。接下来，更新后的模型被发送回服务器。最后，服务器对所有接收到的本地模型进行平均，以得到一个新的全局模型。 FedAvg 重复上述过程，直到达到指定的迭代次数。服务器的全局模型是最终输出。 FedAvg 算法详细的伪代码如算法 2-1 所示。

算法2-1： FedAvg算法.K：客户端总数；B： mini batch大小；E：训练迭代次数; 可：学习率；九：所有客户端样本总数；nk:客户端k的样本数

1 服务器更新：

2 初始化 0(0)，令 9(t) = 9(0)

3 for每个通讯轮次£ = 1,2,…do

4 选择m = C x K个客户端，C e （0,1]

5 发送e（t）给每个客户端k

6 for客户端k e m do

7 等待客户端k更新并回传模型e（t）k

8 0(t) =跖等M

9 客户端比更新：

10 ek = e(t)

11 for每个训练迭代f = 1,2,…,E do

12 for b e B do

13 ek =萨 _ 和Lk(ek, b)

14 回传0k给服务器

2.3多目标进化算法

2.3.1多目标优化问题

在科学研究和工程实践中，存在许多复杂的优化问题。这类问题由相互冲突和影响的多个目标组成，并且需要使多个目标在给定区域同时尽可能最佳，我们将这类问题称为多目标优化问题［53］ (Multi-objective Optimization Problems， MOPs)。多目标优化问题存在于各类实际工程问题中，比如投资组合优化［54］、车间调度［55,56］以及神经架构搜索［57,58］等。通常，一个多目标优化问题可以被定义如下：

minF(x) = (fi(x),/2(町,…,仏(小),% e (2-3)

其中，X表示决策变量，F(x)表示包含m个目标的目标向量，表示的是决策变量空间。由于多目标优化问题的多个目标经常是相互冲突的，所以很难出现一个在所有目标上都达到最优的解，因此引入了帕累托最优解的概念。假设x和y是决策变量空间 fi中的两个解，如果对于所有的目标，x都不比y差，且至少有一个目标，x要比y好，则称x占优(支配)y。对于一个解%* efi，如果不存在解空间fi中的其他解占优它，则称疋为帕累托最优解。一个多目标优化问题的所有帕累托最优解的集合就被称为帕累托最优解集，而帕累托最优解集在目标空间中的映射就被称为帕累托前沿。

2.3.2NSGA-II 算法

进化算法是一类模仿自然界中生物进化机制的基于种群的启发式优化算法。对于现实中的大多数复杂优化问题，无法显式地建模解析方程，因而难以使用传统的数学规划方法［59］进行求解。而进化算法是一种不受问题限制的鲁棒性强的全局优化方法，因而可以对这类问题进行求解。进化算法通过对问题的优化解进行遗传操作，不断迭代更新求解过程，最终得到最优解。进化算法一般包含有交叉、变异、环境选择等遗传算子，一般的进化算法流程如图 2-8所示。

NSGA-II (Non-dominated Sorting Genetic Algorithm II)算法［40］是一种多目标进化算法。 NSGA-II 算法被提出来解决多目标优化问题，在优化问题中同时考虑多个目标函数。 NSGA-II 算法通过遗传算法中的选择、交叉和变异等操作，寻找目标函数之间的帕累托最优解集合。 NSGA-II 算法的基本步骤如下：(1)初始化种群：随机生成一组初始解作为种群。(2)帕累托排序：对种群中的所有解进行帕累托排序，将种群分为

多个等级，每个等级的解集合不会被其它等级的解所支配。(3)拥挤度计算：对于每个等级中的解集合，计算每个解的拥挤度，拥挤度表示解在解集合中的密度，即解附近的其他解的距离。(4)选择操作：根据帕累托等级和拥挤度，选择出一定数量的解，作为下一代种群的父代。(5)交叉和变异操作：对父代中的解进行交叉和变异操作，生成下一代种群。(6)重复执行第(2)步至第(5)步，直到达到终止条件。 NSGA-II 算法的优点是可以找到多目标优化问题中的帕累托最优解集合，同时避免了算法陷入局部最优解。与传统的遗传算法相比， NSGA-II 算法通过帕累托排序和拥挤度计算等技术，提高了算法的收敛速度和搜索能力。

I 开始 ~l

乂乂乂幵

图 2-8 进化算法流程图

2.4本章小结

本章介绍了本文所做研究的相关背景知识。首先介绍了神经架构搜索的基本原理和流程并分点介绍了其三个主要部分：搜索空间、搜索策略和性能评估策略。随后介绍了联邦学习的相关知识，包括提出的背景、定义和基本概念，并介绍了本文研究所使用的 FedAvg 算法。最后，介绍了多目标进化算法的相关内容，包括多目标优化问题和本文使用的NSGA-II算法的基本原理和算法步骤。

第三章联邦 NAS 的医学影像分割超网设计

由于U-Net++在传统的集中式学习中获得了较好的性能，本文研究基于U-Net++进行改进，设计适用于联邦NAS的医学影像分割超网Federated Searchable U-Net++,简称FSU-Net++。然而U-Net++将卷积模块之间进行密集连接，这导致了它的参数量较多, 在联邦神经架构搜索环境下应用U-Net++作为超网会产生较多的通讯成本。因此本文从造成U-Net++参数量多的两方面入手，对其进行改进。

首先，本文使用了深度可分离卷积来改进U-Net++中的普通卷积模块，使其参数量降低。本文将使用深度可分离卷积改进后的卷积模块称作可搜索式卷积模块。“可搜索”指的是该卷积作为构成超网FSU-Net++的基本模块，可进行通道搜索，从而构成搜索空间的一部分。其次，本文对U-Net++的密集跳跃连接进行搜索，称之为可搜索跳跃连接。对跳跃连接的搜索，可以在进化过程中产生具有不同跳跃连接结构的子网。这些具有不同跳跃连接的网络实际上使得一些卷积模块可以从网络中去除，既减少了网络参数量，也使得搜索到的网络结构更加多样化。

3.1可搜索式卷积模块设计

图 3-1 标准卷积操作示意图

卷积(convolution)是卷积神经网络中非常常见的操作。深度学习中卷积的操作如下：卷积核以一定的步长在输入特征图上滑动，每一步都将对应元素相乘后求和得到

输出特征图的一个元素值，如图 3-1 所示。对于一个标准的卷积层，其输入的特征图维度为(M, Hin, Win)，其输出的特征图维度为(N, 呗 %讥)，其卷积核维度为(N,

M, Dk, Dk)，标准卷积结构如图3-2所示。

图 3-2 标准卷积结构示意图

深度可分离卷积(depthwise separable convolution)是卷积神经网络中对标准的卷积进行改进而得到的。深度可分离卷积对空间维度和深度维度进行拆分，从而降低了两者的相关性。深度可分离卷积有效减少了卷积所需要的参数数量和计算量。深度可分离卷积分为两部分：逐通道卷积(depthwise convolution)和逐点卷积(pointwise convolution)，如图 3-3 所示。

图 3-3 深度可分离卷积示意图

深度可分离卷积首先使用给定的卷积核对每个通道分别卷积并将结果组合，该部分被称为逐通道卷积，经过逐通道卷积操作后特征图的深度不变。随后深度可分离卷积使用单位卷积核进行卷积并输出特征图，该部分被称为逐点卷积。假设输入特征图的大小为(M, Hin, Win)，输出特征图的大小为(N, %, %讥)，卷积核尺寸为(必, DQ。深度可分离卷积首先使用M个(1, Dk, Dk)的卷积核对输入特征图的每个通道分别进行卷积，并组合得到大小为(M,呗%讥)的中间特征图，随后使用”个(M,1,1 )的单位卷积核输出结果，得到大小为(N, 呗 Wout)的输出特征图。深度可分离卷积的结构如图 3-3 所示。

相比标准卷积，深度可分离卷积在参数量和计算量方面都有所减少。仍设输入特

征图的大小为(M, Hin, Win),输出特征图的大小为(N, 呗 %讥)，卷积核尺寸为 (Dk,—)。标准卷积的参数量为(Dk • Dk • M • N),乘法计算量为(Dk • Dk • M • N • H°ut • %讥)，而深度可分离卷积的参数量为(必•D^M + 1 • 1 MN),乘法计算量为(DiDzM'Hout' Wout + %讥)。可以看出，在卷积核尺寸、输入特

征图通道数和输出特征图通道数均相同的情况下，深度可分离卷积的参数量是标准卷

以常见的3 3卷积为例，深度可分离卷积的参数量约是标准卷积的九

分之一。以此类推，乘法计算量的对比也与此类似。联邦学习需要经过多轮的通讯传递，在一轮通讯训练中，客户端的模型参数需要通过网络传递到服务器进行聚合。因

此，为了减少通讯量，应当尽量选用网络参数量小的网络模型。相比较标准卷积，在不明显降低网络精度的情况下，深度可分离卷积可作为基础卷积模块来构建卷积神经

网络，其卷积模块参数量更低，从而在联邦学习训练过程中节约更多的通讯成本。本文使用了深度可分离卷积来改进U-Net++网络作为联邦NAS的医学影像分割超网，从而在不明显损失网络性能的同时，降低网络参数量，减少联邦学习过程中产生的通讯量。如图3-4所示，图中左侧网络是U-Net++网络整体架构，黄色圆圈是由两层3 • 3标准卷积层构成，本文将原始U-Net++网络中的两层3・3卷积层中的第一层3・3卷积层替换成深度可分离卷积，并将该卷积模块称作可搜索式卷积模块(图 3-4 右侧网络的橙色

圆圈)。

本文针对可搜索式卷积模块设计了通道搜索方案作为实现超网子网权重共享的具

体方式，基本思路是通过对超网进行通道排序选中具体通道，子网直接继承超网中被

选中的通道权重。搜索通道数目的方式是常见做法，但是在进行通道搜索时要保留哪

些通道是值得思考的。这是因为卷积的通道之间的权重不同，不同通道捕获特征信息的能力是不同的。本文使用基于排序和选择策略的通道搜索方法来确定选中哪些通道。对于卷积的通道进行排序，需要衡量卷积通道的贡献值。本文采用 L1 范数计算通道的权重绝对值之和，将其作为衡量卷积通道贡献值的指标， L1 范数值越大的通道贡献值越大，计算方法如公式（3-1）所示。

contribution1 = L1norm^filterl＞） = ||/iZtert^i, i E [1,n] （3-1）

可搜索式卷积模块的通道搜索流程如图 3 -5所示。该例子中，超网的某一可搜索式卷积模块的输入特征图维度为64 • 32 • 32，输出特征图维度为64 • 32 • 32。超网的输入特征图首先经过第一层中维度为64 • 1 • 3 • 3的逐通道卷积，接着经过第一层中维度为

96 • 64 • 1 • 1的逐点卷积，最后经过维度为64 • 96 • 3 • 3的标准卷积得到输出特征图。

在图 3-5 中，对超网的该可搜索式卷积模块的通道搜索值为 48。通道搜索发生在第一层深度可分离卷积的逐点卷积，对该逐点卷积的 96个卷积核按照公式（3-1）计算通道贡献值并排序，选择前 48 个贡献值最高的卷积核。紧随其后的第二层标准卷积将会发生连锁反应，因为第一层中的逐点卷积的输出通道数决定了第二层标准卷积的输入通道数。子网根据通道搜索结果从超网中共享选中通道的权重。在子网中，输入特征图首先经过第一层中维度为64 • 1 • 3 • 3的逐通道卷积，接着经过第一层中维度为48 •

64 1 1的逐点卷积，最后经过维度为64 48 3 3的标准卷积得到输出特征图。可以看出，经过通道搜索后，子网的可搜索式卷积模块的通道数减少，参数量降低，且输入输出特征图维度保持不变。

综上所述，使用深度可分离卷积改进的可搜索式卷积模块的参数量相较U-Net++中的双卷积模块参数量更低，在应用通道搜索之后，可搜索卷积模块内部的参数量将进一步降低，这有效节约了联邦神经结构搜索过程中的通讯成本。

3.2可搜索式跳跃连接设计

图3-6根据不同数据量任务应用不同U-Net网络

一个U-Net网络究竟需要多深的编解码器层级以及多少个编解码器，这个是不确定的，往往需要根据实际任务来定。对于训练数据量小的任务，也许深度为 3 层、仅有 5 个编解码器的U-Net就可以满足，如图3-6 (a)所示；对于训练数据量大的任务，则需要更深的编码器解码器层级、更多的编解码器，如图3-6 (b)所示。层级越深、编解码器越多的U-Net网络的参数量越多，精度越高，推理速度越慢。然而，当编解码器达到一定数量时，增加更多的编解码器对网络精度的提升不再显著。在实际任务中，根据不同量级的数据量去训练使用不同层级不同编解码器数量的U-Net网络，再加上细致的调参任务，这样的工作十分繁重耗时。因此，U-Net++尝试设计密集的跳跃连接来训练网络，使得网络的各个模块在训练过程中学习到合适的权重，从而解决上文提到的针对不同任务需求的网络结构设计问题。然而这种方式实际上固定了整个网络结构，

因此，本文基于U-Net++网络，通过对跳跃连接进行搜索，从而在进化过程中产生具有不同跳跃连接结构的神经网络，其原理如图 3-7所示。绿色虚线为可搜索的跳跃连接，黑色点线不进行搜索。保留黑色点线的跳跃连接是为了保持网络结构的稳定。针对绿色虚线的跳跃连接的搜索，可以达到搜索出不同结构的U-Net类型网络的目的。以图3-7中左侧的具有三层网络层级的U-Net++为例，通过对跳跃连接的搜索可以得到结构如图3-7中间的U-Net++。可以看出，在前向传播的过程中，X0,1模块的输出并没有输入给x°3 x0,2的输入仅来自X°,°和给X1」，从而使得在反向传播过程中X0,1模块没有被训练，这在本质上就相当于图3-7右侧的U-Net。对跳跃连接的搜索使得对特定的可搜索式卷积的通道搜索结果被无效化，这类似于生物学上的显性基因和隐形基因。因此，可搜索式跳跃连接的设计可以搜索到更加多样化的网络结构。此外，由于X0,1模块的输出没有输入给X0,2, X0,2的输入通道数减少，这意味着X0,2的模块参数量也减少了, 这也进一步节约了联邦 NAS 的通讯成本。

3.3基于U-Net++改进的医学影像分割网络

图3-8可搜索的适用于联邦神经架构搜索的FSU-Net++超网结构

如图3-8所示是本文设计的基于U-Net++改进的适用于联邦神经架构搜索的超网 FSU-Net++的整体结构。图3-8中的橙色圆圈为可搜索式卷积模块，图中的绿色虚线为可搜索的跳跃连接。为了保持搜索到的子网结构的稳定性，所有子网均会保留黑色点线的跳跃连接，即保留每一层级的第一个可搜索式卷积模块到第二个可搜索式卷积模块以及最后一个可搜索式卷积模块之间的跳跃连接。整个FSU-Net++共5层，本文将从

网络入口处那层开始，对每一层分别称作L1层、L2层、L3层、L4层和L5层。整个网络有 4 层下采样和 4 层上采样，每次下采样操作会使得分辨率变为原先的 1/2，每次上采样会使得分辨率变为原先的2倍，经过4次下采样操作后输入给X4,°的特征图分辨率为初始输入图片分辨率的1/16。FSU-Net++共有15个卷积模块，同一层级的卷积模块的输入输出分辨率相同。FSU-Net++中全部的可搜索式跳跃连接均存在，而子网的可搜索跳跃连接是可被搜索的。换言之，FSU-Net++是所有子网的最大网。

为了得到一个训练收敛的超网来应用权重共享方法来加速子网评估，本文使用 FedAvg方法对FSU-Net++超网进行联邦学习训练。其基本流程如下：首先在服务器生成FSU-Net++全局模型并将该全局模型发送到参与联邦训练的客户端，客户端本地训练该模型，客户端将更新后的本地模型权重发送回服务器，服务器聚合这些模型权重得到新的全局模型。以上过程重复若干个通讯轮次(通讯轮次视数据集样本数量而定)，其流程如算法 2-1 所示。本文的两个实验采用仿真实验，使用三个客户端和一个服务器在一台机器上进行超网的联邦学习仿真训练。不同客户端和服务器均具有独立进程，它们使用mpi4py库进行进程间通讯。

本文设计的适用于联邦NAS的医学影像分割超网FSU-Net++主要由可搜索式卷积模块和可搜索式跳跃连接构成。利用深度可分离卷积改进的可搜索式卷积模块脱胎于 U-Net++的双卷积层但参数量更低，子网根据通道搜索方法可共享超网的权重并降低参数量。对可搜索跳跃连接的设计使得搜到的子网结构更加多样化，并且使得某些模块被无效化，从而令子网参数量进一步降低。因此，FSU-Net++的整体设计能够节约联邦 NAS 的通讯成本。

3.4网络评价指标与损失函数

本文进行的两个实验均属于二分类任务。根据图片的真值和预测的分类结果，一般可以得到如表3-1所示的混淆矩阵。TN(true negative)为真反例，FP(false positive)为假正例，FN(false negative)为假反例，TP(true positive)为真正例。

表 3-1 混淆矩阵

二分类任务预测值

0 1

标签值 0 TN FP

1 FN TP

精确率和召回率是两个常用的二分类指标。精确率也叫查准率，即正确预测为正

例的样本数占总体预测为正例的比例，其定义如公式（3-3）所示：

召回率即正确预测为正例的样本数占全部实际为正例的样本数的比例，其定义如

公式（3-4）所示：

IOU（intersection over union）是图像分割领域常用的一个指标，其定义如公式（3- 5）所示：

I0U = TP + FP + FN

在医疗影像分割领域，一般都有类间不平衡数据现象，DICE系数（dice similarity coefficient）是一个能在不平衡数据集上较好进行考量的分割指标，其由预测分割区域和真值分割区域的重合程度定义，具体表达式如公式（3-6）所示：

DICE （Y, =2 V 2 •岭 V （3-6）

其中，n为数据集中图片数量，岭表示网络的预测图，Yb表示真值图片，b表示数据集大小。在二分类的语义分割任务中， DICE 系数越接近于 1，表明网络的分割精度越高。同时，DICE系数的定义也可以写为：

2TP 心 r、

DICE = （3-7）

TP + FN + TP + FP

DICE损失（dice loss）则用来衡量预测的分割结果和真值分割结果之间的差异, 其定义如下：

DICE Loss（Y, Y） = 1 — dice score（Y, Y）（3-8）

此外，二分类交叉熵（binary cross entropy）是在深度学习中常见的损失函数，其不仅仅可以用来衡量分类任务的损失函数，也经常被用于衡量分割任务的损失：

BCE Loss（Y, Y） = —_ V YblogYb + （1 — Yb） log（1 — Yb）（3-9）

n厶i

b=1

本文的在视网膜血管分割数据集和脑肿瘤分割数据集实验中，采用的评价指标为

IOU和DICE系数，采用的损失函数如公式（3-10）所示，其由BCE Loss和DICE Loss 相加得来，其目的在于既关注像素级别的损失，也关注宏观的DICE系数。

Loss（Y, Y）= BCE Loss（Y, Y）+ DICE Loss（Y, Y）（3-10）

3.5本章小结

本章首先介绍了本文设计的可搜索式卷积模块，接着介绍了可搜索式跳跃连接，

随后给出了整体的适用于联邦NAS的医学影像分割超网FSU-Net++的结构，最后在本

章末尾介绍了网络评价指标和损失函数。

第四章联邦多目标进化神经架构搜索

本文以第三章提出的FSU-Net++为超网，进一步提出了联邦多目标进化神经架构搜索算法Federated Searchable U-NAS,简称FSU-NAS。根据进化搜索的不同阶段的种群特点，本文将 Fed-NAS 的搜索过程划分成三个阶段，分别是预热阶段、评估阶段、预测阶段，如图 4-1 所示。在进化搜索初期，进化算法的初始种群分布随机性强，对这一阶段的种群个体进行评估将耗费比较多的资源而收效甚微，本文将这一阶段称为预热阶段。在预热阶段，Fed-NAS使用适用于联邦NAS的权重共享方法（Fed-WS方法）, 对继承超网权重的子网直接进行验证，获得其DICE值。经过预热阶段后，进化搜索进入到评估阶段。这一阶段大部分不具有进化前景的个体已被淘汰，本文将这一阶段的个体应用适用于联邦NAS的低保真评估方法（Fed-LFE方法）进行评估，并将结果收集到train_arch文档作为构建代理模型的初始数据集。尽管Fed-LFE方法已经缩短了子网的评估时长，但是子网的评估仍旧造成了比较大的通讯开销和计算开销。因此在评估一定代数后， Fed-NAS 进入到预测阶段，使用适用于联邦 NAS 的在线代理模型方法（Fed-OS 方法）来对个体进行性能预测。在预测阶段开始时， Fed-NAS 使用评估阶段累积的 train_arch 文档来构建代理模型。此后，在预测阶段的每一代中会根据采样点选择策略选择一定数量的个体应用Fed-LFE方法进行评估，用来在线更新代理模型。

图 4-1 Fed-NAS 的三阶段划分

本章将首先介绍 FSU-NAS 的进化算法相关设计，包括基因型、搜索空间、具体进化算法和交叉变异算子等，接着分点阐述应用于 FSU-NAS 三个阶段的 Fed-WS 方法、 Fed-LFE方法和Fed-OS方法。最后，介绍FSU-NAS算法的整体流程。

4.1基因型与进化算子设计

本文提岀的联邦多目标进化神经架构搜索算法是基于第三章提岀的FSU-Net++进行设计的。对于一个进化神经架构搜索算法，其搜索空间和编码设计是重中之重。本文以FSU-Net++作为超网，搜索由超网中的部分结构组合而成的子网，即超网可以被抽象成一个最大的有向无环图，子网是这个最大有向无环图的子图。本文的搜索空间总体上可以分成两类，一类是卷积模块的通道搜索，一类是跳跃连接的搜索。

在FSU-Net++超网中，共有15个可搜索式卷积模块，本文对其采用实数编码方式编码，占基因型的15位。U-Net类型的网络属于一种金字塔结构，在网络浅层，特征图的分辨率较大，蕴含的特征信息比较低级，浅层的卷积模块通道数不宜设置过大否则计算负担过重；而随着网络的加深，特征图分辨率减小，蕴含的特征信息更加高级，

这时可增加通道数以捕获更加信息。主流的金字塔结构网络采用了这种设计思想，本文设计的卷积模块的搜索空间也遵循这一原则，可搜索式卷积模块的可搜索通道数随着网络层级加深而倍增。如图4-2所示，X°,°属于L1层，其搜索通道数的可选取值为［16,20,24,28,32］，X力°属于L2层，其搜索通道数的可选取值范围为［32,40,48,56,64］。

图 4-3 可搜索式跳跃连接的编号命名规则示意图

对于一条跳跃连接的搜索，其可选范围为选中或者未选中，本文采用 0-1编码来表示。由于采用两个模块名来表示它们之间的一条跳跃连接的方式比较繁琐，本文采用如下命名规则来指代一条跳跃连接：模块xl，from和模块xl，t0之间的跳跃连接命名为 (Ifrom, Ito)。如图4-3所示，以模块X2,1和模块X2,2之间的跳跃连接为例，该跳跃连接的命名为(21， 22)。为了保持搜索到的神经网络的基本 U 型结构，本文不对黑色点线的跳跃连接进行搜索。整个FSU-Net++共有10条可搜索式跳跃连接，因此共有10位基因型用于可搜索式跳跃连接，它们的取值为 0 或者 1。

表4-1基于FSU-Net++的搜索空间

搜索模块搜索范围对应基因型位点

X0，0, x0，1, x0，2, X0，3, X0，4 16, 20, 24, 28, 32 0, 1, 2, 3, 4

X1,0, X1,1, X1,2, X13 32, 40, 48, 56, 64 5, 6, 7, 8

X2，0, X2,1, X2,2 64, 80, 96, 112, 128 9, 10, 11

X3，0, X3,1 128, 160, 192, 224, 256 12, 13

X4，0 256, 320, 384, 448, 512 14

(01,02) 0,1 15

(11,12), (01,03), (02,03) 0,1 16, 17, 18

(21,22), (11,13), (12,13),

(01,04), (02,04), (03,04) 0,1 19, 20, 21, 22, 23, 24

整个进化算法的基因型共有 25位，其中前15位用于可搜索式卷积模块的搜索，后 10 位用于可搜索式跳跃连接的搜索，搜索空间大小为515 210，总体的搜索空间如表 41 所示。这样的编码方式方便进化过程进行交叉、变异等操作，两个进化个体进行两点交叉，或者进行单点变异，均不会导致编码失败。

本文的联邦神经架构搜索主要针对两个目标，一个是网络参数量，一个是对给定数据集上神经网络的分割精度。对于网络参数量，追求越少越好，而对于网络的分割精度则是越高越好。然而这两个目标是相互冲突的，参数量越多的网络往往分割精度越高。因此，本文采用多目标进化算法作为架构搜索的算法策略来同时优化这两个目标，具体地，本文采用的多目标进化算法是NSGA-II。交叉重组操作采用两点交叉算子。因为个体编码长度固定，且按卷积通道搜索段、跳跃连接搜索段排列，因此可以很方便地进行基因的交叉重组。交叉重组过程如图 4-4所示，每个个体的编码长度均为 25，编码长度从 0 开始，图中采用省略号省略了部分编码。首先选择两个个体作为父代，交叉算子随机选择两个点位，如图中的 12号位置和 17号位置。接着在两个父代个体相同位置上将两点间的基因进行互换，得到新的两个子代个体。

0 1 2 3 ... 12 13 14 15 16 17 18 ... 24

图 4-5 变异算子示意图

本文的变异算子采用多项式变异算子。变异概率设置为基因型长度分之一，即 1/25。在平均期望下，一个个体将会有一个基因发生变异，变异操作如图4-5所示。在每一个基因位置上，进行一次随机数生成，当随机数小于1/25时对当前位置上的基因进行变异。如上文所述，不同层级的可搜索式卷积的搜索范围不同，因此不同位置的基因的取值不同，当该位置需要变异时，随机选择范围内的不同值替换到该基因上。比如当 2 号基因需要变异时，其变异时的取值范围为［20,24,28,32］。

4.2联邦神经架构搜索的子网加速评估方法设计

在联邦神经架构搜索中，子网昂贵评估问题变得更加严重。并且，不解决好子网昂贵评估问题，那么联邦神经架构搜索中的通讯成本问题也会加剧。然而，集中式神

经架构搜索中常用于缓解子网昂贵评估问题的三种加速评估方法却无法直接应用联邦

神经架构搜索中。针对以上问题，本文设计了适用于联邦 NAS 的三种加速评估方法，分别是适用于联邦 NAS 的权重共享方法（简称 Fed-WS 方法）、适用于联邦 NAS 的低保真评估方法（简称 Fed-LFE 方法）和适用于联邦 NAS 的在线代理模型预测方法（简称 Fed-OS 方法）。 Fed-WS 方法使得子网可以仅进行少量训练或者不经过训练便进行验证，加速了子网评估过程。 Fed-LFE 方法可以在应用 Fed-WS 方法的基础上，对子网进行快速训练。这样做的好处有二：一是相对真实地反应子网性能，在快速评估子网性能与真实反映子网性能之间取得一个平衡；二是能够减少联邦 NAS 的通讯量。 Fed-OS 方法可以与Fed-WS方法和Fed-LFE方法相结合，构建高质量的代理模型，直接对子网分割性能进行预测，缓解联邦 NAS 的子网昂贵评估问题，减少联邦 NAS 的通讯量。

4.2.1适用于联邦NAS的权重共享方法

直害户A验客户端二脚喜户端三話服务器 j基因型診模型倒数值

图4-6适用于联邦NAS的权重共享方法流程图

如图 4-6 所示， Fed-WS 方法的基本流程如下：（1）首先在联邦进化搜索开始前，将训练好的超网发送给所有客户端，在此后的进化搜索过程中不需要再发送超网到客户端；（2）服务器向客户端发送个体基因型；（ 3）客户端接受基因型，解码基因型组成子网架构，子网根据通道搜索方法从超网继承权重；（ 4）客户端在本地验证集上该子网的 DICE 值，向服务器发送 DICE 值和本地验证集大小；（5）服务器根据各个客户端的验证集大小比例计算得到该子网最终的DICE值。

通过这种方式，本文实现了在联邦神经架构搜索下的超网子网权重共享。从上述流程可以看出， Fed-WS 方法得以实现，除了超网训练，还得益于本文结合了进化算法。注意，服务器在联邦进化搜索过程开始前，只需要发送一次超网模型给客户端。而在随后的每一代进化过程中，服务器不再需要向客户端发送神经网络模型，而是发送一串代表基因型的编码串，从而在联邦学习训练过程中节约通信成本和计算成本。假设一个待评估的子网的参数量为5MB，在没有应用本文提出的Fed-WS方法的情况下，服务器需要向三个客户端发送三次神经网络模型，耗费的通讯成本为15MB。而在应用 Fed-WS 方法的情况下，服务器只需要向三个客户端发送实数编码串，一个编码串大小为100B。显然，Fed-WS方法能够节约大量的通信成本。

通过这种方式客户端上的本地神经网络模型可以直接获得超网权重，节省了联邦 NAS 的计算成本和通信成本。若是不对子网进行其他的增量联邦学习训练，那么之后验证子网性能时客户端便可以直接在本地进行验证并回传得到的性能指标比如 DICE 值，服务器根据参与客户端的验证集数量比例，可以计算出总的指标值。

4.2.2适用于联邦 NAS 的低保真评估方法

Fed-WS 方法固然节省了大量的联邦学习训练成本和通讯成本，然而这也带来了一定的副作用：直接共享了超网权重的子网的性能不一定能反映出其联邦训练收敛后的真实性能。一个直观的解决方法是继续对子网进行联邦学习训练。然而子网的联邦学

习训练在计算上和通讯上是极其昂贵的，若想得到完全准确的性能需要继续训练子网至收敛，这需要耗费许多轮次，在计算上和时间上是无法承受的。因此，本文对共享

36 了超网权重的子网进行一轮联邦学习增量训练，称之为适用于联邦 NAS 的低保真评估方法，简称Fed-LFE方法。

如图 4-7 所示， Fed-LFE 方法的基本流程如下：（1）服务器向客户端发送个体基因型 ;（2）客户端采样得到子网架构并共享对应的超网权重，在客户端进行本地训练；（3）客户端向服务器发送经过训练更新后的本地模型；（4）服务器聚合各个本地模型得到更新后的全局模型；（5）服务器向客户端发送更新后的全局模型；（6）客户端在本地计算得到DICE值，将DICE值和本地验证集数量发送给服务器；（7）服务器根据各个客户端的验证集数量比例计算得到该子网最终的DICE值。

Fed-LFE方法本质上是对共享了超网权重的子网进行增量训练，尽管其仍旧不是子网收敛后的真实性能，但是低保真评估后的子网能一定程度减少权重共享加速方法带来的副作用，相对真实地反应子网性能。

4.2.3适用于联邦 NAS 的在线代理模型加速方法

尽管使用进化算法作为搜索策略使得权重共享方法得以成功应用于联邦神经架构搜索，但是这也有其弊端，进化算法在每一代中产生种群，也即意味着每一代需要评估的个体数量众多。即便对所有个体应用Fed-WS方法或者Fed-LFE方法使得子网只需要进行验证或者低保真评估之后再验证，但是这也仍旧需要耗费大量资源，在时间和计算上仍旧非常昂贵，特别是在联邦学习的环境下。

针对子网昂贵优化问题，在集中式神经架构搜索中一种常见的解决思路是引入代理模型来对个体进行预测，其中在线代理模型方法有着较高的预测准确度。然而，集中式NAS的在线代理模型方法无法直接应用于联邦NAS。因此，本文设计了适用于联邦 NAS 的在线代理模型方法，简称为 Fed-OS 方法。

本文选择随机森林作为具体使用的代理模型，并将对代理模型的使用分为初始构建和在线更新。在联邦神经架构搜索中，本文使用的代理模型位于服务器，其输入为 25位的个体基因型，输出为该基因型代表的子网的DICE预测值。

初始构建：评估阶段中已评估的个体会被收集到 train_arch 文档中，被用于代理模型的初始构建。之所以选择进化算法的评估阶段的个体来构建代理模型，是因为进化算法在初始时期具有随机性，这个时期的种群尚不稳定，若直接使用此时期的个体进行低保真评估，则有可能评估的大量个体是不具有进化前景的，白白浪费了宝贵的资

源。因此，本文不使用预热阶段的个体，而是待到进化到评估阶段后再将该阶段的个体用于代理模型的构建，使得构建的代理模型更加健壮。

在线更新：对于进化算法的预测阶段的每一代种群，直接由代理模型预测得出它们的DICE值。随后，根据采样点选择策略从该代种群中选取5个个体使用Fed-LFE方法进行评估，评估后的 5 个个体加入 train_arch 中用于实时更新代理模型，该过程如图

4-8 所示。

• J,网 :

O聚簇 I

☆采样子网

parameters

图 4-9 采样点选择策略示意图

对于在线代理模型的更新而言，采样策略将影响代理模型的预测性能。对新数据的不当采样可能造成在线代理模型的退化。在设计采样点的选择策略时，需要兼顾采样点的收敛性和分布性。收敛性指的是采样点更靠近优化方向，即该点相对其他点更

38 具前景。分布性指的是尽量选取不一样的点保持种群的多样性，避免进化算法陷入局部最优。基于这两个原则，本文设计了基于快速非支配排序和 K-means 聚类的采样点选择策略，如图 4-9 所示。首先，对当前种群进行快速非支配排序；接着对第一层非支配层使用K-means聚类方法进行5类的聚类；最后，选取每一类簇中DICE值最高的个体。该策略的好处在于，选取快速非支配排序的第一层非支配层和聚类后的最高 DICE 值的个体保证了采样点的收敛性， K-means 聚类保证了采样点的分布性。

4.3算法总体设计

FSU-NAS的总体流程如图4-10所示。算法4-1给出了 FSU-NAS的伪代码流程。首先是超网的联邦训练阶段，在给定的目标医学影像数据集上使用FedAvg方法训练FSU- Net++超网并将训练好的超网发送到客户端。服务器执行进化算法NSGA-II，在每一代中通过交叉、变异、选择等操作生成新种群并将这些种群个体发送给客户端进行联邦学习下的个体评估获取其两个目标值。根据进化阶段的种群特点，本文将联邦进化搜索过程划分成三阶段：预热阶段、评估阶段、预测阶段。在预热阶段，采用Fed-WS方法来评估个体。在评估阶段， FSU-NAS 采用 Fed-LFE 方法评估个体，并将评估后的个体加入 train_arch 文档。在预测阶段， FSU-NAS 首先使用 train_arch 文档构建随机森林代理模型，并在随后的每一代用代理模型来预测个体的 DICE 值。并且， FSU-NAS 根据采样点策略从预测后的种群中选取5个个体并使用Fed-LFE方法进行评估，将已评估的个体加入train_arch文档来在线更新代理模型，以持续提高代理模型预测性能。

算法4-1： FSU-NAS算法框架

Input： Nmax:预设的最大进化代数；gen：当前进化代数；Supernet： FSU- Ne/++超网；trai.n_a.rch：低保真评估的子网文档；

Output： P*:最后一代非支配排序的第一层个体集合

1FedAvg训练Supernet，并将Supernet发送到客户端

2while gen < Nmax do

3通过 NSGA-II 多目标进化算法生成当前种群 P

4if gen < ws_threshold do

5for 当前种群的每一个个体 do

6将个体发送给客户端

7客户端解码得到子网并根据通道搜索方法继承超网权重

8客户端验证个体性能

9else if gen < lfe_threshold do

10for 当前种群的每一个个体 do

11将个体发送给客户端

12客户端解码得到子网并根据通道搜索方法继承超网权重

13对子网进行联邦增量训练再验证并加入文档train_arch

14else

15if gen == build_threshold do

16服务器使用train_arch构建代理模型

17服务器使用代理模型预测种群个体性能

18根据采样点选择策略采样 5 个个体发送给客户端

19客户端解码得到子网并根据通道搜索方法继承超网权重

20对5个子网进行联邦增量训练再验证并加入文档train_arch

21使用train_arch在线更新代理模型

22对P进行非支配排序，得到第一层非支配层P*

4.4本章小结

本章首先介绍 FSU-NAS 的进化算法相关设计，包括基因型、搜索空间、具体进化算法和交叉变异算子等。随后，介绍了应用于 FSU-NAS 中的适用于联邦 NAS 的三种子网加速评估方法，分别是Fed-WS方法、Fed-LFE方法和Fed-OS方法。最后结合流程图介绍了 FSU-NAS 算法的整体流程，并给出了伪代码。

第五章实验与分析

本章是本文研究的实验与分析部分。本章将首先介绍本文研究工作的基础实验设置，包括软件环境和硬件环境。随后将介绍在视网膜血管分割数据集和脑肿瘤分割数据集上所进行的实验，并根据相关实验结果进行分析讨论。

5.1实验设置

本文的工作实验在 Linux 系统上完成，在 4 张型号为 NVIDIA GeForce RTX 1080 Ti、显存为11Gb的显卡上完成，具体硬件配置如表格5-1所示。

表 5-1 硬件环境配置

CPU配置 CPU架构 x86_64

CPU型号 Intel(R) Xeon(R) CPU E5-2620 v4 @ 2.10GHz

物理CPU数量 2

逻辑CPU数量 32

CPU核数 8

GPU配置 GPU型号 NVIDIA GeForce RTX 1080 Ti

GPU数量 4

GPU显存 11 GB

存储配置内存大小 128GB

硬盘大小 19TB

软件方面，本文使用 Python 作为主要开发语言， Python 版本为 3.8.13，使用的深度学习框架为Pytorch，其版本为1.10.0，采用mpi4py库进行模拟联邦学习训练，其版本为 3.1.3，详细的软件环境如表 5-2 所示。

表 5-2 软件环境配置

Python 3.8.13

Pytorch 1.10.0

mpi4py 3.1.3

numpy 1.23.5

pandas 1.3.5

pymoo 0.3.0

wandb 0.12.17

scikit-learn 1.1.1

5.2视网膜血管分割数据集实验

5.2.1数据集介绍

视网膜血管分割有众多用途。在临床检查中，眼科医生注意到受试者的眼睛中出现视觉可见的变化, 比如患者可能表现出视网膜血管变窄。眼科医生随后利用这些发现来推断受试者的健康状况，例如该受试者可能患有视网膜中央动脉阻塞等。因此，在检查过程中有一个常见程序是视网膜成像。光学照相机用于通过眼睛的瞳孔观察眼球的后内表面，照片显示了视神经、中央凹、四周血管和视网膜层。后来，更多的研究表明视网膜血管的分割和视网膜血管形态特征的描述，比如长度、弯曲模式、宽度和角度等，能够被用于诊断、筛查、治疗各种心血管疾病和眼科疾病，例如糖尿病、高血压和动脉硬化等。此外，研究人员还发现视网膜血管树对于每个个体都是唯一的，可以用于生物特征识别。

STARE (STructured Analysis of the Retina)数据集是用来进行视网膜血管分割的彩色眼底图数据集，包括 20 幅眼底图像, 其中 10 张为病变图像,10 张为没有病变图像, 图像分辨率为605x700像素。

DRIVE (Digital Retinal Images for Vessel Extraction)数据集同样是用于研究如何分割视网膜血管区域。 DRIVE 的原始数据来自荷兰的糖尿病视网膜病变筛查计划。数据集中的图片都是JPEG格式彩色眼底图像，来源于25-90岁的糖尿病患者。这些初始数据不止40张，研究人员随机选择了其中40张构建了 DRIVE数据集，其中有33张图片无病变征兆，其他 7 张则有轻微病变征兆，每个图像分辨率为 584x565 像素。

CHASEDB1 同样是一个视网膜血管分割数据集，包含28 张大小为 999x960 像素的彩色视网膜图像，这些图像采集自 14 名学童的左眼和右眼。每个图像都由两位独立的人类专家注释。

本文使用的视网膜血管分割数据集是参照论文［60］的做法，由 STARE、 DRIVE、 CHASEDB1 三个数据集组成，在联邦学习中，由三个客户端分别持有这三个数据集，共同构成视网膜血管分割数据集。视网膜血管分割数据集示例图片如图 5-1 所示。第一排为病例图片，第二排为分割的真值图片，第一列为 STARE 数据集图片，第二列为 DRIVE数据集图片，第三列为CHASEDB1数据集图片。

图 5-1 视网膜血管分割数据集示例图片

5.2.2数据预处理

由于本文使用的视网膜血管分割数据集是由 STARE、DRIVE、CHASEDB1 三个视网膜分割数据集组成，其各自的数据分辨率不同，因此本文将其送入网络前进行数据预处理。首先将图片保持长宽比不变，统一缩放到长边为 564像素，随后对其进行数据增强工作。在数据增强部分，先是对数据进行随机缩放，缩放范围为［0.5x564, 1.2x564］。接着会对图像进行随机水平翻转和随机垂直翻转，两种随机翻转概率均设置为 0.5。随后对其进行随机裁剪，裁剪成 224x224 的大小，如果不足 224 大小则进行对齐填充，填充值为 225。最后对图片进行归一化处理，最终送入网络。

5.2.3实验参数设置

表5-3 视网膜血管分割实验参数设置

进化算法 NSGA-II

种群大小 30

进化代数 100

变异概率 1/25

交叉概率 0.9

ws threshold 20

lfe threshold 30

build threshold 31

超网联邦训练的通讯轮次 1000

超网联邦训练的客户端epoch数 5

网络训练的学习率 0.0003

视网膜血管分割数据集的实验参数如表 5-3 所示，其中，种群的变异概率为 1/25， 25 为编码长度，期望每个基因编码有一个基因位点发生变异。种群大小设定为 30，种群迭代次数设定为 100 代。对超网的联邦训练通讯轮次设置为 1000，参与超网联邦训练的客户端的本地训练 epoch 数设置为 5，所有客户端的网络训练的学习率设置为 0.0003。

5.2.4实验结果

如图5-2所示是本文在视网膜分割数据集上搜索出来的FSU-Net++子网的种群进化分布图，选取了进化过程中的第 1代、第 25 代、第 50代、第 75 代和第 100代。其中， x 轴表示网络的归一化参数量， y 轴表示网络模型的 DICE 指标值， DICE 指标值越高，表明网络的分割性能越好。可以看出，进化初始种群的分布呈现在右下区域并随机分布，在进化过程中，种群逐渐向左上角移动分布。在这个过程中，逐渐搜索到参数量更少、精度更好的子网。这显现了本文提出的 FSU-NAS 算法的有效性。

Gen 1

Gen 25

Gen 50

Gen 75

Gen 100

0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8

Model Parameters

图 5-2 视网膜血管分割数据集实验上的种群进化分布图

本文对搜索到的子网架构进一步进行分析比对，从进化结束后的种群中选取了三

个具有代表性的子网进行分析。这三个子网分别是 DICE 指标值最高的子网 FSU-Net++

(A)、参数量和DICE指标值相对折中的子网FSU-Net++ (B)以及参数量最少的子网 FSU-Net++ (C),即图5-2中用紫色虚线框出并标注的A、B、C三点。从图5-2可以看出，FSU-Net++(C)子网的参数量最少，但其分割性能也最差，而FSU-Net++ (B) 则是权衡了分割性能和网络参数量。如果想要继续提高网络分割性能，则需要增大网络参数量，正如FSU-Net++(A)一样，其精度最高但参数量也是三者中最多的。

本文对这三个子网进行联邦学习从头训练，训练的通讯轮次与FSU-Net++超网一致，为1000轮。同样地，其他训练超参数均与FSU-Net++超网一致。为了与其他U- Net类网络进行比对，本文还选取了 U-Net、U-Net++、Attention U-Net以及Swin U-Net 进行对比，这些网络的训练参数均与超网一致。 U-Net 常被用作 U-Net 类网络的基线对比网络。U-Net++则是因为其作为本文的超网的改进来源而进行选取。选取Attention U- Net 则是因其创新点主要在于注意力机制与卷积的结合。选取 Swin U-Net 是因为 Swin U-Net是使用视觉Transformer来完全替代卷积操作的纯自注意力型的U-Net类型网络。最终得到的实验结果如表 5-4 所示，灰色单元格为指标最优。可以看出，在联邦学习训练环境下，FSU-NAS (A)子网的分割性能最佳，其次是FSU-Net++超网，而U-Net++ 和Attention U-Net的分割性能相当接近，U-Net作为基线网络，其分割性能仅高于网络参数量最少的FSU-NAS (C)。值得注意的是，Swin U-Net的模型参数量高于其他模型一个量级，而其分割性能却是最低的，这与其他研究人员得到的结论相吻合，即视觉 Transformer 需要更大的数据集来发掘其潜力，否则其性能并不比卷积优秀。另外， FSU-Net++是基于U-Net++进行改进的，从表5-4可以看出，FSU-Net++的分割性能还要略优于 U-Net++。

表 5-4 视网膜血管分割数据集上联邦训练的网络对比结果

Model #Params(M) DICE IOU

U-Net 7.76 75.31 60.40

U-Net++ 9.16 76.07 61.38

Attention U-Net 8.73 76.02 61.32

Swin U-Net 41.38 69.91 53.74

FSU-Net++ 7.24 76.28 61.66

FSU-NAS(A) 5.35 77.58 63.37

FSU-NAS(B) 5.14 75.70 60.91

FSU-NAS(C) 5.02 73.75 58.42

为了进一步研究这些子网的搜索结果，本文根据三个子网的基因型绘制出了通道搜索对比图和网络架构图。图5-3是FSU-Net++ (A)与超网的通道搜索对比图。从图 5-3可以看出，FSU-Net++ (A)的不同深度均发生不同程度的剪枝。在网络浅层如L1 层，发生的通道剪枝较少，随着网络加深，被剪除的通道数越来越多，在L2层、L3层和 L4 层的卷积模块均发生了一半的通道数剪枝。这表明网络存在较多的通道数冗余。

图5-4 FSU-Net++ (B)与超网的通道搜索对比图

图5-4是FSU-Net++ (B)与超网的通道搜索对比图。从图5-4可以看出，FSU- Net++ (B)的整体剪枝情况与FSU-Net++ (A)相似，均在不同深度有不同程度的剪枝。可以观察到，在浅层发生的通道剪枝较少，并且同样集中于X{0，2}和X{0，3}这两个卷积模块。与FSU-Net++ (A)不同的是，FSU-Net++ (B)在X{0，3}模块发生了较多的剪枝，这使得其参数量降低，但也因此影响了网络分割性能。

x40

x31

x30

x22

x21

x20

x13

x12

x11

x10

x04

x03

x02

x01

x00

0 100 200 300 400 500 600

・FSU-Net++(C) ・FSU-Net++超网

图5-5 FSU-Net++ (C)与超网的通道搜索对比图

图5-5是FSU-Net++ (C)与超网的通道搜索对比图。从图中观察得知，FSU- Net++ (C)在网络浅层的卷积模块发生了较多的通道剪枝，如X{0，1}、X{0,2}、X{0,3}以及整个 L2 层的卷积模块。其在 L3 层和 L4 层的卷积模块亦发生了一半的通道数剪枝。这表明网络存在较多的通道数冗余。

从这三个网络的通道搜索对比图中可知，对网络浅层如 L1、 L2 层发生较少剪枝的网络的性能相对更好，这可能说明浅层的卷积模块学习到的特征信息对于整个网络的分割性能有较大影响，对其进行太激进的剪枝会较大程度地影响网络分割精度。这三个子网均在网络深层有比较多的通道剪枝，这可能说明深层次的卷积模块存在较多的冗余通道，对其进行剪枝不会对网络性能产生较大影响。

如图5-6所示，FSU-Net++ (A)保留了 4条跳跃连接，这4条跳跃连接均位于L1 层。FSU-Net++ (B)保留了 3条跳跃连接，这3条跳跃连接同样位于L1层。FSU- Net++ (C)只保留了 1条跳跃连接，这保留的唯一跳跃连接也位于L1层。这一现象再次表明，网络浅层的特征信息对于网络的分割性能至关重要。值得一提的是，由于 FSU-Net++ (C)只保留了一条跳跃连接，这导致了网络中心的卷积模块(即X0，2、 X0，3、X1,1、X1,2和X2,1)无法在反向传播过程中被训练，可以从网络结构中去除，减少了网络参数量，从而节省联邦神经架构搜索过程的通讯量。

图 5-6 FSU-Net (A)、FSU-Net (B)和 FSU-Net (C)的网络架构图

5.2.5算法方案的消融实验

本文在第四章介绍了 FSU-NAS 的细节，其主要分为三阶段，每一阶段应用不同的加速评估方法。为了说明 FSU-NAS 的三阶段算法设计的有效性，本文还设计了 FSU- NAS-1、FSU-NAS-2、FSU-NAS-3、FSU-NAS-4 四种不同方案来进行对比验证。FSU- NAS-1 在整个进化过程中只应用 Fed-WS 方法，其详细过程如 4.2.1 节所述。 FSU-NAS- 2 在整个进化过程中应用了 Fed-LFE 方法，其详细过程如 4.2.2 节所述。 FSU-NAS-3 可分为两个阶段：在前20代，采用Fed-LFE方法；在随后的第21代至第100代，采用基于 Fed-OS 方法，其详细过程如 4.2.3 节所述。 FSU-NAS-4 同样分为两个阶段：在前 20 代，采用 Fed-WS 方法；在随后的第 21 代至第 100 代，采用 Fed-OS 方法。所有方案的实验参数均与5.2.3节所述一致，四种方案使用的FSU-Net++超网与FSU-NAS相同，为同一个超网。

0.0 0.2 0.4 0.6 0.8

Model Parameters

图 5-7 FSU-NAS-1 在视网膜血管分割数据集实验上的种群进化分布图

如图5-7可以看出，FSU-NAS-1相比FSU-NAS （图5-2），其进化末期整个种群的分布仍比较散乱，子网的 DICE 值分布范围从 0 到 43皆有，而从图 5-2 可以看出本文提出的 FSU-NAS 整体靠近坐标左上角，有较好的收敛性和分布性。

观察图5-8看出，FSU-NAS-2在进化初期种群也是随机分布在右下角，随后逐渐搜索到更高精度更少参数的子网，其总体趋势呈偏左上角分布。相比 FSU-NAS-1，FSU- NAS-2 搜索到了 DICE 值更高的子网，其子网的 DICE 值分布范围从 23 到 45，其分布性甚至略优于 FSU-NAS。

Gen 1

Gen 25

Gen 50

Gen 75

Gen 100

0.0 0.2 0.4 0.6 0.8

Model Parameters

图 5-9 FSU-NAS-3 在视网膜血管分割数据集实验上的种群进化分布图

如图 5-9 所示， FSU-NAS-3 最终进化得到的帕累托前沿相比 FSU-NAS 更加陡峭，其 DICE 值也分布在更小的数值范围，其分布范围从 16 到 42。造成这个现象的一个可能原因是用于初始构建代理模型的个体来源于进化过程的前 20 代。在进化算法的初期，种群中存在较多不具有进化前途的个体，使用这些个体来构建代理模型将使得构建的代理模型的质量较差。另一方面，对前 20 代进行低保真评估也使得 FSU-NAS-3 耗费了更多的资源在训练这些没有前途的个体上。

Gen 1

Gen 25

Gen 50

Gen 75

Gen 100

0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8

Model Parameters

图 5-10 FSU-NAS-4 在视网膜血管分割数据集实验上的种群进化分布图

如图5-10所示，FSU-NAS-4的整体进化效果比较差。第50代的种群相比第25代甚至出现了退化现象，其种群分布出现在左下角，反而进化出了 DICE 值更低的个体。到了第 75 代，种群整体朝左上角进化。然而到进化搜索结束的第 100 代时，其前沿相比第 75 代反而出现退化，特别是其收敛性比较差。造成这种现象的可能原因仍是初始

构建的代理模型的质量较差，用于构建代理模型的初始数据来源于进化算法前 20 代的

个体，这些个体在共享了超网的权重后即进行验证。

表5-5 不同方案的耗时、通讯量和代理模型性能指标值对比

Method 耗时 (分钟) 均方根

误差斯皮尔曼系数肯德尔系数通讯量

(M)

FSU-NAS 124 1.5868 0.8660 0.7746 10162.1

FSU-NAS-1 127 - - - 22.7

FSU-NAS-2 410 - - - 46822.6

FSU-NAS-3 156 1.4580 0.7906 0.6708 15622.0

FSU-NAS-4 77 6.0934 0.6721 0.5379 6262.0

此外，本文还对这些方案统计了搜索耗时和联邦 NAS 过程中产生的通讯量，并计算了进化过程中代理模型的相关性能指标。通讯量的计算结果考虑了每一轮通讯过程产生的超网、基因型、回传的分割指标值、模型参数、客户端数量。其中超网在联邦 NAS开始时下发一次，客户端数量为3,并设联邦NAS中模型平均参数量为5.2M。本文使用了均方根误差、斯皮尔曼系数和肯德尔系数来衡量代理模型的预测性能，其计算方式为使用每一代低保真评估的个体 DICE 值作为近似性能与代理模型的预测值进行三个指标的计算。最终结果如表 5-5 所示，灰色单元格为该项指标值最优的。

可以看出，本文提出的 FSU-NAS 的代理模型质量是最高的，其斯皮尔曼系数和肯德尔系数均是最优的，仅均方根误差略低于FSU-NAS-3的。FSU-NAS-4耗时77分钟，是最短的，然而其均方根误差相比 FSU-NAS 和 FSU-NAS-3 要大很多。同样， FSU- NAS-4 的斯皮尔曼系数和肯德尔系数均是最差的。结合图 5-9以及上文的分析，可以看出其代理模型质量相比 FSU-NAS 和 FSU-NAS-3 都要差很多。 FSU-NAS-1 的耗时与 FSU-NAS相当接近，从理论分析FSU-NAS-1的耗时应该少于FSU-NAS。出现这种情况是因为当前实验使用的视网膜数据集的样本量较少，仅应用权重共享加速方法的 FSU-NAS-1与三阶段的FSU-NAS拉不开差距。在使用数据量大的数据集时，对网络的低保真评估是非常耗时的，这时便能明显看出两种方案的耗时差距，这在 5.3 节脑肿瘤分割数据集实验上能明显看出。 FSU-NAS-2 耗时 410 分钟，是所有方案中最多的，因为其对所有个体均进行了低保真评估。

在通讯量方面， FSU-NAS-1 所产生的通讯量是最少的，其整个联邦 NAS 过程中所产生的通讯量主要来源于初始搜索时下发的一次超网参数量。 FSU-NAS-2 所产生的通讯量是最多的，高达46822.6M，远超其他方案，因此FSU-NAS-2对所有子网均进行低

保真评估，因此每一个子网均需要进行联邦训练，需要在三个客户端和服务器之间上传和下发一次子网模型，这个过程会产生大量的通讯成本。 FSU-NAS、 FSU-NAS-3 和 FSU-NAS-4 三者的通讯量分别是 10162.1M、 15622.0M 和 6262.0M。 FSU-NAS 的通讯量比 FSU-NAS-3 低 5459.9M，比 FSU-NAS-4 高 3900.1M。可以认为，FSU-NAS 在 FSU- NAS-3 和 FSU-NAS-4 两者间取得一个比较折中的结果，并获得了更好的搜索效果。

本文还对每一个方案进化得到的种群挑选出 3 个个体，挑选方法与 5.2.4 节描述的一样，分别命名为 FSU-NAS-X (A)、FSU-NAS-X (B)和 FSU-NAS-X (C),其中 X 是方案编号，如FSU-NAS-1。本文对这些个体进行联邦学习从头训练，其所有训练参数均与训练超网保持一致，最终得到的结果如表 5-6 所示。本文提出的 FSU-NAS 搜索得到的子网FSU-NAS (A)的分割性能最高，FSU-NAS-3搜索到的子网FSU-NAS-3 (C)是参数量最少的。FSU-NAS (C)的参数量也非常接近FSU-NAS-3 (C),位居第二。观察FSU-NAS的三个子网训练完成后的分割性能排序可知，FSU-NAS (A)优于FSU-NAS (B), FSU-NAS (B)优于FSU-NAS (C)。而其他的方案搜索出来的子网并非如此，比如FSU-NAS-1这一组，其三个子网的性能排序是FSU-NAS-1 (B)优于 FSU-NAS-1 (C), FSU-NAS-1 (C)优于FSU-NAS-1 (A)。这就说明其进化过程中评估的子网性能无法真实反映该子网的真正性能。类似的现象也出现在其他的方案组中。

表5-6 各个子网在视网膜血管分割数据集上训练的对比结果

Model # Params(M) DICE IOU

FSU-NAS(A) 5.35 77.58 63.37

FSU-NAS(B) 5.14 75.70 60.91

FSU-NAS(C) 5.02 73.75 58.42

FSU-NAS-1(A) 6.07 73.75 58.42

FSU-NAS-1(B) 5.14 76.66 62.15

FSU-NAS-1(C) 5.02 75.32 60.41

FSU-NAS-2(A) 5.78 73.55 58.17

FSU-NAS-2(B) 5.48 77.23 62.91

FSU-NAS-2(C) 5.11 76.08 61.39

FSU-NAS-3(A) 6.12 75.45 60.58

FSU-NAS-3(B) 5.14 75.22 60.28

FSU-NAS-3(C) 4.86 75.21 60.27

FSU-NAS-4(A) 5.33 74.43 59.27

FSU-NAS-4(B) 5.25 74.31 59.12

FSU-NAS-4(C) 5.14 75.71 60.91

5.2.6代理模型的消融实验

本文还对代理模型的预测性能进行了对比研究，选取了另外三种代理模型，分别是采用多层感知机(MLP)、径向基函数(RBF)和分类与回归树(CART)进行实现的代理模型，替换 FSU-NAS 中的随机森林代理模型。为方便区分和缩写，下文将应用了多层感知机代理模型的FSU-NAS算法简称为FSU-NAS (MLP)，应用了径向基函数代理模型的FSU-NAS算法简称为FSU-NAS (RBF)，应用了分类与回归树代理模型的 FSU-NAS算法简称为FSU-NAS (CART)。为明晰使用代理模型的不同，本小节将本文提出的FSU-NAS在这里称为FSU-NAS (RF)。在与5.2.4实验同样的设置下，得到其代理模型质量的指标如表 5-7所示。

表 5-7 不同种类的代理模型性能指标值对比

Method 均方根误差斯皮尔曼系数肯德尔系数

FSU-NAS(RF) 1.5868 0.8660 0.7746

FSU-NAS(MLP) 9.4319 0.6669 0.5270

FSU-NAS(RBF) 13.2420 -0.8721 -0.7379

FSU-NAS(CART) 1.6079 0.8208 0.7379

可以看出，FSU-NAS (RF)是均方根误差、斯皮尔曼系数和肯德尔系数三项评测指标上均排第一，这也反映了其使用的随机森林代理模型的预测性能是最优的。 FSU- NAS (RBF)使用的径向基函数实现的代理模型的各项指标值均是最低的。FSU-NAS (RBF)的均方根误差与FSU-NAS (RF)的相差一个量级，并且它的斯皮尔曼系数和肯德尔系数均出现了负相关的情况。FSU-NAS (MLP)的均方根误差同样比FSU-NAS (RF) 相差较多，其斯皮尔曼系数和肯德尔系数均排第三名，仅优于 FSU-NAS (RBF)。FSU-NAS (CART)的各项指标均与FSU-NAS (RF)接近，其均方根误差比 FSU-NAS (RF)的仅差0.0211，其皮尔曼系数和肯德尔系数分别差FSU-NAS (RF) 0.0452 和 0.0367。

5.3脑肿瘤分割数据集实验

5.3.1数据集介绍

BraTS 2018数据集来源于2018年举办的多模态脑肿瘤分割竞赛（The Multimodal Brain Tumor Segmentation Challenge）o BraTS 2018 包括 285 个病例，每个病例都有 4 个模态的3D核磁共振成像图像，分别是T1、T1c、T2和FLAIR。给出的图像标签包括3 个肿瘤分区：增强肿瘤、瘤周水肿、坏死和非增强肿瘤核心。将这些区域组合成3个嵌套的子区域，即整个肿瘤（WT）、肿瘤核心（TC）和增强肿瘤（ET）。每个病例的每个模态图像大小是240x240x155。本文参照论文［61 ］的做法，按照原始数据来源的不同将 BraTS 2018 数据集分成三个子数据集，在联邦学习中，由三个客户端分别持有这三个子数据集，共同构成脑肿瘤分割数据集。脑肿瘤分割数据集示例图片如图 5-11 所示。第一排为病例图片，第二排为分割的真值图片。为方便对比，第二排的照片叠加了对应病例照片，不同颜色为不同的肿瘤分区。

5.3.2数据预处理

由于本文提出的网络的输入是二维的，因此本文对数据进行了切片处理。此外，由于每个病例具有4个模态的图像，本文融合每个病例的四个模态，制作成npy格式。原始的 BraTS 2018 给出的标签具有四类（包括背景），本文主要进行二元分割，因此本文将除背景外的标签均设置为同一类，代表整个肿瘤区域。本文还对每个病例仅保留 50 张脑部中心位置的带有病灶的切片。随后首先将切片保持长宽比不变，统一缩放到

长边为 224像素，随后对其进行数据增强工作。在数据增强部分，先是对数据进行随机缩放，缩放范围为［0.5x224, 1.2x224］。接着会对图像进行随机水平翻转和随机垂直翻转，两种随机翻转概率均设置为0.5。随后对其进行随机裁剪，裁剪成160x160的大小, 如果不足 160 大小则进行对齐填充，填充值为 0。最后对图片进行归一化处理，最终送入网络。

5.3.3实验参数设置

脑肿瘤分割数据集的实验参数如表5-8所示，其中，种群的变异概率为 1/25， 25为编码长度，期望每个基因编码有一个基因位点发生变异。种群大小设定为 30，种群迭代次数设定为 50 代。对超网的联邦训练通讯轮次设置为 200，参与超网联邦训练的客户端的本地训练epoch数设置为3,所有客户端的网络训练的学习率设置为0.0003。

表 5-8 脑肿瘤分割实验参数设置

进化算法 NSGA-II

种群大小 30

进化代数 50

变异概率 1/25

交叉概率 0.9

ws threshold 10

lfe threshold 15

build threshold 16

超网联邦训练的通讯轮次 200

超网联邦训练的客户端epoch数 3

网络训练的学习率 0.0003

5.3.4实验结果

如图5-12所示是本文在脑肿瘤分割数据集上搜索出来的FSU-Net++子网的种群进化分布图，选取了进化过程中的第1代、第15代、30代和第50代。其中，x轴表示网络的归一化参数量，y轴表示网络模型的DICE指标值。从图5-12可以看出，进化初始种群的分布仍随机分布在右下区域，初始种群的个体的参数量均较高， DICE 值较低。随着进化代数的加深，子网的参数量呈现减少的趋势，而子网的分割精度呈现上升的趋势。不过与视网膜血管分割实验不同，图 5-12 的子网之间的分割精度没有太大差距，其 DICE 值分布范围在 80 到 90 之间。可以看出即使参数量居中的子网也有不错的分割

精度，这体现了架构搜索算法对网络的冗余路径具有一定剪枝能力，起到了压缩网络的作用。

•Gen 1

■ Gen 15

▼ Gen 30

★Gen 50

Bi i

:★: .

■—i ★

★

图 5-12 脑肿瘤分割数据集实验上的种群进化分布图

从进化结束后的种群中选取了三个具有代表性的子网进行分析。这三个子网分别是DICE指标值最高的子网FSU-Net++ (A)、参数量和DICE指标值相对折中的子网 FSU-Net++ (B)以及参数量最少的子网FSU-Net++ (C),即图5-12中用紫色虚线框出并标注的 A、B、C 三点。

对这三个子网进行联邦学习从头训练，训练的通讯轮次与FSU-Net++超网一致，为200轮。同样地，其他训练超参数均与FSU-Net++超网一致。为了与其他U-Net类网络进行比对，本文还选取了 U-Net、U-Net++、Attention U-Net 以及 Swin U-Net 进行对比，这些网络的训练参数均与超网一致。最后得到的实验结果如表 5-9 所示，灰色单元格为指标最优的。可以看出，在联邦学习训练环境下， FSU-NAS 搜索算法得到的 FSU- NAS (A)子网的分割性能依旧是最佳。其次是Attention U-Net, FSU-Net++超网的性能和Attention U-Net非常接近。U-Net++的分割性能也接近Attention U-Net,其DICE 值仅低 0.1。 Swin U-Net 在本数据集的表现与视网膜血管分割数据集实验相似，其分割性能是所有模型中最低的，不过由于本数据集数据量较大，其与其他模型的性能差距没有十分明显，这再次验证了视觉 Transformer 的潜力需要大数据集来发掘的结论。不同于视网膜血管分割数据集实验，在本数据集的实验上 U-Net 的 DICE 值 89.73 低于 FSU-NAS (C)的90.89。值得一提的是，FSU-NAS (B)在本数据集实验上，其分割性能仅低于 FSU-NAS (A),高于 U-Net、U-Net++、Attention U-Net、Swin U-Net 和 FSU-Net++超网。

表 5-9 脑肿瘤分割数据集上联邦训练的网络对比结果

Model # Params(M) DICE IOU

U-Net 7.76 89.73 81.37

U-Net++ 9.16 90.98 83.45

Attention U-Net 8.73 91.08 83.62

Swin U-Net 41.38 89.18 80.47

FSU-Net++ 7.24 91.07 83.60

FSU-NAS(A) 6.39 91.67 84.62

FSU-NAS(B) 5.63 91.12 83.69

FSU-NAS(C) 5.12 90.89 83.30

图5-13 FSU-Net++ (A)与超网的通道搜索对比图

根据三个子网的基因型绘制出通道搜索对比图。图5-13是FSU-Net++ (A)与超网的通道搜索对比图，可以看出，在网络浅层如L1层，FSU-Net++ (A)发生的通道剪枝同样较少。不过与视网膜血管分割数据集实验不同，这次FSU-Net++ (A)在L3层保留了所有通道，并没有发生剪枝。此外，在L2和L3层也只发生了少量的通道剪枝。 L5 层的卷积模块发生了一半的通道数剪枝。

■ FSU-Net++(B) ・FSU-Net++超网

图5-14 FSU-Net卄(B)与超网的通道搜索对比图

图5-14是FSU-Net++ (B)与超网的通道搜索对比图。从图5-14可以看出，FSU- Net++ (B)在不同深度均有不同程度的剪枝。FSU-Net++ (B)同样是在浅层发生的通道剪枝较少，并且同样集中于X{0，3}和X{0，4}这两个卷积模块。与FSU-Net++ (A)不同的是，FSU-Net++ (B)在L3、L4和L5层均发生了较多的剪枝，除了 X{2，0}外其他卷积模块只保留了一半的通道数，这减少了网络参数量但也影响了网络分割性能。

■ FSU-Net++(C) ・FSU-Net++超网

图5-15 FSU-Net卄(C)与超网的通道搜索对比图

图5-15是FSU-Net++ (C)与超网的通道搜索对比图。从图中观察得知，FSU- Net++ (C)的通道搜索情况与FSU-Net++ (B)非常相似，但是在网络浅层的卷积模块发生了较多的通道剪枝，如 X{0,1}、 X{0,2}、 X{0,3}。

结合视网膜血管分割数据集实验，可以总结出，对网络浅层进行较多的剪枝会较

大程度地影响网络分割性能，推测可能原因是网络浅层的卷积模块可以提取到粒度更

细的特征，其可能保留了更多图像的细节如特征边缘信息，这对于图像的精细化分割具有重要作用。此外，还可以看出，在网络深层经常发生较多的通道剪枝，两个实验均发生这种现象，再次说明网络深层的卷积模块存在较多的冗余通道，可以对其进行适当剪枝而不过分损害网络性能。

5.3.5算法方案的消融实验

与 5.2.5 节相似，为了说明本文提出的搜索算法的有效性，本文同样在脑肿瘤分割数据集上设计了 FSU-NAS-1、FSU-NAS-2、FSU-NAS-3、FSU-NAS-4 四种不同方案来进行对比验证。FSU-NAS-1和FSU-NAS-2均与5.2.5节描述一致。由于本数据集实验的进化算法代数设置为 50 代，因此 FSU-NAS-3 相应有所变化：在前 10 代，采用 Fed- LFE 方法；在随后的第 11 代至第 50 代，采用 Fed-OS 方法。 FSU-NAS-4 同样分为两阶段：在前 10 代，采用 Fed-WS 方法；在随后的第 11 代至第 50 代，采用 Fed-OS 方法。

所有方案的实验参数均与5.3.3节所述一致，四种方案使用的FSU-Net++超网与FSU- NAS 相同，均为同一个超网。

图 5-16 FSU-NAS-1 在视网膜血管分割数据集实验上的种群进化分布图

如图 5-16 所示，与视网膜血管分割数据集实验类似， FSU-NAS-1 在进化末期整个种群的分布比较散乱，并且第 50 代的整体种群相比第 30 代偏向了 DICE 值更低的区域。其子网的 DICE 值分布范围从 0 到 70 皆有。

从图5-17可以看出，FSU-NAS-2在进化初期种群也是随机分布在右下角，随后逐渐搜索到更高精度更少参数的子网，其总体趋势呈偏左上角分布。FSU-NAS-2的子网的分布性和收敛性均较佳，其子网的 DICE 值范围在［80,90］之间。对比图 5-17 和图 5- 12， FSU-NAS-2 和 FSU-NAS 的进化效果相似。与视网膜血管分割数据集实验不同的是，本次 FSU-NAS-2 并未搜索到比 FSU-NAS 的分割性能更高的子网。

Gen 1

Gen 15

Gen 30

Gen 50

0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8

Model Parameters

图 5-18 FSU-NAS-3 在脑肿瘤分割数据集实验上的种群进化分布图

如图 5-18 所示，与视网膜血管分割数据集实验不同，本次 FSU-NAS-3 没有出现进化到的帕累托前沿十分陡峭的情况，其 DICE 值分布在更小的数值范围［80,87］。但是观察到第 50 代相比第 30代反而出现了前沿退化的情况，其前沿出现断裂、分布性不佳的情况。推测其可能原因与视网膜血管分割数据集实验类似，将进化过程的前 10 代个体用于初始构建代理模型容易造成构建的代理模型质量较差。并且，其前期的个体的 DICE 值较低也限制了代理模型的预测范围，可以看出最后一代的范围落在［80,85］之间。

同样地，对前 10 代的个体进行低保真评估在本次实验上需要耗费大量时间，而其最终效果并不理想。

•Gen 1

■ Gen 15

▼ Gen 30

★Gen 50

图 5-19 FSU-NAS-4 在脑肿瘤分割数据集实验上的种群进化分布图

如图5-19所示，FSU-NAS-4的前沿出现了比较严重的聚集现象，分布性较差。其大部分个体落在了参数量在［0,0.2］之间且DICE值在［70,80］之间的区域。对比FSU-NAS- 3 并结合视网膜血管分割数据集实验的结果，进一步验证了 FSU-NAS-4 的代理模型较差的结论。其主要原因是用于构建代理模型的初始数据来源于进化算法前 10 代的个体，而这些个体只共享了超网的权重而没有进行低保真评估。

表 5-10 耗时对比和代理模型性能指标值对比

Method 耗时（分钟）均方根误差斯皮尔曼系数肯德尔系数

FSU-NAS 3211.7 2.7432 0.9487 0.9326

FSU-NAS-1 837.9 - - -

FSU-NAS-2 14277.0 - - -

FSU-NAS-3 5196.3 2.1545 0.9247 0.9163

FSU-NAS-4 2156.3 4.0451 0.8944 0.8367

同样，本文还对这些方案进行了搜索耗时统计，并计算了进化过程中代理模型的相关性能指标，其结果如表 5-10 所示，灰色单元格为该项指标值最优的。由于在视网膜血管分割数据集实验上已经对通讯量进行过统计，且两个实验的模型参数量大小是一致的，因此在本数据集实验上不再进行赘述。

FSU-NAS 在斯皮尔曼系数和肯德尔系数这两项排名第一，其 2.7432 的均方根误差高于FSU-NAS-3的2.1545。FSU-NAS-3的FSU-NAS-3的均方根误差最小，位列第一，其斯皮尔曼系数和肯德尔系数均排第二。 FSU-NAS-4 的均方根误差相比 FSU-NAS 和

61 FSU-NAS-3差距较大。对比FSU-NAS，其斯皮尔曼系数和肯德尔系数差距分别是 0.0543 和 0.1259。

在耗时方面， FSU-NAS-1 的耗时是最低的，仅 837.9 分钟，且比其他方案小一个量级，然而从上述种群进化分布图可知其进化效果不佳。由于本实验的数据集样本数较多，因此可以明显看出FSU-NAS和FSU-NAS-1耗时的不同。FSU-NAS-2耗时14277 分钟，将近10天，是其他方案的数倍，甚至比FSU-NAS-1高两个量级。FSU-NAS的耗时比 FSU-NAS-4 的耗时多 1000 分钟左右，比 FSU-NAS-3 少 2000 左右，其取得一个比较折中的结果，而保证了代理模型的质量和较好的进化搜索效果。

表 5-11 各个子网在脑肿瘤分割数据集上训练的对比结果

Model #Params(M) DICE IOU

FSU-NAS(A) 6.39 91.67 84.62

FSU-NAS(B) 5.63 91.12 83.69

FSU-NAS(C) 5.12 90.89 83.30

FSU-NAS-1(A) 6.68 91.05 83.30

FSU-NAS-1(B) 6.26 89.95 83.57

FSU-NAS-1(C) 5.84 91.01 81.74

FSU-NAS-2(A) 6.29 90.86 83.50

FSU-NAS-2(B) 6.02 90.62 83.25

FSU-NAS-2(C) 5.88 90.93 82.85

FSU-NAS-3(A) 6.18 90.54 83.37

FSU-NAS-3(B) 5.71 90.78 82.72

FSU-NAS-3(C) 5.54 90.93 83.12

FSU-NAS-4(A) 5.96 91.00 83.37

FSU-NAS-4(B) 5.73 90.41 83.49

FSU-NAS-4(C) 5.34 90.95 82.50

同样地，从每一个方案进化得到的种群挑选出 3 个个体，挑选方法与 5.2.4 节描述的一样，分别命名为 FSU-NAS-X (A)、FSU-NAS-X (B)和 FSU-NAS-X (C),其中 X是方案编号，如FSU-NAS-1。本文对这些个体进行联邦学习从头训练，其所有训练参数均与训练超网保持一致。最终得到的结果如表5-11所示。FSU-NAS (A)的分割性能最高，其次是FSU-NAS (B)。分割性能最低的是FSU-NAS-1 (B)。观察FSU- NAS 这一组，可以看出 FSU-NAS (A)优于FSU-NAS (B), FSU-NAS (B)优于FSU- NAS (C)，其结果符合进化搜索过程对子网的评估排序。相比之下其他的方案搜索出来的子网的排序映射不够准确，以FSU-NAS-4这一组为例，FSU-NAS-4 (A)优于 FSU-NAS-1 (C), FSU-NAS-4 (C)优于FSU-NAS-4 (B)。这样的现象与视网膜血管

分割数据集实验一致，进一步验证了这些方案的评估过程无法真实反映子网之间的排序。另外，相较视网膜血管分割数据集实验，在本数据集上搜索到的网络要更大(同组对比)，这可能是脑肿瘤分割数据集的分割难度更高，网络需要更多的参数。

5.3.6代理模型的消融实验

本实验同样对代理模型的预测性能进行对比研究，选取另外三种代理模型，分别是采用多层感知机(MLP)、径向基函数(RBF)和分类与回归树(CART)进行实现的代理模型，替换 FSU-NAS 中的随机森林代理模型。为方便区分和缩写，下文将应用了多层感知机代理模型的FSU-NAS算法简称为FSU-NAS (MLP),应用了径向基函数代理模型的FSU-NAS算法简称为FSU-NAS (RBF),应用了分类与回归树代理模型的 FSU-NAS算法简称为FSU-NAS (CART)。为明晰使用代理模型的不同，本小节将本文提出的FSU-NAS在这里称为FSU-NAS (RF)。在与5.3.4实验同样的设置下，得到其代理模型质量的指标如表 5-12所示。

表 5-12 不同种类的代理模型性能指标值对比

Method 均方根误差斯皮尔曼系数肯德尔系数

FSU-NAS(RF) 2.7432 0.9487 0.8944

FSU-NAS(MLP) 14.6079 0.8660 0.7745

FSU-NAS(RBF) 1.4500 0.9746 0.9486

FSU-NAS(CART) 31.7131 0.7826 0.5976

与视网膜血管分割数据集实验不同，本次实验中FSU-NAS (RBF)的均方根误差、斯皮尔曼系数和肯德尔系数均排第一，而FSU-NAS (RF)在这三项指标上略低于 FSU-NAS (RBF),位列第二。FSU-NAS (RF)的均方根误差仅低于 FSU-NAS (RBF) 1.2932，斯皮尔曼系数与 FSU-NAS(RBF) 非常接近，肯德尔系数低于 FSU-NAS (RBF) 0.0542。FSU-NAS (CART)的均方根误差在本次实验中达到了 31.7131,比其他代理模型大一个数量级，是该项指标最大的。同时，FSU-NAS (CART)的斯皮尔曼系数和肯德尔系数均是排名最低的，并且与FSU-NAS (RF)和FSU-NAS (RBF)都有较大差距。FSU-NAS (MLP)的均方根误差、斯皮尔曼系数和肯德尔系数均排第三，其均方根误差与FSU-NAS (CART)达到同一数量级，与第一名和第二名有较大差距。

综合本实验结果和视网膜血管分割数据集实验的结果进行分析，使用随机森林进行实现的代理模型的稳定性更高，FSU-NAS (RF)在两个实验上均取得了较好的成绩 (第一和第二)。而使用径向基函数实现的代理模型和使用分类与回归树实现的代理模

型的稳定性很差，两者在视网膜血管分割数据集实验上的结果和在本实验上的结果均有较大差距。多层感知机实现的代理模型在这两个数据集上均表现较差。多层感知机实现的代理模型从本质上来说是使用一个小的神经网络去预测一个使用基因型表示的神经网络结构的性能。而对于神经网络，绕不开的一个话题是其超参数的调整。对于本实验，其表现不好的原因或许是其没有好的超参数设置或者神经元数量设置等。然而，对于针对分割的联邦 NAS 任务来说，耗费大量精力去调整一个代理模型的参数不是一个明智的选择。

5.4 本章小结

本章首先给出了实验设置，包括软件环境和硬件环境。随后介绍了两个分割数据集上的实验，分别是视网膜血管分割数据集实验和脑肿瘤分割数据集实验。在这两个数据集实验中，介绍了数据集相关内容、数据预处理和实验参数设置，并对结果进行了具体分析，并通过算法方案和代理模型的消融实验验证算法的有效性。

第六章总结与展望

6.1工作总结

深度神经网络常被用于医学影像分析过程，以辅助医生进行诊断，减小误诊概率。然而现实中由于政策法规和病人隐私问题，多个医学机构之间无法共享数据用以训练神经网络。联邦学习作为一种新兴的机器学习训练范式，可用于解决医疗机构之间的数据孤岛问题。联邦学习通常使用定制化的神经网络解决某一具体任务，而当任务变化时，网络也需要重新定制。联邦神经架构搜索可在联邦学习设置下自动搜索网络。然而联邦学习对通信提出了很高的要求，因为大量的模型参数必须在服务器和客户端之间传输。当要在联邦学习中进行神经架构搜索时，这个问题会变得更加严重。集中式医学影像上手工设计的分割神经网络直接应用于联邦神经架构搜索会带来较大的通信压力。此外，集中式 NAS 中用于缓解子网昂贵评估问题的几种常用加速评估方法无法直接应用于联邦神经架构搜索。为解决上述问题，本文提出了联邦多目标进化神经架构搜索算法FSU-NAS,实现联邦学习设置下的低参数量和高分割精度的子网架构自动搜索。本文完成的工作如下：

(1)使用深度可分离卷积改进U-Net++中的双卷积层，并针对U-Net++中的冗余跳跃连接进行可搜索设计，提出了 FSU-Net++作为用于医疗影像语义分割的超网架构。 FSU-Net++可应用于联邦神经架构搜索过程来搜索子网，搜索到的子网参数量更低，从而减少了联邦学习过程中产生的通讯量。

(2)鉴于集中式神经架构搜索中用于缓解子网昂贵评估问题的三种加速评估技术无法直接应用联邦神经架构搜索中，设计了适用于联邦神经架构搜索的三种加速评估方法：适用于联邦NAS的权重共享方法、适用于联邦NAS的低保真评估方法和适用于联邦 NAS 的在线代理模型预测方法。

(3)提出了可用于多机构医学影像分割的联邦多目标神经架构搜索算法 FSU- NAS。FSU-NAS基于本文提出的FSU-Net++超网和适用于联邦NAS的三种加速评估方法，可在一次搜索运行结束后可以得到一组网络结构，这些网络结构具有不同的参数量和精度。FSU-NAS中设计了基于FSU-Net++的搜索空间，使用进化算法作为搜索策略，将联邦进化搜索过程划分为三个阶段，根据每一阶段特点组合使用本文提出的三种加速评估方法。

(4)在视网膜血管分割数据集和脑肿瘤分割数据集两个医学影像分割数据集上进行实验验证。实验结果表明，本文设计的方法在联邦学习环境下搜索出的子网性能接近甚至超越人工设计的网络，而这些子网具有相对更少的参数量，减少了联邦学习过程中产生的通讯量。通过消融实验证明，本文提出的三阶段算法合理有效，在加速神经架构搜索过程中的子网评估过程的同时，相应减少了联邦神经架构搜索过程中的通讯开销。

6.2未来展望

本文的研究工作仍有一定改进空间。在未来，可以探索更复杂的搜索空间。本文所做工作主要是对卷积通道进行搜索，然而除此之外，还可以考虑搜索卷积核大小、卷积堆叠层数等维度的搜索，还可以考虑卷积与 transformer 等新兴结构的混合搜索等。另一方面，本文提出的 FSU-NAS 的进化搜索过程主要发生在服务器，可以尝试在联邦学习环境下进行多个客户端的分布式进化搜索，从而将客户端的计算能力更好地利用起来。如此一来，还可以进一步探索代理模型的使用方式，比如主从代理模型，即构建位于服务器的主代理模型和位于客户端的从代理模型。

参考文献

[1]Szegedy C, Liu W, Jia Y Q, et al. Going deeper with convolutions[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015: 1-9.

[2]Mcmahan B, Moore E, Ramage D, et al. Communication-efficient learning of deep networks from decentralized data[C]. Artificial Intelligence and Statistics, 2017: 12731282.

[3]Huang Y T, Chu L Y, Zhou Z R, et al. Personalized cross-silo federated learning on non- IID data[C]. 35th AAAI Conference on Artificial Intelligence / 33rd Conference on Innovative Applications of Artificial Intelligence / 11th Symposium on Educational Advances in Artificial Intelligence, 2021: 7865-7873.

[4]Elsken T, Metzen J H, Hutter F. Neural architecture search: A survey[J]. Journal of Machine Learning Research, 2019, 20: 21.

[5]Ke L J, Zhang Q F, Battiti R. MOEA/D-ACO: A multiobjective evolutionary algorithm using decomposition and ant colony[J]. IEEE Transactions on Cybernetics, 2013, 43(6): 1845-1859.

[6]Liu Y, Sun Y, Xue B, et al. A survey on evolutionary neural architecture search[J]. IEEE Transactions on Neural Networks Learning Systems, 2021.

[7]Shelhamer E, Long J, Darrell T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4): 640-651.

[8]Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv:1409.1556, 2014.

[9]Ronneberger O, Fischer P, Brox T. U-net: convolutional networks for biomedical image segmentation[C]. Medical Image Computing and Computer-Assisted Intervention— MICCAI 2015: 18th International Conference, Munich, Germany, October 5-9, 2015, Proceedings, Part III 18, 2015: 234-241.

[10]Oktay O, Schlemper J, Folgoc L L, et al. Attention u-net: Learning where to look for the pancreas[J]. arXiv preprint arXiv:1804.03999, 2018.

[11]Liu H, Shen X, Shang F, et al. Cu-net: Cascaded u-net with loss weighted sampling for

brain tumor segmentation[C]. Multimodal Brain Image Analysis and Mathematical Foundations of Computational Anatomy: 4th International Workshop, MBIA 2019, and 7th International Workshop, MFCA 2019, Held in Conjunction with MICCAI 2019, Shenzhen, China, October 17, 2019, Proceedings 4, 2019: 102-111.

[12]Zhou Z, Siddiquee M M R, Tajbakhsh N, et al. Unet++: Redesigning skip connections to exploit multiscale features in image segmentation[J]. IEEE Transactions on Medical Imaging, 2019, 39(6): 1856-1867.

[13]Real E, Aggarwal A, Huang Y, et al. Regularized evolution for image classifier architecture search[C]. Proceedings of the AAAI Conference on Artificial Intelligence, 2019: 47804789.

[14]Baker B, Gupta O, Naik N, et al. Designing Neural Network Architectures using Reinforcement Learning[J]. arXiv preprint arXiv:1611.02167, 2016.

[15]Zoph B, Le Q V. Neural architecture search with reinforcement learning[J]. arXiv preprint arXiv:1611.01578, 2016.

[16]Sun Y, Xue B, Zhang M, et al. Automatically designing cnn architectures using the genetic algorithm for image classification[J]. IEEE Transactions on Cybernetics, 2020, 50(9): 3840-3854.

[17]Pham H, Guan M, Zoph B, et al. Efficient neural architecture search via parameters sharing[C]. International Conference on Machine Learning, 2018: 4095-4104.

[18]Cai H, Gan C, Wang T, et al. Once-for-all: Train one network and specialize it for efficient deployment[J]. arXiv preprint arXiv:1908.09791, 2019.

[19]Liu H, Simonyan K, Yang Y. Darts: Differentiable architecture search[J]. arXiv preprint arXiv:1806.09055, 2018.

[20]Zoph B, Vasudevan V, Shlens J, et al. Learning transferable architectures for scalable image recognition[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 8697-8710.

[21]Zhong Z, Yang Z, Deng B, et al. Blockqnn: Efficient block-wise neural network architecture generation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 43(7): 2314-2328.

[22]Peng Y, Song A, Ciesielski V, et al. PRE-NAS: predictor-assisted evolutionary neural

architecture search[C]. Proceedings of the Genetic and Evolutionary Computation Conference, 2022: 1066-1074.

[23]Sun Y, Wang H, Xue B, et al. Surrogate-assisted evolutionary deep learning using an end- to-end random forest-based performance predictor[J]. IEEE Transactions on Evolutionary Computation, 2019, 24(2): 350-364.

[24]Ho T K. Random decision forests[C]. Proceedings of 3rd International Conference on Document Analysis and Recognition, 1995: 278-282.

[25]Ying W, Yang K, Wu Y, et al. Multi-objective evolutionary architecture search of u-net with diamond atrous convolution[C]. Exploration of Novel Intelligent Optimization Algorithms: 12th International Symposium, ISICA 2021, Guangzhou, China, November 20-21, 2021, Revised Selected Papers, 2022: 31-40.

[26]Li X, Gu Y, Dvornek N, et al. Multi-site fMRI analysis using privacy-preserving federated learning and domain adaptation: ABIDE results[J]. Medical Image Analysis, 2020, 65: 101765.

[27]Zhu H, Jin Y. Multi-objective evolutionary federated learning[J]. IEEE Transactions on Neural Networks and Learning Systems, 2019, 31(4): 1310-1322.

[28]Xu M, Zhao Y, Bian K, et al. Federated neural architecture search[J]. arXiv preprint arXiv:2002.06352, 2020.

[29]Zhu H, Jin Y. Real-time federated evolutionary neural architecture search[J]. IEEE Transactions on Evolutionary Computation, 2021, 26(2): 364-378.

[30]Elsken T, Metzen J H, Hutter F. Neural architecture search: A survey[J]. The Journal of Machine Learning Research, 2019, 20(1): 1997-2017.

[31]Lu Z, Sreekumar G, Goodman E, et al. Neural architecture transfer[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 43(9): 2971-2989.

[32]Fang J, Sun Y, Zhang Q, et al. FNA++: Fast network adaptation via parameter remapping and architecture search[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 43(9): 2990-3004.

[33]Zhong Z, Yan J, Wu W, et al. Practical block-wise neural network architecture generation[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 2423-2432.

[34]Xie S, Zheng H, Liu C, et al. SNAS: stochastic neural architecture search[J]. arXiv preprint arXiv:1812.09926, 2018.

[35]Cai H, Zhu L, Han S. Proxylessnas: Direct neural architecture search on target task and hardware[J]. arXiv preprint arXiv:1812.00332, 2018.

[36]Shin R, Packer C, Song D. Differentiable neural network architecture search[J], 2018.

[37]Ahmed K, Torresani L. Maskconnect: Connectivity learning by gradient descent[C]. Proceedings of the European Conference on Computer Vision (ECCV), 2018: 349-365.

[38]Real E, Moore S, Selle A, et al. Large-scale evolution of image classifiers[C]. International Conference on Machine Learning, 2017: 2902-2911.

[39]Lu Z, Whalen I, Boddeti V, et al. Nsga-net: neural architecture search using multi-objective genetic algorithm[C]. Proceedings of the Genetic and Evolutionary Computation Conference, 2019: 419-427.

[40]Deb K, Pratap A, Agarwal S, et al. A fast and elitist multiobjective genetic algorithm: NSGA-II[J]. IEEE Transactions on Evolutionary Computation, 2002, 6(2): 182-197.

[41]Zela A, Klein A, Falkner S, et al. Towards automated deep learning: Efficient joint neural architecture and hyperparameter search[J]. arXiv preprint arXiv:1807.06906, 2018.

[42]Chrabaszcz P, Loshchilov I, Hutter F. A downsampled variant of imagenet as an alternative to the cifar datasets[J]. arXiv preprint arXiv:1707.08819, 2017.

[43]Xu Y, Xie L, Dai W, et al. Partially-connected neural architecture search for reduced computational redundancy[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 43(9): 2953-2970.

[44]Klein A, Falkner S, Bartels S, et al. Fast bayesian optimization of machine learning hyperparameters on large datasets[C]. Artificial Intelligence and Statistics, 2017: 528-536.

[45]Real E, Aggarwal A, Huang Y, et al. Aging evolution for image classifier architecture search[C]. AAAI Conference on Artificial Intelligence, 2019: 2.

[46]Zhou D, Zhou X, Zhang W, et al. Econas: Finding proxies for economical neural architecture search[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020: 11396-11404.

[47]Domhan T, Springenberg J T, Hutter F. Speeding up automatic hyperparameter optimization of deep neural networks by extrapolation of learning curves[C]. Twenty- 70

fourth International Joint Conference on Artificial Intelligence, 2015.

[48]Klein A, Falkner S, Springenberg J T, et al. Learning curve prediction with Bayesian neural networks[C]. International Conference on Learning Representations, 2017.

[49]Baker B, Gupta O, Raskar R, et al. Accelerating neural architecture search using performance prediction[J]. arXiv preprint arXiv:1705.10823, 2017.

[50]Rawal A, Miikkulainen R. From nodes to networks: Evolving recurrent neural networks[J]. arXiv preprint arXiv:1803.04439, 2018.

[51]Sun Y, Sun X, Fang Y, et al. A novel training protocol for performance predictors of evolutionary neural architecture search algorithms[J]. IEEE Transactions on Evolutionary Computation, 2021, 25(3): 524-536.

[52]Mcmahan H B, Moore E, Ramage D, et al. Federated learning of deep networks using model averaging[J]. arXiv preprint arXiv:1602.05629, 2016.

[53]公茂果，焦李成，杨咚咚,et al.进化多目标优化算法研究J].软件学报,2009, 20(02): 271-289.

[54]Rangel-Gonzalez J A, Fraire H, Solis J F, et al. Fuzzy multi-objective particle swarm optimization solving the three-objective portfolio optimization problem[J]. International Journal of Fuzzy Systems, 2020, 22(8): 2760-2768.

[55]Sulflow A, Drechsler N, Drechsler R. Robust multi-objective optimization in high dimensional spaces[C]. Evolutionary Multi-Criterion Optimization: 4th International Conference, EMO 2007, Matsushima, Japan, March 5-8, 2007. Proceedings 4, 2007: 715726.

[56]Zan X, Wu Z, Guo C, et al. A Pareto-based genetic algorithm for multi-objective scheduling of automated manufacturing systems[J]. Advances in Mechanical Engineering, 2020, 12(1): 1687814019885294.

[57]Chu X, Zhang B, Xu R. Multi-objective reinforced evolution in mobile neural architecture search[C]. Computer Vision-ECCV 2020 Workshops: Glasgow, UK, August 23-28, 2020, Proceedings, Part IV, 2021: 99-113.

[58]Li N, Chen Y, Ding Z, et al. Multi-objective neural architecture search for light-weight model[C]. 2019 Chinese Automation Congress (CAC), 2019: 3794-3799.

[59]Ishibuchi H, Tsukamoto N, Nojima Y. Evolutionary many-objective optimization: A short

review[C]. 2008 IEEE Congress on Evolutionary Computation (IEEE World Congress on Computational Intelligence), 2008: 2419-2426.

[60]Wicaksana J, Yan Z, Zhang D, et al. FedMix: Mixed Supervised Federated Learning for Medical Image Segmentation[J]. IEEE Transactions on Medical Imaging, 2022.

[61]Gong X, Sharma A, Karanam S, et al. Ensemble attention distillation for privacypreserving federated learning[C]. Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021: 15076-15086.

【本文地址：https://www.xueshulunwenwang.com//yixuelei/yixueyingxiang/9189.html】

上一篇：医学影像深度半监督语义分割算法设计与应用研究

下一篇：没有了

热门论文

最新论文

热门搜索

多机构医学影像分割的联邦多目标神经架构搜索