英语原文共 10 页，剩余内容已隐藏，支付完成后下载完整资料
MR-对比度感知的具有生成对抗网络的图像到图像翻译
摘要
目标：磁共振成像（MRI）检查通常由几个产生不同图像对比度的序列组成。每个序列通过影响图像对比度、信噪比、采集时间和分辨率的多个采集参数进行参数化。根据临床显示，放射科医生需要进行不同的对比来做出诊断。由于MR序列采集耗时且采集的图像可能因运动而损坏，因此需要一种具有可调节对比度特性的合成MR图像的方法。
方法：因此，我们根据MR采集参数重复时间和回波时间训练一个图像到图像生成对抗网络。我们的方法是由风格传输网络驱动的，而在我们的例子中，图像的“风格”是明确给出的，因为它是由我们的网络所依赖的MR采集参数决定的。
结果：这使我们能够合成具有可调节图像对比度的MR图像。我们在fast-MRI数据集上评估了我们的方法，该数据集是一大组公开的MR膝关节图像，并表明我们的方法在将非脂肪饱和MR图像转换为脂肪饱和图像方面优于基准pix2pix方法。我们的方法产生的峰值信号色调比和结构相似性分别为24.48和0.66，显著超过pix2pix基准模型。
结论：我们的模型是第一个实现精细对比度合成的模型，可用于合成缺失的MR对比度或者作为MRI人工智能训练的数据增强技术。它还可以用作医学成像中图像到图像转换任务的基础，例如，增强多模转换（MRI→CT）或从3 T MR图像合成7 T图像。
关键词 深度学习；生成性对抗网络；磁共振成像；图像合成
介绍：
磁共振成像（MRI）检查通常由多个序列组成，这些序列产生完整可靠诊断所需的不同图像组织对比度。然而，获得的序列集在不同的临床方案、扫描仪和位点之间差异很大。临床指南、MR系统（供应商、型号、软件版本、场强）、内部指南（如时隙）和放射科医生的偏好决定特定部位特定临床问题的一组选定序列（即MRI协议）。此外，每个序列通过影响图像对比度、图像分辨率、信噪比或采集时间的多个采集参数（脉冲序列参数）进行参数化。采集参数（和序列）可以是供应商专有的或通用的。因此，序列参数化和选择在不同的放射学站点之间以及在同一站点的检查和扫描仪中显著不同[1]。由于序列采集耗时且采集时间昂贵，目前的研究致力于通过开发优化的扫描协议[3]或利用人工智能（AI）[4]来增加MRI价值[2]。AI通过加速图像采集和重建[5]或合成缺失或损坏的图像，在缩短扫描时间方面发挥着至关重要的作用，图像与现有图像的对比度[6-8]。后者是通常使用图像到图像的神经网络，例如，合成T2加权的大脑图像T1加权图像，反之亦然[6,9]。这可以提供巨大的临床价值，因为运动或其他造成的损坏图像可以被替换，或幽闭恐惧症患者过早结束MRI扫描可能会避免再次扫描。目前的方法合成一个单一的磁共振对比具有固定或未进一步指定的采集参数来自一个或多个现有MR对比。这些方法已经在不同的公共场所进行了培训和测试可用的MR数据集。然而，作为序列参数化，由于临床实践的不同，这些方法是仅适用于小部分使用过的序列。真正为了提高临床价值，这些方法必须综合考虑MR的对比超出了固定序列参数化。因此，我们开发并训练了一种图像对图像的方法生成性对抗网络（GAN），综合具有可调节图像对比度的MR图像。这个采集参数回波时间（TE）和重复时间（TR）将影响图像对比度的因素纳入网络的训练中。此外，我们可以将非脂肪饱和的MR图像转换为脂肪饱和的MR图像采集参数TE和TR作为附加输入，提高了整体重建性能。我们对我们的方法进行了全面的视觉和定量评估，并使用常用的pix2pix框架对其进行了基准测试。
材料和方法
生成对抗网
在本节中，我们想简要概述一下生成对抗性网络及其在医学领域的重要应用，图像到图像的综合。GANs是一种特殊类型的人工神经网络，其中训练两个网络（生成器和判别器）相互对抗。对于图像生成任务，生成器是专注于图像生成，判别器学习区分真实图像和生成（假）图像。GAN功能的一个重要扩展是pix2pix，它是解决图像到图像翻译问题的通用解决方案。使用pix2pix方法学习从输入图像到成对输出的映射L1重建和对抗损失下的图像[10].因配对的训练数据对于许多人都不可用图像到图像的转换任务，循环一致性损失（CycleGAN）[11]建议允许翻译从源域到目标域的映像，不带任何配对训练示例。原始公式包括两个生成模型，G和F，其中G表示从域A到域B的图像。F转换图像从域B到域A。判别器和学习从图像中区分真假图像。使用L1距离循环一致性损失定义对于分别来自域A和B的图像g和t，然后定义为：
其中，MS-SSIM是SSIM（7）的多尺度版本，在“评估指标”部分中定义。MS-SSIM是多个尺度上的结构相似性度量，允许在不同分辨率下合并图像细节[15]。加权重建损失如下所示：
omega;=0.84。价值omega;被设置来平衡两个损失，并由[14]提出。
自适应实例规范化
虽然图像到图像GANs（例如pix2pix）能够学习分类图像到图像转换的映射，但它无法创建具有微调图像对比度的MR图像。因此，我们使用自适应实例规范化层将输入和输出标签（TE、TR、fat饱和度）注入生成器[16]。AdaIN操作定义为：
每个特征映射x分别用其平均值进行归一化和标准差，然后通过学习的变换进行缩放和偏移alpha;,beta;,鉴于标签集y，AdaIN已通过向生成器中注入样式编码成功应用于样式转换应用程序[16]。样式编码对于样式传输来说通常是未知的，并且是从图像中隐式学习的[17]。在我们的例子中，“风格”可以理解为图像组织对比度，这是通过采集参数定义的。因此，在MR成像中，明确给出了“样式”，并通过alpha;、beta;注入，alpha;、beta;是单层网络，输出通道与采集参数注入的网络层通道匹配。
辅助分类器
我们还尝试加入一个损失项，通过辅助分类器的条件损失来惩罚对比度差异。我们偏离了传统的辅助分类器GAN（ACGAN）网络架构[18]，该架构使用判别器中的分类层，通过使用仅在条件上训练的单独辅助分类器（AC）来学习条件。这使我们能够预先训练AC，并分解训练复杂性，因为AC性能可以与GAN分开进行调节。只有经过良好训练的辅助分类器才能为生成模型的训练提供有用的指导，这对于良好的图像重建精度至关重要。
网络和训练详情
培训过程和网络架构如图1所示。生成器由带有剩余块的U型网络结构组成（编码器中的滤波器尺寸为64–128–256–512，解码器中的滤波器尺寸为64–128–256–512）。它通过自适应实例规范化将源图像采集参数注入网络编码器，将目标图像采集参数（即目标对比度）注入网络解码器。通过编码器中的“样式”注入，生成器将学习独立于采集参数的图像表示，从而获得图像对比度。然后确定目标捕获参数
图1 网络结构
目标采集参数如图1所示。该生成器基于U-Net体系结构，由具有自适应实例规范化的剩余块组成。输入标签注入发生器的编码器部分，目标标签注入发生器的解码器部分。发生器接受有关重建、对抗和调节损失，注入解码器以正确重建目标对比度。判别器由六个剩余块和一个输出组成，用于区分真实图像和合成图像（滤波器尺寸为64–128–256–512–512）。我们使用最近发布的EfficientNet-B3[19]体系结构用于AC，并对网络进行训练，以确定TE和TR值以及是否使用脂肪饱和度。EfficientNet使用复合缩放，与ImageNet和其他基准数据集上的现有CNN相比，实现了更高的精度和更好的效率[19]。均方误差损失用于TE和TR，其值均线性缩放至0和1之间的值，二元交叉熵用于确定脂肪饱和度的使用。使用学习率为的Adam optimizer对AC进行200 K迭代的预训练，批量大小为64，，且。我们使用8个批量来训练GAN，并训练模型进行200k迭代。我们还将Adam优化器设置，和。发生器和判别器的学习速率设置为。对于发生器，采用网络参数的指数移动平均值[17,20]。这些图像将缩放至[minus;1，1] 强度，并使用双线性插值将分辨率调整为256times;256像素，以在数据集中获得相同的图像分辨率。在AC和GAN的训练过程中，采用随机图像移动和缩放作为数据增强。
数据
我们使用快速MRI数据集[4]进行培训和评估。它包含来自10000个临床膝关节MRI研究的DICOM数据，每个研究包括一组多序列参数化。我们基于DICOM头信息应用了几种数据过滤器，以获得具有可比图像印象、密集且同质的采集参数分布（TE、TR）和高解剖方差的数据集。我们希望训练集中的图像印象和对比度取决于采集参数TE和TR。
因此，通过选择fast MRI数据集中最常见的参数值（德国Erlangen西门子医疗保健公司的1.5 T场强和扫描仪），去除了影响图像印象的其他参数，如场强和制造商。来自我们过滤数据集的MR图像（快速自旋回波序列）在五种不同的西门子医疗扫描（MAGNETOM Aera、MAGNETOM Avanto、MAGNETOM Espree、MAGNETOM Sonata MAGNETOM Symphony）上采集。我们排除了TR超过5000 ms的MR图像，并将TE的上限设置为50 ms，以创建具有密集条件表示的数据集。图2显示了
图2 采集参数的分布
训练数据集中TE和TR值的分布。此外，通过为每个卷选择中心14个切片，我们丢弃了外围切片以限制训练数据量。然后将图像定义为具有相同DICOM属性（患者ID（00100020）、研究实例UID（002000D）、图像方向（00200037）、切片位置（00201041）和切片厚度（00180050）的图像。
结论
数据
训练数据集包括来自4815项不同研究和16731个图像系列的237883张MR图像，其中101328张成对图像和136555张未成对图像。数据集包含123833张脂肪饱和的MR图像，其余图像采集时没有脂肪饱和。
验证和测试数据集由100个不连续、随机选择的患者ID（分别为3242和3438张）的成对图像组成。
评估指标
为了评估我们的实验（如下所述），我们使用了归一化均方误差（NMSE）、峰值信噪比（PSNR）和结构相似性指数（SSIM）。给定两幅图像x和x′，它们的定义如下：
其中n是一幅图像中的像素数，MAX是两幅图像的最大像素值范围，和表示原始图像和翻译图像的平均值。和表示原始图像和翻译图像的标准偏差，以及是两幅图像的协方差。添加变量和以稳定具有弱分母的除法。NMSE值越低，PSNR和SSIM值越高，图像合成效果越好。
实验
我们进行了多次实验，以全面评估我们的方法。首先，我们评估AC的性能以确定MR图像的采集参数TE和TR，因为其性能对于性能评估和引导发生器合成MR图像至关重要。然后，我们评估了GAN从非脂肪饱和图像合成脂肪饱和（FS）图像的任务，并使pix2pix方法对其进行基准测试。此外，还展示了我们的方法合成具有自适应图像对比度的MR图像的能力。
我们评估了几个图像到图像的GANs。每个模型均基于先前的模型，并进行了如下所述的附加更改：
bull;模型1: pix2pix训练数据由一个方向的图像组成，即在L1重建和R1正则化的非饱和对抗损失下的非FS（非脂肪饱和）到FS图像对。
bull;模型2：目标标签被注入带有AdaIN层的解码器中。
bull;型号3：源标签额外注入带有AdaIN层的编码器。
bull;模型4：L1重建损失根据公式3进行调整。
bull;模型5：将具有非脂肪饱和目标图像的图像对添加到训练目标数据中，从而实现非FS到FS和非FS转换。
bull;模型6：将未配对的非FS图像数据添加到训练数据集中，并在循环一致性和条件损失（带权重）下进行训练）。根据网络在数据集中的份额，对网络进行未配对数据的训练。是一个超参数，是启发式设置的。这样，调节验证误差与辅助分类器的误差相似（不是调节过度或不足）。这是唯一一个在训练期间使用辅助分类器的模型，它使生成器能够根据随机采集参数组合进行训练。
Table 1辅助分类器的评估
报告值表示测试集上的平均值及其标准偏差。
TE和TR的MAE和FS的准确度具有统计学意义（plt;=0.05），每个采集参数的最佳值是加下划线的。由于对于模型1–4，只能合成FS图像，因此本表中报告的所有模型的条件评估仅基于FS图像。
Table 2 图像合成实验定量评价结果
统计学意义（ple;0.05，两个样本t检验）最佳值加下划线。
表1和表2中报告了测试集的性能结果。辅助分类器的良好性能对于发生器机（模型6）在训练和评估所有GAN模型期间的正确引导至关
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[589663]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
