微软亚洲研讨院 | 递归级联收集:基于无监视进修的医学图像配准

编者按:目前,深度进修正广泛运用于医学图像配准范畴。无监视板滞进修方法可以广泛应用临床中发生的大宗原始、无标注医学图像,然而现有算法关于变形大、改造繁杂的图像配准的进修效果较差。微软亚洲研讨院 ICCV 2019 发外的论文中,提出一种深度递归级联的神经收集构造,可以分明进步无监视配准算法的准确率。

医学图像配准是医学图像处理义务中的要害方法,具有主要的临床原理。医学图像配准即区分给定一张运动的和固定的 3D 医学图像,期望将运动图像(moving image)配准到固定图像(fixed image),如图1所示。图像可以来自相同或差别个体的三维脑 MRI 的二维切片。通过预测非线性变形场,我们可以将运动图像变形为变形图像(warped image)。抱负状况下,变形图像应当与固定图像十分相似,即使它源自运动图像。

图1:医学图像配准

近年来,深度进修技能医学图像配准中曾经取得了广泛的运用。有监视进修方法的主要题目是流场真值(ground truth)很难取得,即使关于医学专家来说,医学图像配准的成对相关像素点也难以标注;而无监视进修方法可以应用可导的 STN(spatial transformer),以变形图像和固定图像之间测得的图像相似性为优化目标,可以应用临床中广泛的原始数据且无需标注。然而现有算法只可进修将运动图像一次性对齐到固定图像,关于变形大、改造繁杂的配准效果较差。

本文提出了一种深度递归级联的神经收集构造,可以分明进步无监视配准算法的准确率。图2是用于肝脏配准的递归级联收集效果图。运动图像通过一次次微细的递归配准,着末与固定图像对齐。每个子收集的输入都是变形后的图像和固定图像,预测一个流场Φ。通过深度的递归迭代,最终的流场可以被剖析为简单、细微的渐进改造,大大低沉了每个子收集的进修难度。

图2:用于肝脏配准的递归级联收集效果图

递归级联收集可以构修于任何已有的根底收集之上,通过无监视、端到端的方法进修到深度递归的渐进配准。除此除外,我们还提出了一种 shared-weight 级联技能,可以测试中直接添加递归深度并进步准确率

我们肝脏 CT 图像和脑 MRI 图像上都做了算法评测,运用了众样的评判目标(包罗 Dice 和要害点)。我们的实行标明递归级联的构造关于两种根底收集(VTN 和 VoxelMorph)的感化都十分分明,而且所稀有据集上都超越了包罗 SyN 和 B-Spline 内的古板算法。

模子先容

我们的中心绪念是通过深度递归级团构造完成渐进式对齐的无监视端到端进修。图2所示状况下,运动图像与固定图像有很大的差别,这外明流场真值应当十分繁杂而且可以很难预测。可是,我们的递归级联收集可以将这一艰难的进修进程剖析为渐进的部分,使每对之间的流场变得简单易学。

另一方面,从模子的流场合成效果图(图3)中可以看出,前面的子收集主要进修到了全部的配准,然后面的子收集起到了完美细节的感化。最终的流场确实可以剖析为相当简单的部分。

图3:流场合成效果图

深度递归级联的收集构造如图4所示。运动图像通过每个子收集的预测流场依次变形,着末与固定图像对齐,此进程是递归的,每个子收集都进修对目今的变形图像的渐进式配准。

我们与其它算法的主要区别于,递归级联收集的优化目标只要着末两张图像的相似度,从而付与了所有子收集配合进修渐进式配准的才能。可导的变形操作使得通通端到端系统无监视的状况下配合教练成为可以。递归构造的根底上,我们提出一种附加的 shared-weight 级联技能,可以测试中直接添加递归深度并进步准确率

图4:递归级联收集


实行评估与结果展现

我们运用 Dice 和要害点间隔(Landmark Dist.)两种评估目标举行了广泛的实行,并众个数据集上举行了算法评测,包罗肝脏 CT 图像和脑 MRI 图像。

我们基于两种根底收集 VTN 和 VoxelMorph 构修了递归级联收集(递归级联收集可以构修于任何根底收集之上,并不范围于 VTN 和 VoxelMorph)。外1总结了我们与古板算法以及与根底收集比较的总体功用。可以看到,递归级联收集所稀有据汇合的 Dice 和要害点间隔均分明优于现有方法。

外1:实行结果

图5的三个子图阐清楚关于差别数目级联的实行结果。跟着级联数目标添加,模子的外现呈上升趋势。

图5:差别级联数目下 Dice 和要害点间隔的改造趋势

那么,直接添加通道数或者卷积深度能否起到和收集级联相同的效果呢?比如,VoxelMorph(VM)提出将卷积层中的通道数加倍(VM x2)可以取得更好的功用。举措比照,我们通过将卷积层的深度加倍来构制 VM-double,还构制了一种同样将深度加倍的编码器-解码器-编码器-解码器的收集构造(VM xx2),VM xx2 与 2-cascade VM 的构造除了变形操作除外都是相似的。这些 VM 变种比较于 2-cascade VM 都具有相同或更众的参数数目。从外2中可以看出,VM 变种的外现都不如 2-cascade VM,以致还不如直接 shared-weight 的 2x1-cascade VM。该实行外明,我们的改良实质上是基于所提出的递归级团构造,而不是简单地引入更众参数

外2:递归级联收集与其它 VoxelMorph 收集变种的比照

图6中显示了运用差别方法预测的流场。可以看出,我们预测的流场与其它算法比较具有更精细的细节,从而发生了更准确的变形图像。


图6:预测流场可视化

结语

我们提出了一种深度递归级联的收集构造,运用于无监视端到端的医学图像配准。该收集构造简单且易于教练,功用强大且易于推行。与其它方法比较,递归级联收集带来了分明的功用晋升。依靠精良的功用优势、无监视方法的广泛适用性、以及独立于根底收集的一般性,我们希冀递归级联收集可以医学图像配准义务中取得更广泛地运用。

了解更众技能细节,请点击https://github.com/microsoft/Recursive-Cascaded-Networks拜访 GitHub 主页。

微软研讨院AI头条
微软研讨院AI头条

笃志科研19年,盛产黑科技

表面医学影像无监视进修递归级联收集ICCV 2019
相关数据
深度进修技能

深度进修(deep learning)是板滞进修的分支,是一种试图运用包罗繁杂构造或由众重非线性变换构成的众个处理层对数据举行高层笼统的算法。 深度进修是板滞进修中一种基于对数据举行外征进修的算法,至今依鳌有种深度进修框架,如卷积神经收集和深度置信收集和递归神经收集等已被运用盘算机视觉、语音识别、自然言语处理、音频识别与生物新闻学等范畴并获取了极好的效果。

参数技能

数学和统计学裡,参数(英语:parameter)是运用通用变量来修立函数和变量之间联系(岛镶种联系很难用方程来阐述时)的一个数目。

神经收集技能

(人工)神经收集是一种根源于 20 世纪 50 年代的监视式板滞进修模子,那时分研讨者念象了「感知器(perceptron)」的念法。这一范畴的研讨者一般被称为「勾结主义者(Connectionist)」,因为这种模子模拟了人脑的功用。神经收集模子一般是通过反向传达算法运用梯度下降教练的。目前神经收集有两大主要类型,它们都是前馈神经收集:卷积神经收集(CNN)和轮回神经收集(RNN),此中 RNN 又包罗好坏期记忆(LSTM)、门控轮回单位(GRU)等等。深度进修是一种主要运用于神经收集帮帮其取得更好结果的技能。尽管神经收集主要用于监视进修,但也有少许为无监视进修计划的变体,比如主动编码器和生成对立收集(GAN)。

准确率技能

分类模子的准确预测所占的比例。众种别分类中,准确率的定义为:准确的预测数/样本总数。 二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

监视进修技能

监视式进修(Supervised learning),是板滞进修中的一个方法,可以由标记好的教练汇合学到或修立一个方式(函数 / learning model),并依此方式推测新的实例。教练集是由一系列的教练典范构成,每个教练典范则由输入对象(一般是向量)和预期输出所构成。函数的输出可以是一个延续的值(称为回归剖析),或是预测一个分类标签(称作分类)。

引荐作品
暂无评论
暂无评论~