医学图像配准，voxelmorph框架

Question

我想请教一下voxelmorph论文中fig6的彩色变形场，这个含义是什么呀？是指图例中当前这个冠状面切片上所有像素点的三维变形场在二维图像中的可视化吗？还有论文中的网格变形场是指当前这个冠状面切片上所有像素点在x和z方向的位移吗。网格变形场是如何生成的，这个位移是二维的？求解答！
不知道自己理解的对不对，希望有佬可以解释一下！

Answer 1

引自免费微信小程序：皆我百晓生

在 Voxelmorph 论文中，作者展示了如何通过神经网络进行医学图像的配准（registration）。在 Fig. 6 中，他们展示了在无监督实验中，将移动图像（moving image）与固定图像（fixed image）进行配准后得到的变形场（deformation field）。

变形场是一个三维的空间映射，它描述了每个像素点从原始位置到目标位置的位移。对于每一个像素，这个位移通常由三个分量表示：x、y 和 z 方向上的位移。在 Voxelmorph 中，使用的变形场通常是非常平滑的，特别是在脑部区域，即使移动图像与固定图像有很大的差异。

为了可视化这些三维变形场，论文采用了颜色编码的方法。在 Fig. 6 的第四列中，每种颜色代表一个维度的位移：

• 红色通道对应 x 轴的位移
• 绿色通道对应 y 轴的位移
• 蓝色通道对应 z 轴的位移

因此，当您看到一个彩色的变形场时，实际上是在二维图像上呈现了三维空间中每个像素点的位移信息。例如，一个红色偏红的点可能意味着在 x 轴上有较大的正位移，绿色偏绿则可能意味着在 y 轴上有较大位移，而蓝色偏蓝则可能意味着在 z 轴上有较大位移。

至于第五列中的“warped volume”，它是根据第三列的变形场将移动图像拉伸或压缩的结果，显示的是经过变形后的移动图像在固定图像坐标系下的样子。

网格变形场（grid deformation field）本质上就是上述提到的三维变形场，只不过在这里更强调它是基于网格结构（即像素网格）的位移场。

在 Voxelmorph 框架中，网格变形场的生成通常涉及以下步骤：

1. 使用卷积神经网络（CNN）训练模型，输入是固定图像和移动图像，输出是预测的变形场。
2. 在训练过程中，损失函数（如均方误差 MSE）用于评估预测变形场的效果，网络通过反向传播优化其权重，以最小化这个损失。
3. 当模型训练完成后，给定新的移动图像，可以通过前向传播得到相应的变形场。
4. 应用这个变形场，将移动图像变形为与固定图像匹配的形状。

由于这是一个复杂的深度学习过程，涉及到的具体代码实现通常包含数据预处理、网络构建、训练和应用等部分，这里无法提供完整的代码，但您可以参考 Voxelmorph 的官方 GitHub 仓库（https://github.com/voxelmorph/voxelmorph），那里提供了详细的代码示例和教程。如果您需要具体的代码片段或帮助理解某一部分，我会很乐意提供进一步的帮助。