FP4/FP8/FP16/FP32在精度与性能权衡中如何选择适合的场景？

Question

在深度学习模型训练与推理中，如何根据任务需求选择FP4/FP8/FP16/FP32？高精度的FP32适合对准确性要求极高的科学计算或收敛困难的模型，但性能和内存效率较低。FP16作为折中选择，广泛应用于GPU加速场景，在图像分类、目标检测等任务中表现良好，但可能在复杂模型中出现数值溢出或收敛问题。新兴的FP8和FP4提供更高性能与更低内存占用，适用于大规模推荐系统或生成式AI等对精度容忍度较高的场景，然而需要特殊硬件支持且可能存在较大量化误差。如何评估不同精度格式对模型质量的影响，并结合硬件能力与任务特性做出最佳选择？