Mask Auto Encoder中，如何有效设计掩码策略以保留关键特征？

Question

在Mask Auto Encoder（MAE）中，如何设计掩码策略以确保关键特征得以保留，同时实现高效重建？常见的技术问题包括：1) 掩码比例设定：过高可能导致关键信息丢失，过低则无法充分学习上下文关系；2) 掩码分布选择：随机掩码可能忽略空间结构，而规则掩码可能引入偏差；3) 是否结合先验知识：例如在图像中关注边缘或纹理区域，以动态调整掩码概率；4) 掩码与模型容量的匹配：复杂掩码策略可能需要更深或更宽的网络才能有效重建。如何在这些因素之间找到平衡，是设计掩码策略时需要重点考虑的问题。此外，如何评估掩码策略对关键特征保留的影响，也是当前研究中的难点之一。