GCN进行有自监督聚类的多视角图聚类

Question

为什么使用GCN进行有自监督聚类的多视角图聚类时，在随机种子固定时，在预训练（只有邻接矩阵重构损失时）每次结果都是一样，但是正式训练时，加入自监督聚类模块后，结果就变得不固定？

Answer 1

下午好🌅🌅🌅
本答案参考通义千问

在使用图卷积网络 (GCN) 进行有自监督聚类的多视角图聚类任务中，出现“预训练阶段结果固定，正式训练阶段结果不固定”的现象，可能与以下几个因素有关：

---

可能的原因分析

1. 自监督聚类模块引入了非确定性因素

   • 自监督聚类模块通常依赖于某些随机操作，例如：
     • 聚类中心初始化：K-means 或其他聚类算法可能会基于随机初始化。
     • 数据增强：如果使用了数据增强技术（如图节点特征的扰动或图结构的扰动），这些操作通常是随机的。
   • 这些随机性会导致模型在不同训练过程中得到不同的结果。

2. 优化器的随机性

   • 如果使用的优化器（如 Adam）或其超参数（如学习率调度器、权重衰减等）引入了随机性，则可能导致结果不一致。
   • 例如，Adam 的初始动量和方差估计值可能因随机初始化而略有差异。

3. 梯度计算的非确定性

   • 在深度学习框架中，某些操作（如 Dropout、BatchNorm 等）在训练模式下会引入随机性。
   • 如果 GCN 模型中使用了这些操作，即使设置了随机种子，也可能导致梯度计算的结果不一致。

4. 模型的多模态特性

   • 多视角图聚类任务可能具有多个局部最优解，尤其是在加入了自监督聚类模块后，优化目标变得更加复杂。
   • 随机初始化和优化过程可能会导致模型收敛到不同的局部最优解。

5. 数据处理中的随机性

   • 如果在数据加载或预处理阶段引入了随机性（如数据 shuffle 或数据增强），即使设置了随机种子，也可能导致结果不一致。

---

解决方案

以下是针对上述问题的解决方案，按重要性和可行性排序：

1. 检查随机种子设置

确保在所有涉及随机性的模块中都正确设置了随机种子。例如：

• PyTorch 中需要设置 torch.manual_seed(seed) 和 torch.backends.cudnn.deterministic = True。
• NumPy 中需要设置 np.random.seed(seed)。
• 数据加载器中需要禁用 shuffle 或设置 worker_init_fn 来保证一致性。

代码示例：

import torch
import numpy as np

def setup_seed(seed):
    torch.manual_seed(seed)
    torch.cuda.manual_seed_all(seed)
    np.random.seed(seed)
    torch.backends.cudnn.deterministic = True

setup_seed(42)

2. 禁用不必要的随机操作

检查模型中是否使用了以下可能导致随机性的模块，并考虑禁用它们：

• Dropout：在预训练和正式训练阶段都禁用 Dropout。
• BatchNorm：在训练模式下 BatchNorm 的运行统计量可能引入随机性，可以尝试将 BatchNorm 替换为 LayerNorm 或固定其统计量。
• 数据增强：如果使用了数据增强技术，确保增强策略是确定性的。

代码示例：

# 禁用 Dropout
class GCNModel(nn.Module):
    def __init__(self, dropout=0.5):
        super(GCNModel, self).__init__()
        self.dropout = nn.Dropout(dropout) if dropout > 0 else None

    def forward(self, x):
        if self.dropout is not None:
            x = self.dropout(x)
        # 其他逻辑...

3. 固定优化器的超参数

确保优化器的超参数在整个训练过程中保持一致，例如：

• 学习率保持不变（禁用动态调整）。
• 动量参数固定。
• 权重衰减固定。

代码示例：

optimizer = torch.optim.Adam(model.parameters(), lr=0.001, weight_decay=5e-4)
scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=10, gamma=1.0)  # 禁用学习率下降

4. 使用确定性聚类方法

如果自监督聚类模块依赖于 K-means 或其他聚类算法，确保这些算法的初始化是确定性的。例如：

• 使用固定的初始聚类中心。
• 设置 K-means 的最大迭代次数为较小值以减少随机性。

代码示例：

from sklearn.cluster import KMeans

kmeans = KMeans(n_clusters=num_clusters, init='k-means++', n_init=1)  # 固定初始化
labels = kmeans.fit_predict(features)

5. 检查数据加载器的随机性

确保数据加载器中没有引入随机性。例如：

• 禁用 shuffle 参数。
• 设置 worker_init_fn 来保证数据加载的一致性。

代码示例：

from torch.utils.data import DataLoader

def worker_init_fn(worker_id):
    np.random.seed(torch.initial_seed() % (2**32 - 1))

data_loader = DataLoader(dataset, batch_size=32, shuffle=False, num_workers=4, worker_init_fn=worker_init_fn)

6. 使用固定的数据增强策略

如果使用了数据增强技术，确保增强策略是确定性的。例如：

• 使用固定的噪声生成函数。
• 固定图结构的扰动规则。

代码示例：

def deterministic_data_augmentation(graph):
    # 固定的图增强逻辑
    return augmented_graph

7. 检查硬件环境

• 确保在同一硬件环境下运行实验（避免 GPU 内部的并行计算引入随机性）。
• 如果使用分布式训练，确保所有进程之间的随机种子一致。

---

总结

通过以上步骤，可以有效减少结果的不确定性。关键在于：

1. 全面检查随机种子的设置。
2. 禁用不必要的随机操作。
3. 确保优化器和数据加载器的确定性。

如果问题仍然存在，可以通过记录每次训练的超参数和日志来进一步排查潜在的非确定性来源。