K-means算法迭代结果怎么去分析？

Question

我根据学历和平均薪资，想分析不同学历和薪资水平的分布情况，我把x轴设为0-7的不同学历类别，y轴为平均薪资，我根据kmeans算法中的肘部法，确定最佳聚类数为4（图中显示的话是不是3也可以？）下图为肘部法分析的结果

后面我迭代了4次，出来这样的图，发现聚类中心点聚集在数据点周围，这是不是我聚类的不好，又怎么分析这个图呢？主要是这个图怎么去分析不太知道，麻烦大家了

Answer 1

引自免费微信小程序：皆我百晓生

首先，让我们逐步分析你的问题，并提供相应的建议。

步骤一：理解肘部法则选择聚类个数

肘部法是通过计算不同聚类数量下的总平方误差（Sum of Squared Errors, SSE）来选择最佳聚类个数的一种方法。从图1来看，随着聚类数量的增加，SSE逐渐下降，但当聚类数量增加到一定程度时，下降速度明显放缓，形成了一个"肘部"形状。通常选择肘部位置对应的聚类数作为最优值。在这个例子中，看起来肘部可能出现在3或4个聚类处，具体选择取决于实际应用的业务需求和对数据的理解。如果你更倾向于稳定的性能提升，可能会选择4个聚类。

步骤二：评估聚类效果

从图2看，你已经将数据按照4个聚类进行了可视化。每个聚类中心点（用十字标记表示）位于其对应的数据点群集中，这表明聚类算法成功地将相似的数据分到了一起。然而，你提到聚类中心点聚集在数据点周围，这并不意味着聚类效果不好。实际上，这意味着K-Means算法找到了数据集中的主要模式，并将聚类中心设置在这些模式的中心附近。

要分析这个图，可以考虑以下几个方面：

1. 聚类中心与数据分布：观察聚类中心是否合理反映了数据的主要趋势。如果聚类中心接近大多数数据点，那么聚类可能是有效的。
2. 类内离散度：检查每个聚类内的数据点分布。理想的聚类应具有较小的内部差异，即数据点集中在同一个区域。可以计算每个聚类的标准差来量化这一点。
3. 类间距离：观察不同聚类之间的距离。理想情况下，聚类之间应该有明显的差距，以便于区分不同的群体。
4. 可视化：尝试改变坐标轴比例，确保所有的聚类都能清晰地看到。

步骤三：进一步改进

如果想要优化聚类结果，可以尝试以下策略：

• 使用不同的初始化方法，比如K-Means++，来得到更好的初始聚类中心。
• 调整迭代次数，确保算法充分收敛。
• 如果数据分布非凸形或存在噪声，可能需要尝试其他聚类算法，如DBSCAN、谱聚类等。

下面是一个简单的Python代码示例，用于计算每个聚类的标准差并打印结果：

import numpy as np
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt

# 假设 data 是你的二维数据，这里我们使用随机数据作为示例
np.random.seed(0)
data = np.random.rand(100, 2) * 100

# 初始化KMeans模型
kmeans = KMeans(n_clusters=4)

# 拟合数据
kmeans.fit(data)

# 获取聚类标签
labels = kmeans.labels_

# 计算每个聚类的标准差
cluster_stds = []
for i in range(4):
    cluster_data = data[labels == i]
    std_dev = np.std(cluster_data, axis=0)
    cluster_stds.append(std_dev)

# 打印标准差
print("Cluster standard deviations: ", cluster_stds)

# 可视化聚类结果
plt.scatter(data[:, 0], data[:, 1], c=kmeans.labels_, cmap='viridis')
plt.scatter(kmeans.cluster_centers_[:, 0], kmeans.cluster_centers_[:, 1], marker='X', color='red')
plt.show()

这段代码首先加载数据，然后执行K-Means聚类，接着计算每个聚类的标准差并打印，最后绘制聚类结果。你可以替换data变量为你的真实数据，然后运行这段代码来获取详细的分析结果。