机器学习——电力用户数据处理分析

Question

1.用电数据中有部分house数据缺失（NaN格式），请用合适的方法将数据补齐。

2.数据可视化--将数据以合适的形式进行可视化展示。
3.数 据异常值检测-选择合适的算法进行异常值检测，检查原始数据是否有异常值。
4.采用聚类算法(算法自选，但要有自己的改进之处)分.析用户用电行为，并对聚类结果做出合理解 释。
5.查询“电力用户画像” 相关文献，尝试对house进画像。
数据缺少的数据集为House 3 House5，（共有House1—13，15—20）
House3数据列名解释如下：
0.Aggregate, 1.Toaster 2.Fridge-Freezer, 3.Freezer, 4.Tumble Dryer,
5.Dishwasher, 6.Washin g Machine, 7.Television Site, 8.Microwave, 9.Kettle
House 5 数据列名解释如下：
0.Aggregate, 1.Fridge-Freezer, 2.Tumble Dryer 3. Washing Machine, 4.Dishwa sher,
5.Desktop Computer, 6. Television Site, 7.Microwave, 8.Kettle, 9.Toaster
House3数据如图

Answer 1

1. 用电数据缺失值补齐

针对House3和House5缺失数据（NaN格式），可以采用以下方法：

• 均值填充：对于数值型数据，计算该特征列的均值来填充缺失值。假设用电数据存储在DataFrame中，以Python代码实现，对于House3的‘Aggregate’列：

  import pandas as pd
  house3_data = pd.read_csv('house3_data.csv')
  mean_value = house3_data['Aggregate'].mean()
  house3_data['Aggregate'].fillna(mean_value, inplace=True)
  

• 中位数填充：当数据存在偏态分布时，中位数是更好的填充选择。例如对于House5的‘Fridge-Freezer’列：

  house5_data = pd.read_csv('house5_data.csv')
  median_value = house5_data['Fridge-Freezer'].median()
  house5_data['Fridge-Freezer'].fillna(median_value, inplace=True)
  

• 插值法：使用线性插值等方法填充缺失值。以House3的‘Washing Machine’列为例：

  house3_data['Washing Machine'].interpolate(method='linear', inplace=True)
  

2. 数据可视化

• 折线图：展示用电量随时间的变化趋势。假设数据中有时间列‘time’和用电量列‘consumption’：

  import matplotlib.pyplot as plt
  house3_data = pd.read_csv('house3_data.csv')
  time_series = house3_data['time']
  electricity_consumption = house3_data['consumption']
  plt.plot(time_series, electricity_consumption)
  plt.xlabel('Time')
  plt.ylabel('Electricity Consumption')
  plt.title('House3 Electricity Consumption Over Time')
  plt.show()
  

• 柱状图：比较不同House的总用电量。先按House分组计算总用电量：

  all_house_data = pd.read_csv('all_house_data.csv')
  house_groups = all_house_data['House']
  consumption_by_house = all_house_data.groupby('House')['consumption'].sum()
  plt.bar(house_groups, consumption_by_house)
  plt.xlabel('House')
  plt.ylabel('Total Electricity Consumption')
  plt.title('Electricity Consumption Comparison Among Houses')
  plt.show()
  

• 箱线图：检测数据的分布和异常值。以House5的‘Aggregate’列数据为例：

  house5_data = pd.read_csv('house5_data.csv')
  plt.boxplot(house5_data['Aggregate'])
  plt.ylabel('Electricity Consumption')
  plt.title('Box Plot of House5 Aggregate Consumption')
  plt.show()
  

3. 数据异常值检测

• 基于统计的3σ原则：适用于近似正态分布的数据。以House3的‘Kettle’列为例：

  import pandas as pd
  house3_data = pd.read_csv('house3_data.csv')
  mean = house3_data['Kettle'].mean()
  std = house3_data['Kettle'].std()
  lower_bound = mean - 3 * std
  upper_bound = mean + 3 * std
  outliers = house3_data[(house3_data['Kettle'] < lower_bound) | (house3_data['Kettle'] > upper_bound)]
  

• 基于机器学习的Isolation Forest算法：能处理复杂数据分布。以House5的数据为例：

  from sklearn.ensemble import IsolationForest
  import pandas as pd
  house5_data = pd.read_csv('house5_data.csv')
  model = IsolationForest(contamination=0.05)
  house5_data['anomaly'] = model.fit_predict(house5_data[['Aggregate']])
  anomalies = house5_data[house5_data['anomaly'] == -1]
  

4. 采用聚类算法分析用户用电行为

选择K-Means聚类算法并进行改进。传统K-Means算法随机初始化聚类中心，可能导致结果不稳定。改进方法是多次随机初始化聚类中心，选择聚类效果最好（SSE，Sum of Squared Errors最小）的结果。

from sklearn.cluster import KMeans
import pandas as pd
import numpy as np

# 假设所有房屋数据合并在一个DataFrame中，选择部分特征进行聚类
all_house_data = pd.read_csv('all_house_data.csv')
features = ['Aggregate', 'Fridge-Freezer', 'Washing Machine']
data = all_house_data[features]

sse_list = []
for _ in range(10):  # 尝试10次不同的初始化
    kmeans = KMeans(n_clusters=3, init='random', max_iter=300, n_init=1, max_no_improvement=10)
    kmeans.fit(data)
    sse_list.append(kmeans.inertia_)

best_index = np.argmin(sse_list)
kmeans_best = KMeans(n_clusters=3, init='random', max_iter=300, n_init=1, max_no_improvement=10)
kmeans_best.fit(data)
all_house_data['cluster'] = kmeans_best.labels_

# 聚类结果解释
# 聚类0可能代表用电设备使用频率较低、用电量少的用户；聚类1可能是中等用电量用户，有一定的常用电器使用；聚类2可能是高用电量用户，可能使用了大功率电器或者使用电器的时长较长

5. 电力用户画像

通过查询“电力用户画像”相关文献，发现电力用户画像通常从多个维度构建，如：

• 基本信息：包括房屋编号（如House3、House5等）、所属区域等。
• 用电行为特征：平均用电量、用电高峰时段、用电设备使用频率等。对于House3和House5，可以根据数据计算各设备的平均用电时长、每日用电量的分布等。
• 用电模式：例如是否为峰谷电价用户，根据用电时间和用电量判断用户属于哪类用电模式，如夜间用电较多可能是适合峰谷电价的用户。
• 用电趋势：分析一段时间内用电量的变化趋势，是逐渐增加、减少还是保持稳定，以了解用户的用电需求变化。