MATLAB中如何对数据表随机排序并按7:3比例划分训练集和测试集？

Question

在MATLAB中处理数据集时，如何随机打乱数据表并按7:3比例划分训练集和测试集？假设数据存储在表格变量`dataTable`中，可以使用`randperm`函数随机排序行索引，然后根据比例分割。例如：先获取打乱后的行索引`idx = randperm(height(dataTable));`，接着按7:3比例分配：`trainIdx = idx(1:round(0.7*height(dataTable)));` 和 `testIdx = idx(round(0.7*height(dataTable))+1:end);`。最后通过`dataTable(trainIdx,:)`和`dataTable(testIdx,:)`分别提取训练集和测试集。这种操作常见于机器学习任务的数据预处理阶段，但需要注意确保数据分布一致性，尤其是在分类问题中可能需要分层采样。如何实现更复杂的分层随机划分？

Answer 1

1. 基础数据划分方法

在MATLAB中，随机打乱数据并按比例划分训练集和测试集是一项基本操作。以下是使用randperm函数实现7:3比例划分的步骤：

• 首先获取数据表的高度：`height(dataTable)`。
• 生成随机排列的行索引：`idx = randperm(height(dataTable));`。
• 根据比例分割索引：`trainIdx = idx(1:round(0.7*height(dataTable)));` 和 `testIdx = idx(round(0.7*height(dataTable))+1:end);`。
• 提取训练集和测试集：`dataTable(trainIdx,:)` 和 `dataTable(testIdx,:)`。

这种方法适用于简单的回归或分类任务，但未考虑数据分布的一致性。

2. 数据分布一致性的挑战

在分类问题中，简单随机划分可能导致训练集和测试集中各类别的样本比例不均衡。例如，如果某一类别样本较少，它可能全部进入训练集或测试集，导致模型性能评估失真。

为解决这一问题，需要采用分层采样的方法，确保训练集和测试集中各类别样本的比例与整体数据一致。

% 示例代码：统计类别分布
categories = unique(dataTable.Label);
categoryCounts = histcounts(dataTable.Label, [categories; max(categories)+1]);
disp(categoryCounts);

3. 分层随机划分的实现

分层随机划分的核心思想是先按类别对数据进行分组，再在每个类别内独立地进行随机划分。以下是具体步骤：

1. 按类别对数据进行分组。
2. 在每个类别内生成随机索引并按比例划分。
3. 合并所有类别的训练集和测试集索引。

以下是实现代码示例：

% 按类别分层划分
trainIdx = [];
testIdx = [];
for category = categories
    % 提取当前类别对应的行
    categoryRows = find(dataTable.Label == category);
    shuffledCategoryRows = categoryRows(randperm(length(categoryRows)));
    
    % 按比例划分
    trainSize = round(0.7 * length(shuffledCategoryRows));
    trainIdx = [trainIdx, shuffledCategoryRows(1:trainSize)];
    testIdx = [testIdx, shuffledCategoryRows(trainSize+1:end)];
end

% 提取训练集和测试集
trainSet = dataTable(trainIdx,:);
testSet = dataTable(testIdx,:);

4. 流程图说明

以下是一个分层随机划分的流程图，清晰展示了从数据准备到最终划分的全过程：

graph TD;
    A[加载数据] --> B[统计类别分布];
    B --> C{是否需要分层?};
    C --是--> D[按类别分组];
    D --> E[类别内随机排序];
    E --> F[按比例划分];
    C --否--> G[全局随机排序];
    G --> H[按比例划分];
    F & H --> I[提取训练集和测试集];

流程图中的决策节点“是否需要分层”决定了后续的具体操作路径。

5. 扩展讨论：更复杂的场景

在实际应用中，可能会遇到更复杂的数据划分需求，例如：

• 时间序列数据：不能随机打乱，需按时间顺序划分。
• 交叉验证：将数据划分为多个子集以进行多次训练和验证。
• 不平衡数据：通过过采样或欠采样调整类别比例。

针对这些场景，可以结合MATLAB的高级工具箱（如Statistics and Machine Learning Toolbox）实现更精细的操作。