如何用MATLAB高效读取大型文本文件？

Question

在处理大数据量的文本文件时，MATLAB默认的读取方式（如`textread`或`importdata`）往往效率低下，甚至导致内存溢出。那么，如何用MATLAB高效读取大型文本文件？一个常见的技术问题是：**如何逐块读取超大文本文件并有效解析其中的数据？** 解决思路包括使用`fopen`、`fgetl`或`textscan`逐行或分块读取，避免一次性加载整个文件；结合正则表达式或固定格式解析字段；合理预分配内存，减少循环中数据拼接的开销。此外，利用`datastore`函数也是处理大型文本数据的有效手段之一。

Answer 1

1. MATLAB默认文本读取方式的局限性

在处理大型文本文件时，MATLAB提供的传统函数如textread和importdata往往存在明显的性能瓶颈。这些函数通常会尝试一次性将整个文件加载到内存中，对于GB级别的文件，这很容易导致内存溢出（Out of Memory）或显著降低程序运行效率。

例如，使用importdata读取一个包含数百万行的CSV文件可能导致MATLAB响应迟缓甚至崩溃。其根本原因在于缺乏对数据流式处理的支持。

2. 基于文件句柄的逐行读取方法

为避免一次性加载整个文件，可以使用fopen、fgetl或fread等底层文件操作函数，实现逐行读取文本文件。

• fopen：打开文件并返回文件句柄
• fgetl：每次读取一行文本（去除换行符）
• feof：判断是否到达文件末尾

fid = fopen('largefile.txt', 'r');
data = {};
while ~feof(fid)
    line = fgetl(fid);
    % 解析line并追加到data中
end
fclose(fid);

3. 使用textscan进行分块读取与结构化解析

textscan函数允许基于格式字符串读取文本数据，适用于固定格式的大文件处理。结合fread可实现分块读取。

以下代码展示如何每次读取1000行并解析为数值矩阵：

fid = fopen('largefile.txt', 'r');
formatSpec = '%f %f %f %f';
blockSize = 1000;
allData = [];
while ~feof(fid)
    block = textscan(fid, formatSpec, blockSize);
    allData = [allData; block{1}];
end
fclose(fid);

该方法减少了内存峰值，同时保持了较高的解析效率。

4. 使用正则表达式进行灵活解析

当文本格式不固定时，可使用regexp函数结合正则表达式进行字段提取。

例如，提取每行中的数字字段：

line = 'ID: 123, Value: 45.67';
tokens = regexp(line, '\d+\.?\d*', 'match');

该方式适用于日志文件、非结构化文本等复杂格式的解析。

5. 内存预分配与数据拼接优化

在循环中不断拼接数组会导致性能下降。为提高效率，应预先分配足够大小的数组空间。

方法	效率对比
动态扩展数组	低效
预分配数组	高效

示例代码：

maxLines = 1e6;
preAllocated = zeros(maxLines, 1);
count = 0;
while ~feof(fid)
    count = count + 1;
    preAllocated(count) = str2double(fgetl(fid));
end

6. 使用datastore处理大型文本数据

MATLAB R2016a及以上版本引入了datastore函数，支持对大型文本文件进行分块读取和分析。

示例：

ds = datastore('largefile.csv', 'TreatAsMissing', 'NA');
data = readall(ds);

其优势在于：

• 支持CSV、TXT、Excel等多种格式
• 可与mapreduce配合进行分布式处理
• 自动处理缺失值和类型转换

7. 高级优化技巧与流程图

为了更系统地优化文本文件的读取流程，可以采用如下策略：

• 选择合适的解析方式（固定格式 vs 正则匹配）
• 分块读取并并行处理
• 结合parfor加速循环处理

流程图如下：

graph TD
    A[打开文件] --> B{是否到达文件末尾?}
    B -- 否 --> C[读取一行/一块]
    C --> D[解析数据]
    D --> E[追加到结果集]
    E --> B
    B -- 是 --> F[关闭文件]