list datatable遍历循环

Question

orderList 为数据库里三个月的订单数据，excel导入再转成datatable，根据datatable的快递号，再去orderList 里比对，快递号存在的话，取出店铺名，在赋值到datatable里的owner字段，发现运行好慢，七千多条数据要五分多钟，给个优化的意见呗

Answer 1

liujunjieonline 上午好☀️☀️☀️️
本答案参考通义千问

您提到的问题是关于遍历大数据量的DataTable并在其中查找匹配项时性能不佳。针对这个问题，以下是一些优化建议：

1. 数据预处理和缓存：

   • 对orderList进行排序或创建索引，以便快速查找快递号。
   • 如果可能，将频繁查询结果缓存起来，避免重复查询数据库。

2. 使用LINQ查询优化：

   • 使用Intersect或Except方法来找到快递号在dt中但不在orderList中的行，而不是每次单独查询。

var existingTrackNums = dt.AsEnumerable()
    .Select(row => row.Field<string>("Express or Ground Tracking ID"))
    .ToList();

var unmatchedOrders = orderList.Where(order => !existingTrackNums.Contains(order.TrackNo));

1. 减少IO操作：
   • 在写入新的Excel文件之前，确保所有需要的Owner值已经计算出来。
   • 将多个写入操作合并到一个文件操作中，减少文件系统I/O次数。

string[] owners = new List<string>();
foreach (DataRow row in dt.Rows)
{
    // ... 找到owner后，添加到owners列表
}

// 在这里一次性写入所有owner到新的Excel文件
using (FileStream fileStream = File.OpenWrite(directoryPath + "MatchOwnByTrackNum.xls"))
{
    // ... 将owners转换为byte[]，然后写入
}

1. 异步处理：

   • 如果操作允许，可以考虑使用异步编程模型（如Task或async/await）来提高并发处理能力。

2. 内存管理：

   • 避免在循环中创建大量临时字符串，例如使用StringBuilder替换string.Concat()。

3. 数据库连接池：

   • 如果使用的是数据库驱动，确保数据库连接池有效利用，避免频繁打开和关闭连接。

通过以上优化，应该能显著提升代码的执行速度。不过，具体的优化效果取决于数据集大小、硬件配置以及数据库查询性能等因素。如果性能问题依然严重，可能需要进一步分析SQL查询性能或者考虑使用更高效的数据结构。