efcore批量写数据慢怎么办

Question

调用ef core的仓储，比如说

```
await _repository.InsertManyAsync(dataList);

```c#

如果数据量较大的话会直接导致中断，报错
2024-09-09 19:16:48.704221 ThreadID:31 (ERROR) OracleExecutionStrategy.ExecuteAsync() : System.Threading.Tasks.TaskCanceledException: A task was canceled.

如何解决啊,数据库是oracle 11g

Answer 1

以下回复参考：皆我百晓生、券券喵儿等免费微信小程序作答:

遇到 EF Core 在批量写入数据时性能不佳的问题，尤其是在 Oracle 数据库上，可以采取以下几种策略来解决：

1. 调整事务大小: 如果在批量操作中开启了事务，可以考虑调整事务的大小，确保一次事务处理的记录数量合理。大量数据的操作可能会因为事务过大而导致性能问题。

2. 分批插入: 不直接插入所有数据列表中的所有数据，而是将它们分批处理。可以使用循环分批插入数据，例如每批插入几百条记录，而不是一次性插入大量数据。这样可以让操作更加稳定，避免内存压力。

const int batchSize = 500; // 根据实际情况调整批次大小
for (int i = 0; i < dataList.Count; i += batchSize)
{
    var batch = dataList.Skip(i).Take(batchSize).ToList();
    await _repository.InsertManyAsync(batch);
}

确保仓储层中的 InsertManyAsync 方法能够正确处理分批插入逻辑。

1. 使用原生SQL操作: 在某些情况下，使用原生SQL操作可能比使用EF Core的ORM层更高效。尝试编写批量插入的SQL语句，直接在数据库层面执行，可能会获得更好的性能。Oracle 支持使用BULK COLLECT和FORALL语法来进行高效批量插入。但这也涉及到数据库架构变更和风险分析。

2. 优化数据库配置: 检查Oracle数据库的配置，确保它能够高效地处理大量数据插入操作。可能需要调整数据库参数以提高性能，比如增加undo表空间大小等。请与数据库管理员合作完成这些配置更改。

3. 检查网络延迟: 如果应用程序服务器和数据库服务器不在同一网络中，网络延迟也可能导致任务超时或取消。确保网络连接良好，尽量减少网络传输时间。

4. 错误处理和超时: 考虑调整代码中的超时设置以及错误处理逻辑，使其能够妥善处理长时间运行的操作和可能的超时情况。避免由于超时引发的异常中断操作。

5. 日志和监控: 启用日志记录和监控工具来跟踪性能瓶颈和可能的瓶颈点。这可能帮助你定位是EF Core层面还是数据库层面的问题，从而更有针对性地解决问题。

6. 升级EF Core版本和Oracle提供程序: 确保你使用的EF Core和Oracle提供程序是最新版本，有时候升级这些库能解决性能问题或者已知的错误。同时确认是否有关于批量操作的改进或者补丁可用。

在进行任何更改之前，请确保进行充分的测试以验证解决方案的有效性并评估其对系统性能的影响。此外，始终在生产环境部署之前在测试环境中进行充分的性能测试和验证。