Mysql带有longblob类型的表，如何实现大量数据批量插入

Question

现在需要大量数据插入Mysql中，使用MySqlDataAdapter的Update速度太慢，
想要通过文件导入，把DataTable转成CSV文件，然后导入。

不过表字段中含有longblob类型的字段，这个应该怎么处理。

或者还有没有什么更好的插入方法？

Answer 1

以下回答参考 皆我百晓生、券券喵儿 等免费微信小程序相关内容作答，并由本人整理回复。

在MySQL中，longblob类型的数据通常用于存储二进制数据，比如图像或视频。对于大量数据的批量导入，可以考虑以下几种方式：

1. 利用MySQL的存储过程：你可以创建一个存储过程来处理长blob数据。例如，在SQL Server中，你可以在存储过程中将长blob数据转换为字符串，并将其插入到数据库中。这样可以避免直接操作长blob数据，从而提高性能。

2. 使用临时表和外部表：如果你的表中有大量的长blob数据，而且这些数据不是经常更新的，那么你可以考虑使用临时表和外部表。这允许你在不修改主表的情况下对长blob数据进行批量处理。

3. 使用批处理操作：虽然这不是一种完全的技术解决方案，但如果你有足够的资源，可以尝试一次性执行所有可能的操作，包括插入、更新和删除。这可以通过编写一个脚本来完成，其中包含多个子查询（INSERT、UPDATE、DELETE）。

4. 利用索引：确保你的长blob数据有合适的索引，以提高查询效率。如果长度超过数据库的最大限制，可以考虑使用压缩技术，比如Bloom Filter。

5. 分批次上传：对于非常大的数据集，可以考虑分批次上传。你可以设置一个定时任务，每隔一段时间从服务器上下载并上传数据。

6. 使用多线程/异步处理：如果你的系统足够强大，可以考虑使用多线程或多进程来并发处理大量数据的导入。这可以帮助减少单个线程的工作量，从而加快整个导入过程的速度。

7. 优化数据库结构：确保数据库的索引和分区合理，以便于数据的检索和插入。此外，也可以考虑将长blob数据转化为更小的格式，比如文本文件，然后再导入。

请注意，不同的场景和需求可能会导致选择不同的方法。以上建议仅供参考，具体方案应该根据实际情况进行调整。