1w条的excel表格导入mysql数据中性能的问题

业务规则:1w条的excel表格导入mysql数据中,同时要校验数据的完整性和合法行以及判断是否是第一次导入;excel中每行记录对应数据库中两个表;原来的方案是把excel直接导入到临时表中,然后通过存储过程再把临时表数据中满足条件的数据抽取到目标表中;现在发现一个问题导入到临时表话费了将近100秒,再通过存储过程抽取到目标表(占时还没有写存储过程转换)中又将花费好多时间这给用户带来的体验不是很好。
在这里请问各位有没有好的解决方案!!!!比如有好的技术解决方案或业务解决方案都可以

3个回答

验证数据完整性后,进行批量操作

先用脚本代码对文件进行完整性验证,这样对于数据库就只需要一次性导入了、把时间放到脚本代码,而不是由数据库来做,效率要高

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问
相关内容推荐