蛋王 2015-02-03 19:04 采纳率: 50%
浏览 1450
已采纳

SOS上百万的数据插入数据库问题

每天定时从FTP上下载一份上百万数据量的压缩文件到服务器,然后解压,再然后读取这批文件,一个文件可能就1KB,可能一个文件夹里有上百万个文件,怎样快速的读取这批文件的信息,然后插入数据库呢,读完一个文件要同时把这个文件备份到另一个目录下,同时原目录下这个文件也要删除,请问各位大神,有什方法可以快速的写入数据,有没有demo参考一下,本人是菜鸟中菜鸟来的!

  • 写回答

1条回答 默认 最新

  • oyljerry 2015-02-03 19:20
    关注

    这个基本上选取一个你熟悉的脚本语言来做,就比较简单
    比如python
    你用urllib库下载文件,ZipFile解压,open打开文件,读取内容,通过mysql存储数据库,mysqldb类库存入数据库,shutil类库删除文件

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
编辑
预览

报告相同问题?

手机看
程序员都在用的中文IT技术交流社区

程序员都在用的中文IT技术交流社区

专业的中文 IT 技术社区,与千万技术人共成长

专业的中文 IT 技术社区,与千万技术人共成长

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

客服 返回
顶部