场景是这样,采集了一部分数据,大概十几二十兆的样子,现在要把它用程序读取处理一下并且入库,想请问一下各位同仁有没有什么好一点的意见,麻烦指教一下。注:已知的是phpExcel的load和toArray最耗费时间,设置超时时间,还有调大php内存限制,还有就是在处理的时候直接组合成sql来直接执行,我这边就这么多了。请多多指教。
3条回答
- compbookjunkie 2017-10-06 14:32关注
如果是.xlsx文件的话,使用spreadsheet-reader是最好的选择https://github.com/nuovo/spreadsheet-reader
因为phpExcel会把整个文件都装载进内存,对于大文件来说是致命的,而spreadsheet-reader是用的流式解析,速度很快。.csv和.ods也可以读取的
另外,https://github.com/akeneo/spreadsheet-parser也可以流式读取。如果是.xls文件的话,建议先转换一下,因为这个展示没有流式读取的方法。
解决 无用评论 打赏 举报
悬赏问题
- ¥100 求数学坐标画圆以及直线的算法
- ¥35 平滑拟合曲线该如何生成
- ¥100 c语言,请帮蒟蒻写一个题的范例作参考
- ¥15 名为“Product”的列已属于此 DataTable
- ¥15 安卓adb backup备份应用数据失败
- ¥15 eclipse运行项目时遇到的问题
- ¥15 关于#c##的问题:最近需要用CAT工具Trados进行一些开发
- ¥15 南大pa1 小游戏没有界面,并且报了如下错误,尝试过换显卡驱动,但是好像不行
- ¥15 自己瞎改改,结果现在又运行不了了
- ¥15 链式存储应该如何解决