场景是这样,采集了一部分数据,大概十几二十兆的样子,现在要把它用程序读取处理一下并且入库,想请问一下各位同仁有没有什么好一点的意见,麻烦指教一下。注:已知的是phpExcel的load和toArray最耗费时间,设置超时时间,还有调大php内存限制,还有就是在处理的时候直接组合成sql来直接执行,我这边就这么多了。请多多指教。
3条回答 默认 最新
- compbookjunkie 2017-10-06 14:32关注
如果是.xlsx文件的话,使用spreadsheet-reader是最好的选择https://github.com/nuovo/spreadsheet-reader
因为phpExcel会把整个文件都装载进内存,对于大文件来说是致命的,而spreadsheet-reader是用的流式解析,速度很快。.csv和.ods也可以读取的
另外,https://github.com/akeneo/spreadsheet-parser也可以流式读取。如果是.xls文件的话,建议先转换一下,因为这个展示没有流式读取的方法。
解决 无用评论 打赏 举报
悬赏问题
- ¥88 找成都本地经验丰富懂小程序开发的技术大咖
- ¥15 如何处理复杂数据表格的除法运算
- ¥15 如何用stc8h1k08的片子做485数据透传的功能?(关键词-串口)
- ¥15 有兄弟姐妹会用word插图功能制作类似citespace的图片吗?
- ¥200 uniapp长期运行卡死问题解决
- ¥15 请教:如何用postman调用本地虚拟机区块链接上的合约?
- ¥15 为什么使用javacv转封装rtsp为rtmp时出现如下问题:[h264 @ 000000004faf7500]no frame?
- ¥15 乘性高斯噪声在深度学习网络中的应用
- ¥15 关于docker部署flink集成hadoop的yarn,请教个问题 flink启动yarn-session.sh连不上hadoop,这个整了好几天一直不行,求帮忙看一下怎么解决
- ¥15 深度学习根据CNN网络模型,搭建BP模型并训练MNIST数据集