要如何用Pandas打开和处理超大的CSV文件？

Question

要如何用Pandas打开和处理超大的CSV文件？
刚开始学遇到需要处理公交GPS数据的情况，一天的GPS数据就有7G。试了很多人发的读取所有的chunk块并将所有块拼接成一个DataFrame的方法，但是文件太大了还是会特别卡，最后报错。

Answer 1

望采纳

可以参考如下2个资料：

• Pandas太慢？快使用Vaex DataFrame，每秒数亿数据算起来 ⛵_ShowMeAI的博客-CSDN博客_vaex 转化 pandas 本文详细介绍了Vaex这个强大的工具库，能够每秒处理数亿甚至数十亿行数据，而无需将整个数据集加载到内存中。对于大型数据的分析任务，Vaex的效率更简单，对硬件/环境的要求更少！pandas升级版！快用起来吧~ https://showmeai.blog.csdn.net/article/details/127964487
• https://www.jianshu.com/p/a5605a8710c6

csv格式读取大文件本身很慢，建议一次读取处理后存成pickle格式或者Parquet、Feature格式。