pandas读取2.87G文件没有反应。注：已经使用chunk

Question

pandas读取2.87G文件没有反应。注：已经使用chunk

GPSpoint_chunks = pd.read_csv(r"D:\张2016年11月滴滴数据集\GPS成都\11.1\gps_20161101",
                              names=["driver_id", "order_id", "time", "lot", "lat"],
                              chunksize=100000)

chunk_list = []
for chunk in GPSpoint_chunks:
    chunk_list.append(chunk)
GPS_data = pd.concat(chunk_list)

# 读取的数据集是GPS轨迹点文件，有2.87个G大小。

Answer 1

不知道你这个问题是否已经解决, 如果还没有解决的话:

• 给你找了一篇非常好的博客，你可以看看是否有帮助，链接：pandas数据筛选（根据条件选择文件数据）

如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 以帮助更多的人 ^-^