如何用Python快速读取MongoDB数据为DataFrame格式

Question

lis = list(table.find())
df = pd.DataFrame(lis)
这个方法读取速度太慢，无法满足需求,有没有什么办法可以快速读取为DataFrame
ps：数据量有点大

Answer 1

你直接查询了MongoDB表的所有数据肯定慢。
你可以将MongoDB的数据先查询保存为10-50万记录一个csv文件，再用pandas去加载这些csv，加载过程就会很快。