python怎么读取超大文件，要进行训练的文件

文件20G，读一部分就会报错，尝试过pandas的分块读取，还剩不能解决问题

怎样才能一次读取完成，求解

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除
收藏举报

2条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
不会长胖的斜杠后端领域新星创作者 2022-05-17 11:33
关注
一个20G的文档估计是读不完，你可以读一部分处理一部分

本回答被题主选为最佳回答 , 对您是否有帮助呢?

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

查看更多回答(1条)

报告相同问题？

关注问题

python怎么读取超大文件，要进行训练的文件 python
2022-05-17 11:23

回答 2 已采纳一个20G的文档估计是读不完，你可以读一部分处理一部分
python修改csv文件后读取csv文件失败 python
2022-04-24 16:46

回答 1 已采纳不要用utf-8 换成gbk
Python读取文件的报错，该如何调整数据集位置 python 有问必答机器学习
2021-10-21 09:41

回答 2 已采纳 DataPath = './faces/'OutPath = './imgs/'如果faces和当前py文件在同一个文件夹下，就直接去掉./，imgs同理如果还是不行，你就截个图让我们看一下你的当前文
python读取并修改XML文件
2020-12-22 05:39

在VOC格式的SSD训练数据标签中添加图片宽高等信息，并进行坐标越界检查。 # coding: utf-8 import os from xml.etree.ElementTree import ElementTree,Element from PIL import Image def read_xml(in_path): ''''...
python读取csv文件遇到编码问题（自己批量生成多条摘要形成的csv） python
2022-03-29 11:39

回答 2 已采纳 data=data.astype(str) 改成 data.astype(str)
tensorflow 训练完后如何测试？尝试读取文件，报错了。 python tensorflow 深度学习
2022-08-01 00:41

回答 1 已采纳 Set up your data format vector and pass it into the Model for inference
python :need at least one array to concatenate python
2021-04-19 11:39

回答 1 已采纳如果传给np.dstack()的参数是一个空的列表或元组，就会抛出题主给出的错误信息。建议在数组深度合并前，检查一下X的长度，大概率是空的。 >>> import numpy a
使用Python读取XML文件
2020-06-12 16:56

使用Python读取XML文件，并且如何读取数据集的内容，获得数据集的标签，将其运用到训练过程中，通过该文件学会如何读取XML文件的内容，最终实现自己的数据集读取
如何将训练好的BP神经网络模型保存并可以在其他py文件中直接调用？ python 有问必答机器学习神经网络
2021-06-09 10:53

回答 2 已采纳这个需要建立字典封装起来
Python数据切分 python 有问必答
2021-07-02 16:50

回答 1 已采纳读取文件的数据存放在列表中，用random.sample()随机选择80%的数据下标，根据下标把数据分成功两组例子代码如下：（如有帮助，望采纳！谢谢! 点击我这个回答右上方的【采纳】按钮） imp
Python朴素贝叶斯模型的应用问题 jupyter pycharm python
2021-10-13 10:19

回答 2 已采纳 jupyter 应该是命令行输入输出如果想在pycharm看到相应输出需添加print打印如:print(df.head()) 亦或者在pycharm中创建terminal来执行此py文件
python读取tsv文件_Python 读写 tsv
2020-12-09 17:16

weixin_39781594的博客 Python操作csv和excel的教程随处可见，可惜我遇到的是tsv，然后可搜到的资料屈指可数，在经历了一番努力之后终于找到了解决方案，顺手还研究了一波文件读取，写下来记录一下。首先上成果，伸手党自取：import csv...
Python 栈溢出 Process finished with exit code -1073741571 (0xC00000FD) python 机器学习
2022-05-21 17:06

回答 3 已采纳 39行的array改成全局的再运行看看 array = [[0] * 1] * 165312
python读取手机文件_python 读取网络文件
2020-12-20 12:07

weixin_39618456的博客输入与输出大致可分为三类:0.1 读取文本文件和其他更好效的磁盘存储格式2.2 使用数据库中的数据0.3 利用Web API操作网络资源1. 读取文本文件和其他更好效的磁盘存储格式pandas提供了一些用于将表格型数据读取为D......
Python从数据库读取大量数据批量写入文件的方法
2020-12-25 10:22

下面是代码作用是将数据从数据库读取出来分批次写入txt文本文件，方便我们做数据的预处理和训练机器学习模型。 #%% import pymssql as MySQLdb #这里是python3 如果你是python2.x的话，import MySQLdb #数据库连接...
没有解决我的问题, 去提问

问题事件

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
系统已结题 6月1日
关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
已采纳回答 5月24日
关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
创建了问题 5月17日

悬赏问题

¥100 set_link_state
¥15 虚幻5 UE美术毛发渲染
¥15 CVRP 图论物流运输优化
¥15 Tableau online 嵌入ppt失败
¥100 支付宝网页转账系统不识别账号
¥15 基于单片机的靶位控制系统
¥15 真我手机蓝牙传输进度消息被关闭了，怎么打开？(关键词-消息通知)
¥15 装 pytorch 的时候出了好多问题，遇到这种情况怎么处理？
¥20 IOS游览器某宝手机网页版自动立即购买JavaScript脚本
¥15 手机接入宽带网线，如何释放宽带全部速度

python怎么读取超大文件，要进行训练的文件

文件20G，读一部分就会报错，尝试过pandas的分块读取，还剩不能解决问题

怎样才能一次读取完成，求解

2条回答 默认 最新

问题事件

悬赏问题

2条回答默认最新