有大佬知道如何用python多进程处理excel里面的数据吗？还有这种方法效率高不高？

本人python菜鸟，需要处理一个有2000多万条的excel数据表格，所以希望使用多进程编程实现提高效率，但是找不到适合的例子可以参考，特意来询问大佬们。

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

1条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
放风喽 2020-03-04 03:11
关注
逐行读取出来，存到数据库，加上状态-未处理
开多线程处理，取出一个，就把状态改为-占用，
结束一个就把状态改为-结束
这样这个多线程程序就可以任意的开启和停止。
想几天干完都行
开启的时候，把-占用全部改为-未处理，

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

求解！python可以处理Mac OS的Numbers表格吗？ python
2020-12-30 21:13

回答 2 已采纳 numbers可以export成csv，然后用pandas就可以导入成DataFrame了，再转numpy啥的就是各展神通了
请问大佬们，用python二分查找，我这样写有问题吗？ python
2018-10-05 09:34

回答 2 已采纳不知道你要查找的是数据在排序后数组的位置还是排序前的，如果是排序后的就是正确的。（话说为何不用内置函数index()？用python列表类比C数组有些怪怪的hhh）代码最大的问题大概是没有考虑函数
我用python搭建游戏为什么黑屏有一个解决方案吗?各位大佬 python
2019-07-20 19:10

回答 2 已采纳别人的代码能正常运行吗？如果是的话，还是要仔细比对一下区别。找个文本比对工具比对一下。
【python进阶】python多线程的实现方法，你还不知道吗？
2022-09-07 20:01

生鱼同学的博客多线程编程是一个非常重要的编程思想，理解多线程编程有助于我们更好的理解设计模式。
用python 模拟cmd 打开浏览器，报错，直接在cmd运行是正常的，有大佬知道吗 python 有问必答
2021-04-19 17:34

回答 5 已采纳之前遇到过类似的问题您可以尝试使用 os.popen('chrome.exe --remote-debugging-port=9222 --user-data-dir="D:\Learn\selen
python爬小说，正文怎么都换不了行，怎么办？ python
2022-04-17 19:49

回答 1 已采纳 1、你的循环没有退出的语句，没有页数，就出错了。 2、正文不换行的问题改一下代码 for x in text: f.write(x) f.write('\r\n') # 改
python 创建多进程时 args参数传递self.xxxx报错 python
2021-01-14 11:42

回答 1 已采纳我没看到你的全部代码，不过可以估计得出报错的原因。请记住多进程之间数据隔离，我想可能是你没注意到数据隔离的原因，访问了访问不到的属性。另外多任务编程，记住IO多计算少应该用多线程编程，计算多I
Python多进程写入Excel调用start()出现异常
2022-07-13 13:17

盾牌prince的博客因为调用xlwings输入excel数据较慢，因此希望使用多进程来加快运行速度但实际使用下来发现Python使用多线程调用start（）函数会出现异常使用run（）则OK，但是就不满足多线程同时运行的初衷了水平有限希望有懂的...
Python可以实现拼接时间和日期吗？ python
2020-01-17 18:53

回答 1 已采纳 ``` # encoding: utf-8 import datetime datestring = "2020-01-01 " + datetime.datetime.strftime
用Python怎么读写Excel？求告知思路 python
2021-11-07 14:24

回答 2 已采纳读写Excel，csv,我觉得pandas就能很好解决，而且还能数据处理，你可以看看这篇文章，希望能给到你帮助。我用#CSDN#这个app发现了有技术含量的博客，小伙伴们求同去《学习pandas，这一
求助!!!为什么python里读取数据都读取不了啊？我用了好几种方法都显示错误，如下图，求求大佬解答 python
2020-06-25 14:12

回答 2 已采纳 1、第一种写法，使用read__excel时可看到最后提示说是少了xlrd，你需要安装下这个xlrd库。直接使用pip安装就行了_，分析： _查看read__excel的用法，它调用了Excel
python多进程(类成员函数、log在多进程中使用、自己维护进程池)
2022-06-22 20:09

文锦渡的博客主要是为了记录自己实现的 1、python进程池维护 2、logging在多进程中的使用 3、调用类的成员函数实现多进程
python中turtle库里面的color和pencolor函数画出来的图有什么区别，怎么区分？ python
2022-12-07 21:15

回答 1 已采纳望采纳turtle 中的 color 和 pencolor 函数可用于控制图形的颜色。color 函数用于控制画笔和填充颜色。因此，如果调用 color 函数，将会同时更改画笔颜色和填充颜色。例如，如
浅谈python3.x pool.map()方法的实质
2020-12-23 22:20

至于此种方法使用多进程的效率问题，还希望大佬予以指正。示例： """ 探索pool.map多进程执行方式的实质 """ from multiprocessing import Pool from time import sleep from datetime import datetime class ...
python的类中无法使用多进程的可能原因
2022-11-16 17:15

时光亦不回首的博客该文章为很早之前写的，仅用来记录当时遇到的情况及简单的解决方案，至于导致问题具体的原因就没有深究过了，有知道的大佬可以说一下，如果有更好的解决方案也希望能够提出来。
没有解决我的问题, 去提问

悬赏问题

¥25 关于##爬虫##的问题，如何解决?:
¥15 ZABBIX6.0L连接数据库报错，如何解决？(操作系统-centos)
¥15 找一位技术过硬的游戏pj程序员
¥15 matlab生成电测深三层曲线模型代码
¥50 随机森林与房贷信用风险模型
¥50 buildozer打包kivy app失败
¥30 在vs2022里运行python代码
¥15 不同尺寸货物如何寻找合适的包装箱型谱
¥15 求解 yolo算法问题
¥15 虚拟机打包apk出现错误

有大佬知道如何用python多进程处理excel里面的数据吗？还有这种方法效率高不高？

1条回答 默认 最新

悬赏问题

1条回答默认最新