你好，请问我现在在针对商务接口进行采集数据，用python3开了四线程，threading模块，但是一天的采集量只有70w有更好的方式吗，其他什么都没做处理，想询问一下我对其应该从哪方面着手优化
2条回答 默认 最新
关注看看你的性能瓶颈在哪里啊,是网络传输问题还是数据存储耗时,由于python的全局解释器鎖的存在,线程基本没什么优势,用进程吧,或者用爬虫框架试试
解决 无用评论 打赏举报
分享
- 2022-05-28 19:16米小米工程师的博客 python多线程 一、线程的概念 线程是CPU分配资源的基本单位。当一程序开始运行，这个程序就变成了一个进程，而一个进程相当于一个或者多个线程。当没有多线程编程时，一个进程相当于一个主线程；当有多线程编程时，...
- 2021-08-25 18:58数据知道的博客 python多线程适用在I/O密集型的任务中。对于I/O密集型任务来说，较少的时间用在cpu计算上，较多的时间用在I/O上，如文件读写，web请求，数据库请求等； 对于计算密集型任务，应该使用多进程。 一. 多线程任务对比 ...
- 2022-10-30 16:00旖风刈草的博客 作为python萌新，我在掌握基本语法后就很想摆弄一下python的多线程，使用起来确实很有python的特点，代码量少、操作方便。之后断断续续写了一些多线程程序，直到今天下午逛论坛，看到很多人说python多线程机制的一些...
- 2021-08-13 18:07Chiang木的博客 但是用Python写的话，效率不会提高，甚至会变慢，因为Python中的多线程是由GIL控制的，GIL的全称是Global Interpreter Lock（全局解释器锁），Python最初的设计理念在于，为了解决多线程之间数据完整性和状态同步的...
- 2024-03-10 17:30言之。的博客 是 Python 中用于线程同步的一种机制，它提供了一个条件变量，允许一个或多个线程等待某个条件变为真时再继续执行。实现了生产者和消费者之间的同步。生产者在生产数据后通知消费者，消费者在消费数据后通知生产者，...
- 2021-03-17 02:23时悦Shadow的博客 Python标准库中有sqlite3模块，可见对此数据库的认可。不过，此模块在使用时也有限制，同一个数据库连接，不能在不同线程中共享。import threadingimport sqlite3sqlite_mutex = threading.Lock()db = sqlite3....
- 2020-12-17 14:13weixin_39538877的博客 python3利用自定义异常来退出并关闭线程。方法：1、利用raise自定义异常；2、当触发函数stop_thread时调用自定义异常进行退出。利用异常使线程退出代码如下：import inspectimport ctypesdef _async_raise(tid, ...
- 2024-03-28 14:05旦莫的博客 多线程是指在同一进程内同时运行多个线程，每个线程执行不同的任务，实现并发执行。每个线程都有自己的执行路径，可以独立运行和调度，共享进程的资源。
- 2024-04-28 19:05程序猿-瑞瑞的博客 前面学习了线程的一些基本知识如与进程的区别，线程的组成，线程如何创建等，接下来继续线程的学习。
- 2024-02-22 20:45逻辑峰的博客 【代码】python中停止线程的方法。
- 没有解决我的问题, 去提问
问题事件
创建了问题
3月14日