python3 多线程执行后再执行主线程的问题

python3下如何在所有子线程执行完毕后再运行主线程?
下边是我的代码,再此基础上应该如何修改?
我程序大概意思就是:
先进行for 循环,每次循环创建1个线程,然后都执行func1这个函数,每次循环传递给func1的参数都不同,
我想在所有子线程运行结束后,再执行下边的代码,请高手帮忙,如何在我代码基础上进行修改?

图片说明

4个回答

import threading
def pr(i):
print(i)
thread = []

for i in list(range(100)):
k = threading.Thread(target=pr, args=(i,))
thread.append(k)

for j in thread:
j.start()
for k in thread:
k.join()
print('已经完成了?')
你测试一下这个代码,‘已经完成了’是在打印0-99之后才显示出来的

直接在下面写你要执行的语句就行了,for语句没执行完之前是不会跳出for语句的,所以在for语句外面写你要执行的代码
放心,一定是for语句完成之后,才执行下面的语句

lgyt240054
EuclideanSpace 回复gjfvip123: 问题解决了没?
接近 2 年之前 回复
lgyt240054
EuclideanSpace 回复gjfvip123: 多线程就是这样的了
接近 2 年之前 回复
gjfvip123
gjfvip123 可是我测试的时候确实一下子就到 结尾的代码了。。。
接近 2 年之前 回复

不过你硬要改的话
thread = []

for i in range(count):
item update........省略
k = threading.Thread(target = cat.zong,args = (写上你的参数,))
thread.append(k)

for j in thread:
j.start()
for k in thread: 改成这样子比较好
k.join()

写下你的要执行的语句

lgyt240054
EuclideanSpace 回复gjfvip123: 对的,哈哈,target是我的代码的函数,我复制过来忘改了
接近 2 年之前 回复
gjfvip123
gjfvip123 k = threading.Thread(target =func1,args = (参数,)) ,thread.append(k) 是在每次循环中插入一个线程的意思吧。。。
接近 2 年之前 回复
gjfvip123
gjfvip123 k = threading.Thread(target =func1,args = (参数,))
接近 2 年之前 回复

对的,哈哈,target是我的代码函数的参数,我复制过来忘改了

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
关于python3多线程的问题
代码如下: ![图片说明](https://img-ask.csdn.net/upload/201805/01/1525173395_783298.jpg) 我在每次循环后开启一个线程, 想问一下,程序线程的运行是每循环一次开启一个线程,然后执行相应的程序等这个等这些线程执行完毕后再 进入下个循环,还是这个线程开启后(相应的线程没有执行完毕)紧接着就会进入下个循环,开启下个线程? 像上边的代码,我运行后,电脑直接卡死了,我的初衷只是开启5个线程... 请高手指点一下,谢谢。
python用多线程读取同一个文件,要想速度快一点只能先把文件读到缓冲区然后再进行分配嘛?还有没有别的方法?
python用多线程读取同一个文件哪位大佬还有别的方法分享一个
Python多线程通信问题
新人第一次提问, 最近在学习Python多线程, notify()与wait()语句。这是我写的一个作业, 要求是: 现在的你,是一个农场主。农场中养着10头小牛,牛吃草长大,但只有当下雨的时候草才会长大,每天有20%的概率下雨,草经过3次成长后就可以喂给牛吃了。每头小牛吃过5次草之后就会长大了。要求使用多线程来完成。小牛(消费者)线程和草(生产者)之间需要通信。 以下是我的代码: ``` import threading import random from time import sleep """ 声明全局变量: num_cows: 牛的数量, 整形,十头。 cows: 牛的集合, 列表(数组)。 长度:10 num_grass: 草的数量, 整形,若干。 区间:50-101棵。 为了确保每头牛都可以长大,小草必须至少有50棵。 grass: 草的集合, 列表(数组)。 长度:num_grass initial_stat: 草/牛的初始状态,整形,设置为0。 increment: 用于改变状态的变量,整形,设置为0。 """ # 定义全局变量 num_cows, initial_stat, num_grass = 10, \ 0, \ random.randint(50, 101) cows, grass = [], [] for i in range(num_grass): # 设置草儿数量,初始化每一棵小草状态 grass.append(initial_stat) for i in range(num_cows): # 初始化每一头牛 cows.append(initial_stat) # TODO 草儿生长类 class GrassGrow(threading.Thread): """草成长线程""" # TODO 重写run函数 def run(self): global grass global cows while True: ct.acquire() print("一天过去了...小草会不会生长呢?") grass = rain(grass) # 淋雨的草儿成长一次,数位进一, 呼叫rain函数, 传入参数grass列表 if len(grass) > 0: # 判断还有没有需要生长的草儿 if grassgrow(grass): # 检查草儿,若有一株淋到三次雨,通知牛儿吃草 print("提醒牛儿该吃草了") ct.notify() # 提醒牛儿线程该吃草了 ct.release() print("草线程解锁") sleep(1) print("通知牛儿吃草了") elif len(grass) <= 0: # 如果草儿被吃完了,结束进程 print("草儿被吃光啦") ct.release() # 解锁 break # 退出程序 # TODO 牛儿生长类 class CowGrow(threading.Thread): """牛儿成长线程""" print("start") # TODO 重写run函数 def run(self): print("1") global cows global grass # TODO 随机一头牛吃草 while True: print("2") ct.acquire() print("3") ct.wait() print("4") if grassgrow(grass) and 5 not in cows: print("牛有草能吃了") # 长大的小草中,随机吃掉一株,从草儿列表中移除 index = [] for i in range(len(grass)): if grass[i] >= 3: index.append(i) delete = index[random.randint(0, len(index) - 1)] del grass[delete] cows[random.randint(range(len(cows)))] += 1 # 随机一头牛吃草,状态进1 print("有一头牛把吃了一颗草,现在的牛儿们是:{}".format(cows)) # 判断牛儿中是否有长大的牛儿 elif 5 in cows: # 移除所有已经长大的牛儿 for cow in range(len(cows)): if cows[cow] == 5: del cows[cow] # 判断是不是所有的牛儿都长大了,如果都长大了,结束进程 elif len(cows) == 0: print("所有的牛儿都长大啦") ct.release() break ct.wait() ct.release() # sleep(1) # TODO 下雨函数 def rain(grass_list): """ :param grass_list: 接收 草儿列表作为参数 :return: 返回 新的,淋雨之后的草儿列表 """ # 遍历草列表中的每一株草 rain_probability = random.randint(1, 101) # 每天有20%几率局部下雨。如果未下雨,则所有小草都不会成长。如果下雨了,局部小草会成长。 if rain_probability <= 20: for a_grass in range(len(grass_list)): grass_grow_prob = random.randint(1, 101) if grass_grow_prob <= 50 and 0 <= grass_list[a_grass] <= 2: grass_list[a_grass] += 1 print("今天下雨啦,现在的小草们:{}".format(grass)) print("今天没有下雨,没有小草生长...") return grass_list # TODO 判断草长大函数 def grassgrow(grass_list): """ :param grass_list: 接收 草儿列表作为参数 :return: 返回 若有生长好的小草则返回真,否则为假 """ if 3 not in grass_list: print("目前为止还没有小草生长完成") return False else: print("有小草生长完成了,现在的小草们:{}".format(grass)) return True if __name__ == "__main__": ct = threading.Condition() # 定义线程变量, 用于多线程通信 cow_thread = CowGrow() grass_thread = GrassGrow() cow_thread.start() print("牛等待吃草") grass_thread.start() ``` rain函数用来20%几率下雨, grasgrow函数用来判断有没有草淋了三次雨, 一旦有草淋到三次雨就可以了通知CowGrow线程吃草了。 我的解题思路是: 创建一个列表grass代表草, 一个列表cows代表牛。类GrassGrow中当判断grassgrow函数为真时, 唤醒牛线程。然后随机一头牛吃了一颗草之后,阻塞自己等待。而当我实际运行的时候,牛在一开始被阻塞之后一直没有被唤醒 以下是运行结果: ============================================= start 1 2 3牛等待吃草 一天过去了...小草会不会生长呢? 今天没有下雨,没有小草生长... 目前为止还没有小草生长完成 一天过去了...小草会不会生长呢? 今天下雨啦,现在的小草们:[1, 0, 0, 0, 0, 1, 0, 1, 1, 1, 0, 0, 0, 0, 1, 1, 1, 1, 0, 0, 1, 1, 0, 0, 1, 0, 0, 1, 1, 0, 0, 0, 1, 0, 0, 0, 1, 0, 1, 1, 1, 1, 1, 0, 0, 1, 0, 1, 0, 1, 1, 0, 1, 0, 0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 1, 0, 1, 0, 1, 1, 0, 0, 1, 1, 1, 1, 1, 0, 1, 0, 1, 0, 1, 1, 0, 0, 0, 1, 1, 0, 0, 1, 0, 1, 1] 今天没有下雨,没有小草生长... 目前为止还没有小草生长完成 一天过去了...小草会不会生长呢? 今天没有下雨,没有小草生长... 目前为止还没有小草生长完成 一天过去了...小草会不会生长呢? 今天下雨啦,现在的小草们:[1, 1, 1, 0, 0, 2, 1, 1, 1, 2, 0, 0, 1, 1, 2, 1, 2, 2, 1, 0, 1, 1, 0, 1, 2, 1, 0, 2, 1, 1, 0, 1, 2, 1, 1, 0, 1, 0, 2, 1, 2, 2, 2, 0, 0, 2, 1, 2, 0, 1, 1, 1, 1, 1, 0, 1, 0, 1, 0, 2, 1, 1, 1, 2, 1, 2, 2, 1, 2, 1, 1, 2, 1, 0, 1, 1, 2, 2, 2, 0, 2, 1, 2, 1, 2, 1, 0, 1, 0, 2, 1, 1, 1, 2, 1, 1, 1] 今天没有下雨,没有小草生长... 目前为止还没有小草生长完成 一天过去了...小草会不会生长呢? 今天下雨啦,现在的小草们:[2, 2, 1, 1, 1, 2, 2, 1, 2, 2, 1, 0, 1, 1, 2, 2, 2, 3, 2, 1, 1, 1, 0, 1, 2, 2, 1, 2, 2, 2, 0, 1, 3, 1, 2, 0, 1, 0, 3, 2, 3, 3, 3, 0, 1, 2, 1, 2, 0, 1, 1, 2, 2, 1, 0, 1, 1, 1, 1, 3, 1, 1, 1, 3, 2, 2, 3, 1, 2, 2, 1, 3, 2, 1, 1, 2, 3, 2, 2, 1, 2, 1, 3, 1, 2, 2, 1, 1, 0, 3, 2, 2, 1, 3, 2, 2, 1] 今天没有下雨,没有小草生长... 有小草生长完成了,现在的小草们:[2, 2, 1, 1, 1, 2, 2, 1, 2, 2, 1, 0, 1, 1, 2, 2, 2, 3, 2, 1, 1, 1, 0, 1, 2, 2, 1, 2, 2, 2, 0, 1, 3, 1, 2, 0, 1, 0, 3, 2, 3, 3, 3, 0, 1, 2, 1, 2, 0, 1, 1, 2, 2, 1, 0, 1, 1, 1, 1, 3, 1, 1, 1, 3, 2, 2, 3, 1, 2, 2, 1, 3, 2, 1, 1, 2, 3, 2, 2, 1, 2, 1, 3, 1, 2, 2, 1, 1, 0, 3, 2, 2, 1, 3, 2, 2, 1] 提醒牛儿该吃草了 草线程解锁 通知牛儿吃草了 一天过去了...小草会不会生长呢? ============================================== 可以看到牛只有一开始调用了一次...之后再也没有被唤醒, 而且前几次小草没有sleep就运行了好多次,之后才开始运行sleep,打印"提醒牛儿该吃草了", "草线程解锁", "通知牛儿吃草了"才开始运行。谷歌和本站都查了一些问题,但和我的情况都不太相似。真心像各位请教...拜托了..
Python多线程多进程问题
新手求问,刚学习python,发现在两个线程或两个进程开启后(都有一个while循环),必须要第一个执行完成,第二个才会执行,求问为什么会这样 ``` import threading import time class Test: def run(self): threading.Thread(target=self.func1()).start() threading.Thread(target=self.func2()).start() def func1(self): count = 0 while count < 3: print("thread1") count += 1 time.sleep(2) def func2(self): count = 0 while count < 3: print("thread2") count += 1 time.sleep(1) if __name__ == "__main__": Test().run() ``` ``` import multiprocessing import time class Test: def run(self): multiprocessing.Process(target=self.func1()).start() multiprocessing.Process(target=self.func2()).start() def func1(self): count = 0 while count < 3: print("thread1") count += 1 time.sleep(2) def func2(self): count = 0 while count < 3: print("thread2") count += 1 time.sleep(1) if __name__ == "__main__": Test().run() ``` 执行结果: ``` thread1 thread1 thread1 thread2 thread2 thread2 ```
python多线程最大线程数默认设置为什么与CPU数量有关。
【新手提问】 如题 python多线程最大线程数默认设置为什么与CPU数量有关。按照平时的了解,由于CPython 解释器,python的多线程不是伪多线程吗?实际上并不能使用到多个CPU,那为什么官方的默认设置线程池中最大线程数会与CPU数相关? concurrent.futures的文档: > Changed in version 3.5: If max_workers is None or not given, it will default to **the number of processors on the machine, multiplied by 5**, assuming that ThreadPoolExecutor is often used to overlap I/O instead of CPU work and the number of workers should be higher than the number of workers for ProcessPoolExecutor. > Changed in version 3.8: Default value of max_workers is changed to **min(32, os.cpu_count() + 4)**. This default value preserves at least 5 workers for I/O bound tasks. It utilizes at most 32 CPU cores for CPU bound tasks which release the GIL. And it avoids using very large resources implicitly on many-core machines.
Python多线程执行失败
我使用python编程实现查找某根目录下所有重复文件的功能,新手小白。 但是通过单步调试后,发现thread2.start()好像完全没有执行,直接就跳出循环了。 请高手看看~
Python3 多线程编程出现编译问题
import _thread from time import sleep from datetime import datetime date_time_format='%y-%M-%d %H:%M:%S' def date_time_str(date_time): return datetime.strftime(date_time,date_time_format) def loop_one(): print('+++线程一开始于:',date_time_str(datetime.now())) print('+++线程一休眠4秒') sleep(4) print('+++线程一休眠结束,结束于:'.date_time_str(datetime.now())) def loop_two(): print('***线程二开始于:',date_time_str(datetime.now())) print('***线程二休眠2秒') sleep(2) print('***线程二休眠结束,结束于:'.date_time_str(datetime.now())) def main(): print('-----所有线程开始时间:',date_time_str(datetime.now())) _thread.start_new_thread(loop_one,()) _thread.start_new_thread(loop_two,()) sleep(6) print('-----所有线程结束时间:',date_time_str(datetime.now())) if __name__=='__main__': #__name__是所有模块的内建属性 main() 编译时出现下列问题,求解答 Unhandled exception in thread started by <function loop_two at 0x000001CA310E0AE8> line 21, in loop_two print('***线程二休眠结束,结束于:'.date_time_str(datetime.now())) AttributeError: 'str' object has no attribute 'date_time_str' line 15, in loop_one print('+++线程一休眠结束,结束于:'.date_time_str(datetime.now())) AttributeError: 'str' object has no attribute 'date_time_str'
怎样实现python的多线程监听,当子线程运行时暂停主线程?
比如我的主线程是持续执行的,同时有一个thread1和thread2分别监听两个不同的信号 当thread1接受到信号时执行对应程序,但同时暂停主线程的执行 一旦thread1程序结束,主线程继续运行,两个子线程也继续监听?
有关python socket 多线程问题
我现在写的程序是模拟p2p DHT 就是peer1 知道peer2 和 peer3的port 依此类推 现在我写了一个程序 打开的每个xterm端口是一个peer 窗口里可以显示ping所返回的信息 代码如下 我测试了好久 有的显示返回信息 有的显示接收信息 有的豆显示 有的根本不显示 刚学编程半年 python很多东西不了解 socket 和多线程完全是先学先用的 所以请各位看一下 到底问题出在哪里 以下是代码 import sys import time import socket import threading class peer_server(threading.Thread): def __init__(self): threading.Thread.__init__(self) self.ID = None self.port = None def run(self): print(self.port) server_port = self.port serverSocket = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) serverSocket.bind(('', server_port)) while 1: message, clientAddress = serverSocket.recvfrom(2048) sendMessage = 'A ping response message was received from Peer {:}'.format(self.ID) serverSocket.sendto(sendMessage.encode('ascii') , clientAddress) print('server {:}'.format(self.ID)) print(message.decode('ascii')) print(time.time()) class peer_client(threading.Thread): def __init__(self): threading.Thread.__init__(self) self.ID = None self.port1 = None self.port2 = None def run(self): while 1: server_port = self.port1 clientSocket = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) sendMessage = 'A ping request message was received from Peer {:}'.format(self.ID) clientSocket.sendto(sendMessage.encode('ascii'),('', server_port)) receiveMessage, serverAddress = clientSocket.recvfrom(2048) print('client {:}'.format(self.ID)) print(receiveMessage.decode('ascii')) print(time.time()) clientSocket.close() server_port = self.port2 clientSocket = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) clientSocket.sendto(sendMessage.encode('ascii'),('', server_port)) receiveMessage, serverAddress = clientSocket.recvfrom(2048) print('client {:}'.format(self.ID)) print(receiveMessage.decode('ascii')) print(time.time()) clientSocket.close() time.sleep(5) class peer(threading.Thread): ID = None port = None port1 = None port2 = None def __init__(self, ID, fID, sID): self.ID = ID self.port = 50000 + ID self.port1 = 50000 + fID self.port2 = 50000 + sID def start_server(self): server = peer_server() server.ID = self.ID server.port = self.port server.start() def ping(self): client = peer_client() client.ID = self.ID client.port1 = self.port1 client.port2 = self.port2 client.start() p0 = peer(int(sys.argv[1]), int(sys.argv[2]), int(sys.argv[3])) p0.start_server() p0.ping()
Python关于Tkinter的多线程问题
使用TKinter编写界面,实现选择测试用例并执行,最后打印出测试结果。功能是实现了,可是每次一点下开始执行,整个界面就失去响应了,要等到测试用例执行完了,界面才恢复响应,已经把执行用例和画界面分别作为单独的线程来处理了,为什么还是不行? 界面如下: ![图片说明](https://img-ask.csdn.net/upload/201512/22/1450763641_583787.png) 相关代码如下: def ExcuteSet(): global Exe_Flag Exe_Flag=True #执行测试用例 exe_thread= threading.Thread(target=ExecuteCase) exe_thread.setDaemon(True) exe_thread.start() exe_thread.join() def Interface(): global ComX,Baud,TBuf global txt1,txt2,txt3 # 界面 root.title(u'自动化测试工具') root.geometry('800x600') #滚动条 scroll1=Tk.Scrollbar(root,orient=Tk.VERTICAL) #滚动条 scroll1.pack(fill="y",side='right') txt1 = Tk.Text(root,width=60,height=20,border=5,yscrollcommand=scroll1.set) txt1.pack(side='right',padx=3,pady=1,anchor='c') txt1.bind("<Key>",TextKey) scroll1.config(command=txt1.yview) txt1.place(x=300,y=300) #scroll1.place(x=750,y=300) #操作按钮 TBuf = StringVar() cnv1 = tk.Canvas(root,height=260,width=260) cnv1.pack(side='bottom',padx=0,pady=0,anchor='c') cnv1.create_window(60,40,window=ttk.Label(root,text=u'串口号: ')) cnv1.create_window(165,40,window=ttk.Combobox(root,textvariable=ComX,values=['COM1', 'COM2', 'COM3','COM4','COM5', 'COM6', 'COM7','COM8'],width=12)) cnv1.create_window(60,80,window=ttk.Label(root,text=u'波特率: ')) cnv1.create_window(165,80,window=ttk.Combobox(root,textvariable=Baud,values=['4800','9600','14400','19200','38400','57600','115200'],width=12)) cnv1.create_window(70,120,window=ttk.Label(root,text=u'输入目录: ')) cnv1.create_window(240,120,window=ttk.Entry(root,textvariable=TBuf,width=40)) cnv1.create_window(80,150,window=ttk.Button(root,textvariable=OpenOff,command=COMOpen,width=12)) cnv1.create_window(80,180,window=ttk.Button(root,text=u'选择用例',command=SelectCase,width=12)) cnv1.create_window(80,210,window=ttk.Button(root,text=u'开始执行',command=ExcuteSet,width=12)) cnv1.create_window(80,240,window=ttk.Button(root,text=u'停止测试',command=StopTest,width=12)) cnv1.create_window(175,180,window=ttk.Button(root,text=u'清除用例',command=ClearCase,width=12)) cnv1.place(x=320,y=0) #滚动条 scroll2=Tk.Scrollbar(root,orient=Tk.VERTICAL) #滚动条 scroll2.pack(fill="y",side='left') #显示测试用例 txt2 = Tk.Text(root,width=40,height=20,border=5,yscrollcommand=scroll2.set) txt2.pack(padx=3,pady=1,anchor='c') scroll2.config(command=txt2.yview) txt2.place(x=0,y=0) scroll2.place(x=300,y=0) #显示测试用例执行情况 txt3 = Tk.Text(root,width=40,height=20,border=5) txt3.pack(padx=3,pady=1,anchor='c') txt3.place(x=0,y=300) root.mainloop() if __name__=='__main__': isOpened.clear() Init() #初始化 Opencom() threads=[] #读串口数据 com_thread = threading.Thread(target=COMTrce) threads.append(com_thread) #画界面 inter_thread = threading.Thread(target=Interface) threads.append(inter_thread) #执行用例 #exe_thread= threading.Thread(target=ExecuteCase) #threads.append(inter_thread) for t in threads: t.setDaemon(True) t.start() for t in threads: t.join() print "Over!!!!!!!!!!!" ``` ```
python tkinter多线程程序中listbox和scrollbar的问题
最近在使用tkinter写的一个多线程的程序的时候遇到一个问题。 这个程序有5个线程,每个线程都会去执行show函数,show函数是输出0至999到listbox上。 我在当线程要输出数据到listbox上时使用了线程锁,可是程序就卡在第一个线程上,应该是卡在listbox.update()这里。 程序的执行顺序是:点击start按钮,生成了5个线程,有一个线程获得了进入共享区的锁,其余线程等待。但是进入共享区的那个线程却一直没有释放锁,我跟踪的时候看到是执行了listbox.update()后就卡住了。 可是只有一个线程获得了更新listbox的权限,为什么会出现这种情况。 当我把输出到listbox的语句换成"print i"直接输出到控制台上时,程序却是正常运行的,那么也就是说是listbox的更新机制问题了。 我又发现当我把listbox中yscrollcommand给注释掉后,程序就可以运行,但是scrollbar就没有用了。 那么当listbox更新发生改变时,会调用yscrollcommand中的srocllbar.set函数,然后srollbar又会去调用它command里面的listbox.yview函数。那问题是不是出现在线程调用和listbox,srollbar回调函数之间呢,那要怎样改才能使程序正常运行。 程序代码如下:(主要是注释的地方) ``` # -*- coding: utf8 -*- from Tkinter import * import time import threading class APP(): def __init__(self,master): self.frame = Frame(master,height=2,bd=1,relief=SUNKEN) self.frame.pack(fill=X) self.button = Button(self.frame,text="Start",width=10,height=1,command=self.test) self.button.pack(padx=10,pady=10) self.sb = Scrollbar(self.frame) self.sb.pack(side=RIGHT,fill=Y) self.listbox = Listbox(self.frame,height=25,width=50) self.listbox.pack() #我发现把yscrollcommand给注释掉后多线程程序才能跑起来,但是scrollbar就没用了 #---------------------------------------------------------------- self.listbox['yscrollcommand'] = self.sb.set #---------------------------------------------------------------- self.sb.config(command=self.listbox.yview) def test(self): func(self) def func(self): def show(self): global mutex for i in range(1000): if mutex.acquire(1):#线程锁,进入共享区 #------------------------------------------------------------ self.listbox.insert(END,str(i)) self.listbox.see(self.listbox.index(END)) self.listbox.update() #------------------------------------------------------------ #问题应该是出在多线程和listbox的更新这一块,就是上面三句 mutex.release() for i in range(5): thread = threading.Thread(target=show,args=(self,)) thread.setDaemon(True) thread.start() mutex=threading.Lock() root = Tk() app = APP(root) root.mainloop() ```
python3 在多线程下如何防止在更新或插入数据库时使数据不同步
python在多线程下,每个线程都要访问数据库,然后相应的插入数据再把插入的数据取出来。 如果一起执行插入的话,取出来的可能就是最后一个线程插入的数据,这种问题应该如何解决呢? 请高手指点,谢谢。
python多线程爬虫withopen自动关闭
现在我的with open 是在线程中放着,可以正常运行但是会浪费很多操作。放在multi_threads()函数的开头系统,会报错:I/O无法操作已关闭的文件。 ``` class Producer(threading.Thread): def __init__(self,q_page_urls,q_infos,q_names,*args,**kwargs): super(Producer,self).__init__(*args,**kwargs) self.q_page_urls = q_page_urls self.q_infos = q_infos self.q_names = q_names def run(self) -> None: while True: time.sleep(5) url = self.q_page_urls.get() resp = requests.get(url,headers=headers) if resp.content: reasult = resp.content.decode("utf-8") soup = BeautifulSoup(reasult, 'lxml') lis = soup.find("body").find_all_next("li") for infos in lis: contents = [] author_names = [] # 爬取作者 names = infos.find("a", class_="u-user-name") if names is not None: for name in names: author_name = name.string author_names.append(author_name) self.q_names.put({"author_names":author_names}) # 爬取内容 info = infos.find("div", class_="j-r-list-c") if info is not None: for texts in info: text = texts.find("a") if text != -1: content = text.string contents.append(content) self.q_infos.put({"contents":contents}) class Consumer(threading.Thread): def __init__(self, q_infos,q_names, *args, **kwargs): super(Consumer, self).__init__(*args, **kwargs) self.q_infos = q_infos self.q_names = q_names def run(self) -> None: while True: with open("百思不得姐.csv", 'a', encoding="utf_8", newline='') as f: wrieter = csv.writer(f) info_obj = self.q_infos.get(timeout=100) name_obj = self.q_names.get(timeout=100) if name_obj.get("author_names") is not None: wrieter.writerow(name_obj.get("author_names")) if info_obj.get("contents") is not None: wrieter.writerow(info_obj.get("contents")) def multi_threads(): q_page_urls = queue.Queue(50) q_infos = queue.Queue(100) q_names = queue.Queue(100) for i in range (1,51): page_url = "http://www.budejie.com/text/%d" %i q_page_urls.put(page_url) for x in range(5): th_1 = Producer(q_page_urls,q_infos,q_names) th_1.start() for y in range(20): th_2 = Consumer(q_infos,q_names) th_2.start() if __name__ == '__main__': multi_threads() ```
这是一个关于PYTHON多线程多进程的问题
这是我写的服务器代码 ``` import socket,os from multiprocessing import Process def haha(yong): while True: data=yong.recv(100) if data.decode()!='q': yong.send(data) else: yong.send('q'.encode()) yong.close() break if __name__ == '__main__': service = socket.socket(socket.AF_INET, socket.SOCK_STREAM) service.bind(('127.0.0.1', 6)) service.listen(4) print(os.getpid()) while True: yong,add=service.accept() jaiyou=Process(target=haha,args=(yong,)) jaiyou.start() service.close() ``` 这是我写的客户机代码 ``` import socket,os quest1=socket.socket(socket.AF_INET,socket.SOCK_STREAM) quest1.connect(('127.0.0.1',6)) while True: quest1.send(input().encode()) data=quest1.recv(100).decode() if data=='q': break; else: print(os.getpid()) continue quest1.close() ``` 当多个客户机 连接一个服务器的时候,每个进程ID号都是不同的,这我可以理解,多进程嘛 但是,当我把服务器代码中的进程process换成thread线程的时候。多个客户机的进程Id还不同,这就奇怪了,线程不应该都在一个进程Id里吗
python restful api怎么实现多线程,求大神解答!!!
python restful api怎么实现多线程多进程,求大神解答!!! 就是我看到多线程的例子都是t = threading.Thread(target=函数) 然后t.start启动线程,那如果是restful 写的api呢,总不能写成 t = threading.Thread(target=类名.get或者post吧)
关于python网络爬虫多线程下载图片到本地的问题
小弟最近在做网络爬虫,已经开了三贴了哈哈哈。这次的问题是我想在下载图片到本地时进行多线程下载以提高速度,但是我写的多线程每次都会回到程序最开始处,也就是让输入爬虫网站和深度的那里,有大佬能解答下吗 ``` import time import re import os import requests from multiprocessing.pool import Pool from multiprocessing import cpu_count start_time=time.time() url_website=input('Please type the URL:') deep_number=input("Please specify the deep you want to reach: ") html_name='http://' link_list=[url_website] list=[] def split_website(url_website): re_website=re.findall('//.*',url_website) string_website="".join(re_website) path_website=re.sub('//','',string_website) return path_website host_name=split_website(url_website) host_name_list=host_name.split('/') host_name=host_name_list[0] deep=int(deep_number) def save_image(iter,list_split): iter = "http://" + list_split[0] + iter im_string = ''.join(iter) im_list = im_string.split('/') im_name = im_list[-1] print(im_name) exc = False try: imgs = requests.get(iter) except: exc = True pass if not exc: print('write') image_file = open(im_name, 'wb') image_file.write(imgs.content) image_file.close() while deep>=0: print(deep) print(link_list,'before foor loop') for element in link_list: print(element) res=requests.get(element) html_process=open('html_test.html','wb') html_process.write(res.content) html_process.close() html_read=open('html_test.html','r',encoding='UTF-8') read_content=html_read.read() urls=re.findall("<a.*?href=.*?<\/a>",read_content) print(urls) image = re.findall('img.*?src="(.+?)"',read_content) print(image) path_website = split_website(element) split_list = path_website.split('/') os.chdir(os.path.split(os.path.realpath(__file__))[0]) print(link_list,'before 2 foor loop') for i in range(len(split_list)): dir_name = split_list[i] folder_name = dir_name if not os.path.exists(folder_name): os.mkdir(folder_name) os.chdir(folder_name) if i == (len(split_list) - 1): ## _** for im_iter in image: ## pool=Pool(5) ## pool.map(save_image,[im_iter,split_list]) ## pool.close()_** print(link_list,'before 3 for loop') for url in urls: url_string="".join(url) url_href_list=url_string.split("\"") url_href_list[1]=html_name+host_name+url_href_list[1] nick_name = re.findall('>.*?<', url) if (''.join(nick_name))!='>Back<': list.append(url_href_list[1]) print(list,'this is back up list') print(link_list,'Before removing') print(link_list,'After removing') print(list) link_list=list list=[] print(deep) deep=deep-1 end_time=time.time() print('time used: ',end_time-start_time) ``` 加粗斜体那是小弟写的多线程,但奇怪的是每次它都会回到最开始叫我输入网址的地方并且出现5次。如何避免这个问题只让下图片那多线程呢,求大佬解答 ![执行开始时](https://img-ask.csdn.net/upload/201911/18/1574070381_322798.png) ![执行一段时间后](https://img-ask.csdn.net/upload/201911/18/1574070393_251979.png)
Python 多进程比单进程更慢问题求助
背景:初学Python的菜鸟,没有任何语言基础。目前需求是希望通过Python+Selenium3使用多个账号实现自动操作网页。由于账号数比较多,需要借助多线程/多进程协助。 但是在使用了多进程代码后速度并没有提升,经过检测发现确实是不同进程在操作。经过简化的代码块如下(将网页操作简化为一个简单的系统计算),请各位大大帮忙看看。可以看出,单线程比多线程执行速度更快。 ---------------------------------------------------------------------------------------- 更新内容的分割线 太感谢各位的回答了!没想到周末菜鸟的问题还有这么多回答,感谢各位! 大家的回答主要是说该任务太简单所以没有差距,我后来将任务复杂化了一些,发现多进程在计算确实有一些优势。但是还是发现了几个个问题: 1 在多进程的前提下,同样的任务,我将循环语句写在主任务中和子任务中差距非常之大(循环语句写在母任务后,子任务就没有循环了),差距大概在10~20倍。 2 如果我将循环写在子任务中,在anaconda中的spyder可以运行,但是在vs code 2020中运行,会报错:can only join a child process 请问是什么原因? 3 我的真实需求是:登陆N个账号,在同一个网站上做同样的操作,目前是线性的。即使我写了多进程,发现依旧同一时间只会打开一个浏览器,第二个进程直到第一个把网页操作全部执行完毕才会打开。请问要怎么样才能满足我的需求,同时打开多个浏览器操作?目前i9和64G内存表示内心毫无波动,甚至有一点想笑。 代码块修改为实际需求的简化版本: # 子进程,所需要执行的任务 # 导入含有账号密码的excel def MainProcess(i): p = multiprocessing.Pool() for key in account.keys(): #登录网页、页面点击等各种操作 # 主程序 if __name__=='__main__': start_time = time.time() print('程序开始') MainProcess() end_time = time.time() print('本次耗时',(end_time - start_time),'秒')
Python如何实现多线程与多进程的配合工作?
#!/usr/bin/env python #coding=utf8 import multiprocessing import threading import threadpool import time import re import os ''' 想法: 开启了11个进程,第一个进程是以多线程方式运行,再通过进程间通信来使其他进程工作. ''' def put_test(str1): # 处理出函数名,开启多线程 print str1, q.put(str1) time.sleep(1) def get_test(): # 进程池除第一个以外的进程 print ' 5' print q.qsize(),os.getpid() print q.get(True,1) time.sleep(1) ############################################################### if __name__=='__main__': multiprocessing.freeze_support() q=multiprocessing.Queue(maxsize = 10) # 线程池 data=range(1,11) pool=threadpool.ThreadPool(10) requests=threadpool.makeRequests(put_test,data) [pool.putRequest(req) for req in requests] pool.wait() # 进程池 pool2 = multiprocessing.Pool(processes=3) for var in range(1,11): # 20个进程 pool2.apply_async(get_test,[]) pool2.close() pool2.join() print "size:",q.qsize() ``` ``` 这段代码出问题了,求助。
python3中如何在多线程中操作sql server数据库
python37+sql server+win10环境 大概的意思就是,在python中,我开启了n个线程,进入同一个函数,每个线程传递的参数都不一样:如下图: ![图片说明](https://img-ask.csdn.net/upload/201805/18/1526632420_851883.png) 在再每个线程中,将传递过来的参数 update到数据库中,会报一个错误,我想是不是多个线程同时操作一个,导致锁死?如下图: 其中, conn.connect()我只在程序最开始链接了一次, conn.cloese(),和cursor.close()只在程序最结尾执行了一次。 每个线程中我试过在函数开头链接数据库,函数结尾关闭数据库,但是应该是串行的,即第一个线程链接数据库,更新数据,第二个线程等待...等到第一个线程关闭连接后,第二个线程才开始链接... 请高手指点一下,应该如何更改代码? ![图片说明](https://img-ask.csdn.net/upload/201805/18/1526632842_45498.png)![图片说明](https://img-ask.csdn.net/upload/201805/18/1526633241_196099.png)
《MySQL 性能优化》之理解 MySQL 体系结构
本文介绍 MySQL 的体系结构,包括物理结构、逻辑结构以及插件式存储引擎。
程序员请照顾好自己,周末病魔差点一套带走我。
程序员在一个周末的时间,得了重病,差点当场去世,还好及时挽救回来了。
卸载 x 雷某度!GitHub 标星 1.5w+,从此我只用这款全能高速下载工具!
作者 | Rocky0429 来源 | Python空间 大家好,我是 Rocky0429,一个喜欢在网上收集各种资源的蒟蒻… 网上资源眼花缭乱,下载的方式也同样千奇百怪,比如 BT 下载,磁力链接,网盘资源等等等等,下个资源可真不容易,不一样的方式要用不同的下载软件,因此某比较有名的 x 雷和某度网盘成了我经常使用的工具。 作为一个没有钱的穷鬼,某度网盘几十 kb 的下载速度让我...
Python+OpenCV实时图像处理
目录 1、导入库文件 2、设计GUI 3、调用摄像头 4、实时图像处理 4.1、阈值二值化 4.2、边缘检测 4.3、轮廓检测 4.4、高斯滤波 4.5、色彩转换 4.6、调节对比度 5、退出系统 初学OpenCV图像处理的小伙伴肯定对什么高斯函数、滤波处理、阈值二值化等特性非常头疼,这里给各位分享一个小项目,可通过摄像头实时动态查看各类图像处理的特点,也可对各位调参、测试...
2020年一线城市程序员工资大调查
人才需求 一线城市共发布岗位38115个,招聘120827人。 其中 beijing 22805 guangzhou 25081 shanghai 39614 shenzhen 33327 工资分布 2020年中国一线城市程序员的平均工资为16285元,工资中位数为14583元,其中95%的人的工资位于5000到20000元之间。 和往年数据比较: yea...
为什么猝死的都是程序员,基本上不见产品经理猝死呢?
相信大家时不时听到程序员猝死的消息,但是基本上听不到产品经理猝死的消息,这是为什么呢? 我们先百度搜一下:程序员猝死,出现将近700多万条搜索结果: 搜索一下:产品经理猝死,只有400万条的搜索结果,从搜索结果数量上来看,程序员猝死的搜索结果就比产品经理猝死的搜索结果高了一倍,而且从下图可以看到,首页里面的五条搜索结果,其实只有两条才是符合条件。 所以程序员猝死的概率真的比产品经理大,并不是错...
害怕面试被问HashMap?这一篇就搞定了!
声明:本文以jdk1.8为主! 搞定HashMap 作为一个Java从业者,面试的时候肯定会被问到过HashMap,因为对于HashMap来说,可以说是Java集合中的精髓了,如果你觉得自己对它掌握的还不够好,我想今天这篇文章会非常适合你,至少,看了今天这篇文章,以后不怕面试被问HashMap了 其实在我学习HashMap的过程中,我个人觉得HashMap还是挺复杂的,如果真的想把它搞得明明白...
毕业5年,我问遍了身边的大佬,总结了他们的学习方法
我问了身边10个大佬,总结了他们的学习方法,原来成功都是有迹可循的。
python爬取百部电影数据,我分析出了一个残酷的真相
2019年就这么匆匆过去了,就在前几天国家电影局发布了2019年中国电影市场数据,数据显示去年总票房为642.66亿元,同比增长5.4%;国产电影总票房411.75亿元,同比增长8.65%,市场占比 64.07%;城市院线观影人次17.27亿,同比增长0.64%。 看上去似乎是一片大好对不对?不过作为一名严谨求实的数据分析师,我从官方数据中看出了一点端倪:国产票房增幅都已经高达8.65%了,为什...
推荐10个堪称神器的学习网站
每天都会收到很多读者的私信,问我:“二哥,有什么推荐的学习网站吗?最近很浮躁,手头的一些网站都看烦了,想看看二哥这里有什么新鲜货。” 今天一早做了个恶梦,梦到被老板辞退了。虽然说在我们公司,只有我辞退老板的份,没有老板辞退我这一说,但是还是被吓得 4 点多都起来了。(主要是因为我掌握着公司所有的核心源码,哈哈哈) 既然 4 点多起来,就得好好利用起来。于是我就挑选了 10 个堪称神器的学习网站,推...
这些软件太强了,Windows必装!尤其程序员!
Windows可谓是大多数人的生产力工具,集娱乐办公于一体,虽然在程序员这个群体中都说苹果是信仰,但是大部分不都是从Windows过来的,而且现在依然有很多的程序员用Windows。 所以,今天我就把我私藏的Windows必装的软件分享给大家,如果有一个你没有用过甚至没有听过,那你就赚了????,这可都是提升你幸福感的高效率生产力工具哦! 走起!???? NO、1 ScreenToGif 屏幕,摄像头和白板...
阿里面试,面试官没想到一个ArrayList,我都能跟他扯半小时
我是真的没想到,面试官会这样问我ArrayList。
曾经优秀的人,怎么就突然不优秀了。
职场上有很多辛酸事,很多合伙人出局的故事,很多技术骨干被裁员的故事。说来模板都类似,曾经是名校毕业,曾经是优秀员工,曾经被领导表扬,曾经业绩突出,然而突然有一天,因为种种原因,被裁员了,...
大学四年因为知道了这32个网站,我成了别人眼中的大神!
依稀记得,毕业那天,我们导员发给我毕业证的时候对我说“你可是咱们系的风云人物啊”,哎呀,别提当时多开心啦????,嗯,我们导员是所有导员中最帅的一个,真的???? 不过,导员说的是实话,很多人都叫我大神的,为啥,因为我知道这32个网站啊,你说强不强????,这次是绝对的干货,看好啦,走起来! PS:每个网站都是学计算机混互联网必须知道的,真的牛杯,我就不过多介绍了,大家自行探索,觉得没用的,尽管留言吐槽吧???? 社...
良心推荐,我珍藏的一些Chrome插件
上次搬家的时候,发了一个朋友圈,附带的照片中不小心暴露了自己的 Chrome 浏览器插件之多,于是就有小伙伴评论说分享一下我觉得还不错的浏览器插件。 我下面就把我日常工作和学习中经常用到的一些 Chrome 浏览器插件分享给大家,随便一个都能提高你的“生活品质”和工作效率。 Markdown Here Markdown Here 可以让你更愉快的写邮件,由于支持 Markdown 直接转电子邮...
看完这篇HTTP,跟面试官扯皮就没问题了
我是一名程序员,我的主要编程语言是 Java,我更是一名 Web 开发人员,所以我必须要了解 HTTP,所以本篇文章就来带你从 HTTP 入门到进阶,看完让你有一种恍然大悟、醍醐灌顶的感觉。 最初在有网络之前,我们的电脑都是单机的,单机系统是孤立的,我还记得 05 年前那会儿家里有个电脑,想打电脑游戏还得两个人在一个电脑上玩儿,及其不方便。我就想为什么家里人不让上网,我的同学 xxx 家里有网,每...
剑指Offer对答如流系列 - 重建二叉树
面试题6:重建二叉树 题目:输入某二叉树的前序遍历和中序遍历的结果,请重建出该二叉树。假设输入的前序遍历和中序遍历的结果中都不含重复的数字。例如输入前序遍历序列{1,2,4,7,3,5,6,8}和中序遍历序列{4,7,2,1,5,3,8,6},则重建出图2.6所示的二叉树并输出它的头结点。二叉树结点的定义如下: class TreeNode{ int val; TreeNode l...
史上最全的IDEA快捷键总结
现在Idea成了主流开发工具,这篇博客对其使用的快捷键做了总结,希望对大家的开发工作有所帮助。
阿里程序员写了一个新手都写不出的低级bug,被骂惨了。
这种新手都不会范的错,居然被一个工作好几年的小伙子写出来,差点被当场开除了。
谁是华为扫地僧?
是的,华为也有扫地僧!2020年2月11-12日,“养在深闺人不知”的华为2012实验室扫地僧们,将在华为开发者大会2020(Cloud)上,和大家见面。到时,你可以和扫地僧们,吃一个洋...
AI 没让人类失业,搞 AI 的人先失业了
最近和几个 AI 领域的大佬闲聊 根据他们讲的消息和段子 改编出下面这个故事 如有雷同 都是巧合 1. 老王创业失败,被限制高消费 “这里写我跑路的消息实在太夸张了。” 王葱葱哼笑一下,把消息分享给群里。 阿杰也看了消息,笑了笑。在座几位也都笑了。 王葱葱是个有名的人物,21岁那年以全额奖学金进入 KMU 攻读人工智能博士,累计发表论文 40 余篇,个人技术博客更是成为深度学习领域内风向标。 ...
2020年,冯唐49岁:我给20、30岁IT职场年轻人的建议
点击“技术领导力”关注∆每天早上8:30推送 作者|Mr.K 编辑| Emma 来源|技术领导力(ID:jishulingdaoli) 前天的推文《冯唐:职场人35岁以后,方法论比经验重要》,收到了不少读者的反馈,觉得挺受启发。其实,冯唐写了不少关于职场方面的文章,都挺不错的。可惜大家只记住了“春风十里不如你”、“如何避免成为油腻腻的中年人”等不那么正经的文章。 本文整理了冯...
一份王者荣耀的英雄数据报告
咪哥杂谈本篇阅读时间约为 6 分钟。1前言前一阵写了关于王者的一些系列文章,从数据的获取到数据清洗,数据落地,都是为了本篇的铺垫。今天来实现一下,看看不同维度得到的结论。2环境准备本次实...
作为一名大学生,如何在B站上快乐的学习?
B站是个宝,谁用谁知道???? 作为一名大学生,你必须掌握的一项能力就是自学能力,很多看起来很牛X的人,你可以了解下,人家私底下一定是花大量的时间自学的,你可能会说,我也想学习啊,可是嘞,该学习啥嘞,不怕告诉你,互联网时代,最不缺的就是学习资源,最宝贵的是啥? 你可能会说是时间,不,不是时间,而是你的注意力,懂了吧! 那么,你说学习资源多,我咋不知道,那今天我就告诉你一个你必须知道的学习的地方,人称...
那些年,我们信了课本里的那些鬼话
教材永远都是有错误的,从小学到大学,我们不断的学习了很多错误知识。 斑羚飞渡 在我们学习的很多小学课文里,有很多是错误文章,或者说是假课文。像《斑羚飞渡》: 随着镰刀头羊的那声吼叫,整个斑羚群迅速分成两拨,老年斑羚为一拨,年轻斑羚为一拨。 就在这时,我看见,从那拨老斑羚里走出一只公斑羚来。公斑羚朝那拨年轻斑羚示意性地咩了一声,一只半大的斑羚应声走了出来。一老一少走到伤心崖,后退了几步,突...
一个程序在计算机中是如何运行的?超级干货!!!
强烈声明:本文很干,请自备茶水!???? 开门见山,咱不说废话! 你有没有想过,你写的程序,是如何在计算机中运行的吗?比如我们搞Java的,肯定写过这段代码 public class HelloWorld { public static void main(String[] args) { System.out.println("Hello World!"); } ...
【蘑菇街技术部年会】程序员与女神共舞,鼻血再次没止住。(文末内推)
蘑菇街技术部的年会,别开生面,一样全是美女。
那个在阿里养猪的工程师,5年了……
简介: 在阿里,走过1825天,没有趴下,依旧斗志满满,被称为“五年陈”。他们会被授予一枚戒指,过程就叫做“授戒仪式”。今天,咱们听听阿里的那些“五年陈”们的故事。 下一个五年,猪圈见! 我就是那个在养猪场里敲代码的工程师,一年多前我和20位工程师去了四川的猪场,出发前总架构师慷慨激昂的说:同学们,中国的养猪产业将因为我们而改变。但到了猪场,发现根本不是那么回事:要个WIFI,没有;...
为什么程序猿都不愿意去外包?
分享外包的组织架构,盈利模式,亲身经历,以及根据一些外包朋友的反馈,写了这篇文章 ,希望对正在找工作的老铁有所帮助
Java校招入职华为,半年后我跑路了
何来 我,一个双非本科弟弟,有幸在 19 届的秋招中得到前东家华为(以下简称 hw)的赏识,当时秋招签订就业协议,说是入了某 java bg,之后一系列组织架构调整原因等等让人无法理解的神操作,最终毕业前夕,被通知调往其他 bg 做嵌入式开发(纯 C 语言)。 由于已至于校招末尾,之前拿到的其他 offer 又无法再收回,一时感到无力回天,只得默默接受。 毕业后,直接入职开始了嵌入式苦旅,由于从未...
立即提问