在python3.9环境下,使用threading多线程爬取百度图片,线程启动后,爬取的图片更少
import requests
import os
import re
import time
import threading
from queue import Queue
进行UA伪装,当前爬取信息伪装成浏览器
lock = threading.Lock()
header = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.81 Safari/537.36 Edg/104.0.1293.47"
}
def image():
time_start = time.time()
keyword = input()
save_dir = keyword
page_num = 4
# 请求的 url
url = 'https://image.baidu.com/search/acjson?'#这是个ajkx请求
#生存列表,存储图片链接
image_url_list = []
for pn in range(0, 30 * page_num, 30):
# 请求参数
param = {'tn': 'resultjson_com',
'logid': '7603311155072595725',
'ipn': 'rj',
'ct': 201326592,
'is': '',
'fp': 'result',
'queryWord': keyword,
'cl': 2,
'lm': -1,
'ie': 'utf-8',
'oe': 'utf-8',
'adpicid': '',
'st': -1,
'z': '',
'ic': '',
'hd': '',
'latest': '',
'copyright': '',
'word': keyword,
's': '',
'se': '',
'tab': '',
'width': '',
'height': '',
'face': 0,
'istype': 2,
'qc': '',
'nc': '1',
'fr': '',
'expermode': '',
'force': '',
'cg': '',
'pn': pn, # 显示:30-60-90
'rn': '30', # 每页显示 30 条
'gsm': '1e',
'1618827096642': ''
}
response = requests.get(url=url, headers=header, params=param)
#显示200表示请求成功,但没处理
if response.status_code == 200:
pass
html = response.text.encode('utf-8').decode('utf-8')
# 正则方式提取图片链接
image_url_= re.findall('"thumbURL":"(.*?)",', html, re.S)
#遍历获取到的图片链接,存储在一个列表中,用来构成队列
for Url in image_url_:
image_url_list.append(Url)
print(image_url_list)
#建立不同关键词存储的文件夹
if not os.path.exists(save_dir):
os.makedirs(save_dir)
# #实例化Queue,用来存储图片链接为队列
url_queue = Queue(len(image_url_list))
for a in range(len(image_url_list)): #遍历列表中存储的图片链接
#放入队列中
dict = {}
dict['url'] = image_url_list[a]
dict['num'] = a
url_queue.put(dict)
def get_images(threadNmae, url_queue):
while True:
if not url_queue.empty():
image_url = url_queue.get()['url']
image_data = requests.get(url=image_url, headers=header).content
else :
break
with open(os.path.join(save_dir, '{}.jpg'.format(url_queue.get()['num'])), 'wb') as fp:
fp.write(image_data)
class myThread(threading.Thread):
def __init__(self, name, delay):
threading.Thread.__init__(self)
self.name = name
self.delay = delay
def run(self):
print("Starting " + self.name)
get_images(self.name, self.delay)
print("Exiting " + self.name)
thread1 = myThread("Thread-" +'1',delay=url_queue)
thread1.start()
thread2 = myThread("Thread-" + '2', delay=url_queue)
thread2.start()
image()
运行结果及报错内容
运行时,多线程没有结束。
爬取的图片编号应该从0到120,但是中间随机缺少了,再没使用多线程之前能够爬取所有图片。
我的解答思路和尝试过的方法
尝试过让爬虫休眠在运行,没有效果
我想要达到的结果
爬取的图片能够全部都下载下来