最近发现了一个网站,想用python爬虫爬取其中的图片
https://www.aigei.com/view/70774.html?page=1
首先使用requests库试了一下
import requests
import re
url = r"https://www.aigei.com/view/70774.html?page=2"
print(url)
headers = (太长了,这里就不放了,其中有user-agent , cookie)
html = requests.get(url, headers=headers).content.decode("utf-8")
print(html)
但是发现没有想要的内容
出现了很多的空行, 用selenium试了一下, 依然不行
from selenium import webdriver
import re
browser = webdriver.Chrome()
browser.get(r"https://www.aigei.com/view/70774.html?page=2")
html = browser.page_source
print(html)
browser.quit()
本人是初学者,希望各位达人帮忙解决