Python爬虫BeautifulSoup爬取不到想要的信息

一、问题描述:想用Python 的BeautifulSoup 爬取网站 https://www.guazi.com/www/bmw/o2c-2/#bread页面中车辆的车型名称、年份、里程、价格等信息,但是选择了好多标签和属性值,都无法爬取到想要的信息。

二、 我的代码:
import bs4, requests
headers={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'}

for i in range(1,2):
url = 'https://www.guazi.com/www/bmw/o'+str(i)+'c-2/#bread'
r = requests.get(url, headers=headers)
bs_r = bs4.BeautifulSoup(r.text, 'html.parser')
uc_status = bs_r.find_all('a', class_='car_a')
for uc in uc_status:
model=uc.find('h2',class_='t').text
print(model)

三、运行代码结果:

Process finished with exit code 0

四、想要请教和解决的问题:
1):麻烦请问该网站是否可以用BeautifulSoup解析?
2):如果可以的话,我的代码是否有问题?

 感谢

1个回答

请问你需要爬取的是页面哪个内容

weixin_48994595
weixin_48994595 感谢感谢
大约一个月之前 回复
knightjsh
knightjsh 我也还在学,抱歉,帮不到你了
大约一个月之前 回复
knightjsh
knightjsh 回复weixin_48994595: 我破不了这个反爬机制,你可以看看别人爬取瓜子的案例看看,因为我也没看过这种反爬
大约一个月之前 回复
weixin_48994595
weixin_48994595 回复knightjsh: 那孩能爬吗?
大约一个月之前 回复
weixin_48994595
weixin_48994595 想爬取页面中车辆的车型名称、年份、里程、价格等信息,谢谢
大约一个月之前 回复
knightjsh
knightjsh r.encoding = r.apparent_encoding
大约一个月之前 回复
knightjsh
knightjsh 会有编码报错,建议加上
大约一个月之前 回复
knightjsh
knightjsh bs是可以解释,但是有点繁琐,而且这个网站有robots协议,建议了解能不能爬再写代码。我尝试写了一下,发现一直在获取网页,没有显示到网页内容。
大约一个月之前 回复
knightjsh
knightjsh bs
大约一个月之前 回复
knightjsh
knightjsh 哦,看漏了是车型。首先for循环就有问题了,如果你需要爬取一二页的两个页面,那么条件range(1,3)这样才行,这是左开右闭区间。
大约一个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问
相关内容推荐