import requests from bs4 import BeautifulSoup import time headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 ' '(KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36' } def judgment_sex(class_name):#判别房东男女的函数 if class_name==['member_ico1']: return '女' else: return '男' def get_links(url):#获取详细页 wb_data = requests.get(url, headers=headers) soup = BeautifulSoup(wb_data.text, 'lxml') links = soup.select('#page_list > ul > li> a ') for link in links: href = link.get('href') get_info(href) def get_info(url):#获取网页信息的函数 wb_data=requests.get(url,headers=headers) soup=BeautifulSoup(wb_data.text,'lxml') tittles=soup.select('div.pho_info > h4') addresses=soup.select('span.pr5') prices=soup.select('#pricePart > div.day_l > span') imgs=soup.select('#floatRightBox > div.js_box.clearfix > div.member_pic > a > img') names = soup.select('#floatRightBox > div.js_box.clearfix > div.w_240 > h6 > a') sexs=soup.select('#floatRightBox > div.js_box.clearfix > div.member_pic > div') for tittle,address,price,img,name,sex in zip(tittles,addresses,prices,imgs,names,sexs): data={ 'tittle':tittle.get_text().strip(), 'address':address.get_text().strip(), 'price':price.get_text(), 'img':img.get("src"), 'name':name.get_text(), 'sex':judgment_sex(sex.get("class")) } print(data)#打印信息 if __name__ == '__main__':#主入口 urls=['https://gz.xiaozhu.com/search-duanzufang-p{}-0/'.format(number) for number in range(1,4)] for single_url in urls: get_links(single_url) time.sleep(2)#睡眠2秒
python爬虫实例小猪短租爬虫,运行后爬不到数据,求各位老板指点
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
2条回答 默认 最新
- 木三136 2021-04-10 11:40关注
该网站是使用ajax动态加载的,您使用get_links函数所获得的的网页源码是不完整的,所以什么都爬不到
您可以通过获取json文件来获得您需要的内容
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 1无用
悬赏问题
- ¥15 seatunnel-web使用SQL组件时候后台报错,无法找到表格
- ¥15 fpga自动售货机数码管(相关搜索:数字时钟)
- ¥15 用前端向数据库插入数据,通过debug发现数据能走到后端,但是放行之后就会提示错误
- ¥30 3天&7天&&15天&销量如何统计同一行
- ¥30 帮我写一段可以读取LD2450数据并计算距离的Arduino代码
- ¥15 飞机曲面部件如机翼,壁板等具体的孔位模型
- ¥15 vs2019中数据导出问题
- ¥20 云服务Linux系统TCP-MSS值修改?
- ¥20 关于#单片机#的问题:项目:使用模拟iic与ov2640通讯环境:F407问题:读取的ID号总是0xff,自己调了调发现在读从机数据时,SDA线上并未有信号变化(语言-c语言)
- ¥20 怎么在stm32门禁成品上增加查询记录功能