from selenium import webdriver import csv # 时间库:可以控制延迟时间 import time url="https://tj.lianjia.com/" browser=webdriver.Chrome() # 窗口最大化 browser.maximize_window() browser.get(url) # 通过选择器找到相应标签 browser.find_element_by_css_selector("#keyword-box").send_keys("北辰区") # 模拟用户点击行为 browser.find_element_by_css_selector("#findHouse").click() # print(browser.page_source) # 控制页数 x = 1 # 控制条数 1-30 31-60 61-90 # while结束条件是判断是否到了最后一页 # 判断是否到了最后一页的标准是:下一页不能点击 # 当前源码中是否存在“pn-next.disabled” # 如果不存在,返回-1 # 如果返回-1,说明不是最后一页 # next = browser.find_element_by_css_selector("#content > div.leftContent > div.contentBottom.clear > div.page-box.fr > div > a:nth-child(8)") # print(next) # z= 0 # while(): # z += 1 # if z <= 20: # break z=0 for z in range(10): z+=1 if(z<=10): liList = browser.find_elements_by_css_selector("#content > div.leftContent > ul > li") for i in liList: price = i.find_element_by_css_selector( " div.info.clear > div.priceInfo > div.totalPrice").text print(price) # shop=i.find_element_by_css_selector("div > div.p-shop > span > a").text # print(shop) # jianjie=i.find_element_by_css_selector(" div > div.p-name.p-name-type-2 > a > em").text # print(jianjie) with open("lianjia2.csv", "a+", encoding="utf-8") as file: data = [price] csv.writer(file).writerow(data) browser.find_element_by_css_selector( "#content > div.leftContent > div.contentBottom.clear > div.page-box.fr > div > a:nth-child(6)").click() print("第%s页数据下载完毕"%x) x+=1 break time.sleep(5)
爬取链家网房源数据,无法成功翻页,求解
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
2条回答 默认 最新
- CSDN专家-黄老师 2021-06-04 17:55关注
应该是翻页的定位不准,可以打开浏览器的开发者工具,可以复制xpath,用xpath定位试试,如果翻页只是在上一页的url增加了参数,可以自己修改url,用browser.get(url)访问第二页
如果对你有帮助,可以点击我这个回答右上方的【采纳】按钮,给我个采纳吗,谢谢
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏 举报
悬赏问题
- ¥15 WPF 大屏看板表格背景图片设置
- ¥15 这个主板怎么能扩出一两个sata口
- ¥15 不是,这到底错哪儿了😭
- ¥15 2020长安杯与连接网探
- ¥15 关于#matlab#的问题:在模糊控制器中选出线路信息,在simulink中根据线路信息生成速度时间目标曲线(初速度为20m/s,15秒后减为0的速度时间图像)我想问线路信息是什么
- ¥15 banner广告展示设置多少时间不怎么会消耗用户价值
- ¥16 mybatis的代理对象无法通过@Autowired装填
- ¥15 可见光定位matlab仿真
- ¥15 arduino 四自由度机械臂
- ¥15 wordpress 产品图片 GIF 没法显示