selenium进行爬虫的时候无法实现翻页功能,总是在爬取第一页
def run(self):
#模拟浏览器打开网页
self.driver.get(self.url)
while True:
source = self.driver.page_source
self.parse_list_page(source)
time.sleep(2)
next_btn = self.driver.find_element_by_link_text('下一页')
next_btn.click()