shonmark
shonmark
2017-12-06 12:28

问下爬知乎的思路,后面凑字数

  • python

我用requests和selenium试了下,知乎好像做了什么处理。用chromedriver可以打开我要的网页。
但是打印出来的结果和打开的页面完全不一样。全是账号冻结什么的。感觉知乎的web开发者在和我开玩笑。
from bs4 import BeautifulSoup
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/search?type=content&q=ppp%E9%A3%8E%E9%99%A9%E6%8E%A7%E5%88%B6')

soup = BeautifulSoup(browser.page_source, 'lxml')
print(soup)

  • 点赞
  • 回答
  • 收藏
  • 复制链接分享

0条回答