shonmark 2017-12-06 12:28 采纳率: 50%
浏览 392

问下爬知乎的思路,后面凑字数

我用requests和selenium试了下,知乎好像做了什么处理。用chromedriver可以打开我要的网页。
但是打印出来的结果和打开的页面完全不一样。全是账号冻结什么的。感觉知乎的web开发者在和我开玩笑。
from bs4 import BeautifulSoup
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/search?type=content&q=ppp%E9%A3%8E%E9%99%A9%E6%8E%A7%E5%88%B6')

soup = BeautifulSoup(browser.page_source, 'lxml')
print(soup)

  • 写回答

0条回答

    报告相同问题?

    悬赏问题

    • ¥15 求差集那个函数有问题,有无佬可以解决
    • ¥15 【提问】基于Invest的水源涵养
    • ¥20 微信网友居然可以通过vx号找到我绑的手机号
    • ¥15 寻一个支付宝扫码远程授权登录的软件助手app
    • ¥15 解riccati方程组
    • ¥15 display:none;样式在嵌套结构中的已设置了display样式的元素上不起作用?
    • ¥15 使用rabbitMQ 消息队列作为url源进行多线程爬取时,总有几个url没有处理的问题。
    • ¥15 Ubuntu在安装序列比对软件STAR时出现报错如何解决
    • ¥50 树莓派安卓APK系统签名
    • ¥65 汇编语言除法溢出问题