python 爬虫 登录知乎后搜索 某些文章 遇到的问题 代码补充

Question

#-*- coding: utf-8 -*-
from selenium import webdriver
from selenium.webdriver import ChromeOptions
import os
import json
import time
#导入避免被发现是selenium的工具


def browser_initial():
    option = ChromeOptions()
    option.add_experimental_option('excludeSwitches', ['enable-automation'])
    browser = webdriver.Chrome(executable_path='../chromedriver.exe',options=option)

    goal_url = 'https://www.zhihu.com/'
    #未携带Cookies
    browser.get('https://www.zhihu.com/')
    return goal_url, browser


def log_ZHIHU(browser,goal_url):
# 从本地读取cookies
    with open('ZhiHu_cookies.txt', 'r', encoding='utf8') as f:
        listCookies = json.loads(f.read())
    for cookie in listCookies:
        cookie_dict = {
            'domain': '.zhihu.com',
            'name': cookie.get('name'),
            'value': cookie.get('value'),
            'path': '/',
            'httpOnly': False,
            'secure': False
        }

        browser.add_cookie(cookie_dict)
    browser.maximize_window()
    #测试用搜索
    time.sleep(10)
    browser.get(url='https://www.zhihu.com/search?q=python%E4%BB%A3%E7%90%86ip&utm_content=search_suggestion&type=content')
    return browser
def Seracr(browser):
    Seracr_Input=browser.find_element_by_class_name('Input')
    Text=input("输入你想搜索的文章的内容")
    Seracr_Input.send_keys(Text)
    Seracr_Button=browser.find_element_by_class_name('Button')
    Seracr_Button.click()

if __name__ == '__main__':
    tur = browser_initial()
    bro=log_ZHIHU(tur[1],tur[0])
    #Seracr(bro)

Answer 1

你打开浏览器的控制台看下页面是不是有问题。而且这个页面的内容，并不是一次性请求过来的。你需要的内容，应该是https://www.zhihu.com/api/v4/search_v3?t=general&q=python%E4%BB%A3%E7%90%86ip&correction=1&offset=0&limit=20&lc_idx=0&show_all_topics=0 这个接口回来的数据，所以其实并不需要selenium，直接去模拟http get请求这个地址就可以了。