菜菜子nn 2022-01-28 19:17 采纳率: 83.3%
浏览 33

在pycharm中get到网页的yuan代码和右键查看的yuan代码不一样

在pycharm中get到网页的源代码和右键查看的源代码不一样,在爬取拉钩网发现了这个问题,代码如下,应该没问题,但是和网页的源代码出入很大,不知道是怎么回事

import requests
from concurrent.futures import ThreadPoolExecutor
def download_one_page(url):
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
                      "Chrome/97.0.4692.99 Safari/537.36 Edg/97.0.1072.69"
    }
    resp = requests.post(url, headers=headers)
    resp.encoding = "utf-8"
    print(resp.text)

if __name__ == "__main__":
    with ThreadPoolExecutor(50) as t:
        t.submit(download_one_page, f"https://www.lagou.com/zhaopin/"
  • 写回答

1条回答 默认 最新

  • 坚持不懈的大白 前端领域优质创作者 2022-01-28 21:08
    关注

    这不是一个get请求吗?为什么楼主用post请求啊!
    另外,使用代码请求到的网页源代码和通过鼠标右键查看网页源代码不一样也挺正常的,你可以尝试在请求头中添加其他参数试一试。

    评论

报告相同问题?

问题事件

  • 创建了问题 1月28日

悬赏问题

  • ¥15 xgboost建模输出结果由三分类变成四分类
  • ¥15 Windows X86 远线程注入问题解惑
  • ¥15 Vs2022安装时黑框闪退无反应
  • ¥15 嵌入式设备网口down后再up时不能link?
  • ¥15 关于区块链和边缘计算
  • ¥15 做一个简单项目,用Python分析共享单车的数据
  • ¥20 在使用CESM2.2.0模型进行case.submit过程中出现如下错误(关键词-Map)
  • ¥15 有办法改变通过wifi进入的网站的设置吗
  • ¥15 label_studio
  • ¥15 请教如何phython发邮件