MingTechPro 2021-01-06 23:41 采纳率: 50%
浏览 20
已结题

哪位大佬看一下,为什么下载不了百度贴吧的页面?

代码如下面

from urllib import response
from urllib.request import Request, urlopen
from urllib.parse import urlencode
from fake_useragent import UserAgent

def get_html(url):
    headers = {
        "User-Agent": UserAgent().chrome
    }
    request = Request(url, headers=headers)
    response = urlopen(request)
    print(response.read().decode())
    return response.read()

def save_html(filename, html_bytes):
    with open(filename, "wb") as f:
        f.write(html_bytes)


def main():
    content = input("请输入要下载的内容:")
    num = input("请输入要下载多少页:")
    base_url = "https://tieba.baidu.com/f?&ie=utf-8&{}"
    for pn in range(int(num)):
        args = {
            "pn": pn * 50,
            "kw": content
        }
        filename = "第" + str(pn + 1) + "页.html"
        args = urlencode(args)
        print("正在下载" + filename)
        html_bytes = get_html(base_url.format(args))
        save_html(filename, html_bytes)

if __name__ == '__main__':
    main()
  • 写回答

1条回答 默认 最新

  • 堅持就是勝利! 2023-11-25 10:04
    关注

    报错了吗?

    评论

报告相同问题?

问题事件

  • 已结题 (查看结题原因) 12月12日
  • 请详细说明问题背景 9月21日

悬赏问题

  • ¥15 如何让企业微信机器人实现消息汇总整合
  • ¥50 关于#ui#的问题:做yolov8的ui界面出现的问题
  • ¥15 如何用Python爬取各高校教师公开的教育和工作经历
  • ¥15 TLE9879QXA40 电机驱动
  • ¥20 对于工程问题的非线性数学模型进行线性化
  • ¥15 Mirare PLUS 进行密钥认证?(详解)
  • ¥15 物体双站RCS和其组成阵列后的双站RCS关系验证
  • ¥20 想用ollama做一个自己的AI数据库
  • ¥15 关于qualoth编辑及缝合服装领子的问题解决方案探寻
  • ¥15 请问怎么才能复现这样的图呀