m0_61244708 2022-06-01 21:42 采纳率: 50%
浏览 49
已结题

用requests库爬取网页内容,运行以后一直在get函数这

用requests库爬取网页内容,运行以后一直卡在requests函数这,没有显示内容。
代码没有问题,好像是电脑的问题,不知道是不是杀毒软件还是windows自带安全中心的问题,爬取不到网页内容。
请问怎么解决?

import requests

def getHTML(url):
    try:
        print("*")
        r = requests.get(url)
        print("*")
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return r.status_code

if __name__ == "__main__":
    url = "https://quote.stockstar.com/Comment/"
    s = getHTML(url)
    print(s[:100])

  • 写回答

4条回答 默认 最新

  • CSDN专家-HGJ 2022-06-01 22:39
    关注

    爬取网页内容要看你在requests的get中参数有没有传全,比如 headers,cookies等,通过F12查看请求参数。对于动态加载数据的页面,要使用selenium等其他库。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论 编辑记录
查看更多回答(3条)

报告相同问题?

问题事件

  • 系统已结题 7月23日
  • 已采纳回答 7月15日
  • 修改了问题 6月3日
  • 修改了问题 6月3日
  • 展开全部

悬赏问题

  • ¥15 uniapp uview http 如何实现统一的请求异常信息提示?
  • ¥15 有了解d3和topogram.js库的吗?有偿请教
  • ¥100 任意维数的K均值聚类
  • ¥15 stamps做sbas-insar,时序沉降图怎么画
  • ¥15 买了个传感器,根据商家发的代码和步骤使用但是代码报错了不会改,有没有人可以看看
  • ¥15 关于#Java#的问题,如何解决?
  • ¥15 加热介质是液体,换热器壳侧导热系数和总的导热系数怎么算
  • ¥100 嵌入式系统基于PIC16F882和热敏电阻的数字温度计
  • ¥20 BAPI_PR_CHANGE how to add account assignment information for service line
  • ¥500 火焰左右视图、视差(基于双目相机)