m0_61244708 2022-06-01 21:42 采纳率: 50%
浏览 49
已结题

用requests库爬取网页内容,运行以后一直在get函数这

用requests库爬取网页内容,运行以后一直卡在requests函数这,没有显示内容。
代码没有问题,好像是电脑的问题,不知道是不是杀毒软件还是windows自带安全中心的问题,爬取不到网页内容。
请问怎么解决?

import requests

def getHTML(url):
    try:
        print("*")
        r = requests.get(url)
        print("*")
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return r.status_code

if __name__ == "__main__":
    url = "https://quote.stockstar.com/Comment/"
    s = getHTML(url)
    print(s[:100])

  • 写回答

4条回答 默认 最新

  • CSDN专家-HGJ 2022-06-01 22:39
    关注

    爬取网页内容要看你在requests的get中参数有没有传全,比如 headers,cookies等,通过F12查看请求参数。对于动态加载数据的页面,要使用selenium等其他库。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论 编辑记录
查看更多回答(3条)

报告相同问题?

问题事件

  • 系统已结题 7月23日
  • 已采纳回答 7月15日
  • 修改了问题 6月3日
  • 修改了问题 6月3日
  • 展开全部

悬赏问题

  • ¥15 装 pytorch 的时候出了好多问题,遇到这种情况怎么处理?
  • ¥20 IOS游览器某宝手机网页版自动立即购买JavaScript脚本
  • ¥15 手机接入宽带网线,如何释放宽带全部速度
  • ¥30 关于#r语言#的问题:如何对R语言中mfgarch包中构建的garch-midas模型进行样本内长期波动率预测和样本外长期波动率预测
  • ¥15 ETLCloud 处理json多层级问题
  • ¥15 matlab中使用gurobi时报错
  • ¥15 这个主板怎么能扩出一两个sata口
  • ¥15 不是,这到底错哪儿了😭
  • ¥15 2020长安杯与连接网探
  • ¥15 关于#matlab#的问题:在模糊控制器中选出线路信息,在simulink中根据线路信息生成速度时间目标曲线(初速度为20m/s,15秒后减为0的速度时间图像)我想问线路信息是什么