HungryHenry 2022-12-13 16:18 采纳率: 100%
浏览 75
已结题

python scrapy爬虫如果想要下一页但是没有href

scrapy 想实现爬取下一页的功能,但是”下一页“按钮并没有指向一个href。想请教如何实现爬取到下一页的功能
网址:https://chl.cn/?lishi

<input value="4" name="page" type="hidden" /> <input value="" name="str" type="hidden" /> <input value="1.." type="submit" class="pg" /> <input value="上一页" type="submit" class="pg" /> <input value="4/148" type="button" class="pg pg0" /> <input value="下一页" type="submit" class="pg" />
  • 写回答

1条回答 默认 最新

  • 编程乐趣 .Net领域优质创作者 2022-12-13 21:41
    关注

    你要模拟参数,具体代码如下:

    import http.client
    
    conn = http.client.HTTPSConnection("chl.cn")
    #page 5
    #submit 下一页
    payload = 'page=5&submit=%E4%B8%8B%E4%B8%80%E9%A1%B5&str='
    headers = {
       'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36',
       'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
       'Host': 'chl.cn',
       'Connection': 'keep-alive',
       'Content-Type': 'application/x-www-form-urlencoded'
    }
    conn.request("GET", "/?lishi", payload, headers)
    res = conn.getresponse()
    data = res.read()
    print(data)
    print(data.decode("utf-8"))
    
    
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
编辑
预览

报告相同问题?

问题事件

  • 已结题 (查看结题原因) 12月14日
  • 已采纳回答 12月14日
  • 创建了问题 12月13日

悬赏问题

  • ¥15 全志t113i启动qt应用程序提示internal error
  • ¥15 ensp可以看看嘛.
  • ¥80 51单片机C语言代码解决单片机为AT89C52是清翔单片机
  • ¥60 优博讯DT50高通安卓11系统刷完机自动进去fastboot模式
  • ¥15 minist数字识别
  • ¥15 在安装gym库的pygame时遇到问题,不知道如何解决
  • ¥20 uniapp中的webview 使用的是本地的vue页面,在模拟器上显示无法打开
  • ¥15 网上下载的3DMAX模型,不显示贴图怎么办
  • ¥15 关于#stm32#的问题:寻找一块开发版,作为智能化割草机的控制模块和树莓派主板相连,要求:最低可控制 3 个电机(两个驱动电机,1 个割草电机),其次可以与树莓派主板相连电机照片如下:
  • ¥15 潜在扩散模型的Unet特征提取
手机看
程序员都在用的中文IT技术交流社区

程序员都在用的中文IT技术交流社区

专业的中文 IT 技术社区,与千万技术人共成长

专业的中文 IT 技术社区,与千万技术人共成长

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

客服 返回
顶部