BIECHONGFU 2020-11-27 11:35 采纳率: 0%
浏览 22

爬取post请求数据出错(之前发过一次,没解决但是我点了采纳......)

需要爬取的内容是http://drugs.dxy.cn/drug/89790/detail.htm药品成份下的三角按钮隐藏内容(需要点击按钮才可以获取)
报错内容是dwr.engine._remoteHandleException('2','0',{javaClassName:"java.lang.Throwable",message:"Error"});

{javaClassName:"java.lang.Throwable",message:"Error"}代替了我要爬取的内容

 

 

 

from urllib.parse import urlencode

from urllib import request
import urllib


params = {

        'callCount': '1',
        'page': '/drug/89790/detail.htm',
        'httpSessionId':'',
        'scriptSessionId':'D8B63E5C6C13BEC549EB1F56C5D7D79B627',
        'c0-scriptName': 'DrugUtils',

        'c0-methodName':'showDetail',
        'c0-id': '0',
        'c0-param0=number': '89790',
        'c0-param1=number': '2',
        'batchId': '2'

}

headers = {
        
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.67 Safari/537.36 Edg/87.0.664.47'


    }
params = urllib.parse.urlencode(params).encode("utf-8")
base_url = 'http://drugs.dxy.cn/dwr/call/plaincall/DrugUtils.showDetail.dwr'
req = urllib.request.Request(base_url, data=params, headers=headers)
res = urllib.request.urlopen(req)

html = res.read().decode(encoding = "utf-8").strip()


print(html)
  • 写回答

2条回答 默认 最新

  • 放风喽 2020-11-27 23:39
    关注

    我用浏览器打开的,点击黑三角,提示需要登录,所以你登录了吗??

    如果技术不好,推荐selenium

    评论

报告相同问题?

悬赏问题

  • ¥15 彩灯控制电路,会的加我QQ1482956179
  • ¥200 相机拍直接转存到电脑上 立拍立穿无线局域网传
  • ¥15 (关键词-电路设计)
  • ¥15 如何解决MIPS计算是否溢出
  • ¥15 vue中我代理了iframe,iframe却走的是路由,没有显示该显示的网站,这个该如何处理
  • ¥15 操作系统相关算法中while();的含义
  • ¥15 CNVcaller安装后无法找到文件
  • ¥15 visual studio2022中文乱码无法解决
  • ¥15 关于华为5g模块mh5000-31接线问题
  • ¥15 keil L6007U报错