weixin_44311816 2018-12-28 11:15 采纳率: 100%
浏览 460
已采纳

求助!抓取动态网页时出现奇怪的输出结果

在使用post方式抓一个动态网页的js内容,输出结果没有报错,但出现了一个奇怪的输出结果:

图片说明

我要爬的网站是:http://wzzxbs.mofcom.gov.cn/WebProSP/app/infoPub/entpAudit
图片说明

使用的代码如下:

import urllib

def http_post():
    url = 'http://wzzxbs.mofcom.gov.cn/WebProSP/infoPub/audit/loadAuditData.action'
    values = {
            'params.entpName': '',
            'page.currentPage': '1',
            'page.limit': '20',
            'page.option': 'next',
            'page.start': '0',
            'page.rowCount': '2051465',
            'listGrid.col': '1:showAuditInfo(0),2,3,4',
            'listGrid.type': 'link,ro,ro,ro'
            }
    head = {
        'Accept': 'application/json, text/javascript, */*',
        'Accept-Encoding': 'gzip, deflate',
        'Accept-Language': 'zh-CN,zh;q=0.9',
        'Connection': 'keep-alive',
        'Content-Length': '168',
        'Content-Type': 'application/x-www-form-urlencoded',
        'Cookie': 'sto-id-20480=AGBEFINDJBBP',
        'Host': 'wzzxbs.mofcom.gov.cn',
        'Origin': 'http://wzzxbs.mofcom.gov.cn',
        'Referer': 'http://wzzxbs.mofcom.gov.cn/WebProSP/app/infoPub/entpAudit',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
        'X-Requested-With':' XMLHttpRequest'
        }

    jdata = urllib.parse.urlencode(values).encode("utf-8")
    req = urllib.request.Request(url, jdata, headers = head)  
    response = urllib.request.urlopen(req)  
    return response.read()   

resp = http_post()
print(resp)

不知道具体是什么原因出了问题,希望大佬指点!感谢!

  • 写回答

1条回答 默认 最新

  • lyhsdy 2018-12-31 03:02
    关注

    ←如果以下回答对你有帮助,请点击右边的向上箭头及采纳下答案

    建议不要用urllib这个库,用requests这个库会好很多

    import requests
    def http_post():
        url = 'http://wzzxbs.mofcom.gov.cn/WebProSP/infoPub/audit/loadAuditData.action'
        values = {
                'params.entpName': '',
                'page.currentPage': '1',
                'page.limit': '20',
                'page.option': 'next',
                'page.start': '0',
                'page.rowCount': '2051465',
                'listGrid.col': '1:showAuditInfo(0),2,3,4',
                'listGrid.type': 'link,ro,ro,ro'
                }
        head = {
            'Accept': 'application/json, text/javascript, */*',
            'Accept-Encoding': 'gzip, deflate',
            'Accept-Language': 'zh-CN,zh;q=0.9',
            'Connection': 'keep-alive',
            'Content-Length': '168',
            'Content-Type': 'application/x-www-form-urlencoded',
            'Cookie': 'sto-id-20480=AGBEFINDJBBP',
            'Host': 'wzzxbs.mofcom.gov.cn',
            'Origin': 'http://wzzxbs.mofcom.gov.cn',
            'Referer': 'http://wzzxbs.mofcom.gov.cn/WebProSP/app/infoPub/entpAudit',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
            'X-Requested-With':'XMLHttpRequest'
            }
    
        s=requests.session()
        s.headers.update(head)
        req=s.post(url=url,data=values,verify=False).text
        return req
    
    resp = http_post()
    print(resp)
    
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

悬赏问题

  • ¥35 平滑拟合曲线该如何生成
  • ¥100 c语言,请帮蒟蒻写一个题的范例作参考
  • ¥15 名为“Product”的列已属于此 DataTable
  • ¥15 安卓adb backup备份应用数据失败
  • ¥15 eclipse运行项目时遇到的问题
  • ¥15 关于#c##的问题:最近需要用CAT工具Trados进行一些开发
  • ¥15 南大pa1 小游戏没有界面,并且报了如下错误,尝试过换显卡驱动,但是好像不行
  • ¥15 没有证书,nginx怎么反向代理到只能接受https的公网网站
  • ¥50 成都蓉城足球俱乐部小程序抢票
  • ¥15 yolov7训练自己的数据集