favomj
2019-04-23 17:13
采纳率: 50%
浏览 2.1k

requests返回为空的问题

学生党,弄着玩
爬取微舆情
头文件,data都已更改,allow_redirects设置为False,但requests返回的值为空
代码如下

import json
import requests
import datetime
import urllib3
from urllib3.exceptions import InsecureRequestWarning
urllib3.disable_warnings(InsecureRequestWarning)
sess = requests.session()

def run(keyword):
    headers = {
        'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
        'Host': 'www.wrd.cn',
        'Origin': 'http://www.wrd.cn',
        'Referer': 'http://www.wrd.cn/goSearch.shtml',
        'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
        'X-Requested-With': 'XMLHttpRequest',
    }

    endTime = datetime.datetime.now()
    startTime = endTime + datetime.timedelta(days=-1)
    data = {
        'title': '%s' % (keyword),
        'keyword': '%s' % (keyword),
        'filterKeyword': '',
        'categoryId': '',
        'categoryType': '',
        'secondCategory': '',
        'date': '24',
        'categoryLevel': '',
        'startTime' : startTime.strftime("%Y-%m-%d %H:%M:%S"),
        'endTime':endTime.strftime("%Y-%m-%d %H:%M:%S"),
        'secondClassifyName': '',
        'threeClassifyName':'',
        'isAll':'',
        'shareCode':''
    }

    url = 'http://www.wrd.cn/view/openTools/goHotWorthOTChart.action'
    res = sess.post(headers=headers, data=data, url=url,allow_redirects=False)
    print(res.text)


run('千佛山')




  • 写回答
  • 关注问题
  • 收藏
  • 邀请回答

2条回答 默认 最新

  • threenewbee 2019-04-23 17:25
    已采纳

    下载安装fiddler,先在浏览器里操作,抓包得到请求的报文
    然后运行你的程序,也抓包
    两个对比下,看看有什么不同。你照着修改

    打赏 评论
  • Mr____zheng 2019-05-13 19:51

    能问下需要走什么流程吗?

    打赏 评论

相关推荐 更多相似问题