sinat_32635107
sinat_32635107
2017-10-22 15:00

python 爬虫XHR获取失败

50
  • 爬虫
  • python
  • xhr

需求是这样的,我需要写一个爬虫把
http://www.bjbus.com/home/fun_news_list.php?uNewsType=1&uStyle=1
上的所有list和其中的链接爬下来并每天定时查看有没有新的公告。进行简单的
response = urllib2.urlopen('http://www.bjbus.com/home/fun_news_detail.php?uNewsCode=00003475&uNewsType=1')
print html = response.read()
发现没有我想要的内容,进一步我发现我想要的东西是通过这个发来的
http://www.bjbus.com/home/ajax_news_list.php
但我单独请求这个没有任何返回,尝试了自己编写headers后无果,请大神们帮帮忙
怎么才能获得所有的公告和其对应的链接。

  • 点赞
  • 回答
  • 收藏
  • 复制链接分享

2条回答

为你推荐

换一换