在python爬虫爬网站的时候返回Access denied怎么办

Question

#coding=utf-8
import urllib
import re

def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
return html
html = getHtml("http://www.xxx.com/ ")
f = file('html.txt','w')
f.write(html)
f.close()

返回的Access denied。。查了以下是浏览器不被支持。但是在爬虫下要怎么写？

Answer 1

浏览器不被支持，那什么设备可以访问？可以试一下修改User-Agent头文件。如果还是不行，尝试抓取可以访问的时候的请求文件头，包括cookie等，然后模拟抓取应该就可以了。