最近在学习python爬虫,案例中有一个猫眼的爬虫,但是由于教材是2年前的,现在猫眼对网页内容进行了base64的加密,按照原来的代码无法获取想要的数据,正常requests.get(url)出来的结果应该是这样的
但现在出来的结果是这样的
现在的代码是这样的
import requests
import re
def get_one_page(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36'
}
response = requests.get(url, headers = headers)
if response.status_code == 200:
return response.text
return None
def main():
url = 'https://maoyan.com/board/4'
html = get_one_page(url)
print(html)
main()
所以我要怎么修改代码才可以得到正常的网页内容?请各位大佬赐教!