问题遇到的现象和发生背景
Python爬取豆瓣电影数据返回[],没有数据
问题相关代码,请勿粘贴截图
# 需求:获取豆瓣电影类型分类下的电影列表
import requests
import json
if __name__ == "__main__":
# UA伪装:将对应的User-Agent封装到一个字典中
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:95.0) Gecko/20100101 Firefox/95.0'
}
# 1.指定url
url = 'https://movie.douban.com/j/chart/top_list' # ?type=24&interval_id=100:90&action=&start=60&limit=20
# 2.封装url问号后面的参数
param = {
'type': '24',
'interval_id': '100: 90',
'action': '',
'start': '20', # 表示从第几部电影开始取
'limit': '20', # 表示一次请求取的个数
}
# 3.发起get请求
response = requests.get(url=url, params=param, headers=headers)
list_data = response.json()
print(list_data)
# 4.进行持久化存储(注意导入json模块)
fileName = './douban.json'
fp = open(fileName, 'w', encoding='utf-8')
json.dump(list_data, fp=fp, ensure_ascii=False)
print('豆瓣爬取结束!!')
运行结果及报错内容
[]
豆瓣爬取结束!!
请看看,谢谢!!