根据B站学习视频学习爬虫,代码一样但是老师有反馈内容,但是自己的没有,是空白,代码如下,有大佬能帮忙解答下吗?
from bs4 import BeautifulSoup #网页解析,获取数据
import re #正则表达式,进行文字匹配
import urllib.request,urllib.error #制定URL,获取网页数据
import xlwt #进行exel操作
import sqlite3 #进行SQLITE数据库操作
def main():
baseurl = "https://movie.douban.com/top250?start="
#1爬取网页
datalist = getData(baselist)
savepath = ".\豆瓣电影top250.xsl"
#保存数据
#saveData(savepath)
askURL("https://movie.douban.com/top250?start=0")
#爬取网页
def getData(baseurl):
datalist = []
for i in range(0,10): #调用获取页面信息的函数,10次
url = baseurl + str(i*25)
html = askURL(url) #保存获取到的网页源码
#2逐一解析数据
return datalist
#得到指定一个URL的网页内容
def askURL(url):
head = { #模拟浏览器头部信息,向豆瓣服务器发送消息
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko"
}
#用户代理 ,表示告诉豆瓣服务器,我们是什么类型的机器、浏览器(本质告诉浏览器,我们可以接收什么内容)
request = urllib.request.Request(url,headers = head)
html = ""
try:
response = urllib.request.urlopen(request)
html = response.read().decode("utf-8")
print(html)
except urllib.error.URLError as e:
if hasattr(e,"code"):
print(e,code)
if hasattr(e,"reason"):
print(e,reason)
return html
#3保存数据
def saveData(savepath):
return savepath