#coding =utf-8 from bs4 import BeautifulSoup import re import urllib.request,urllib.error import xlwt import sqlite3 def main(): baseurl ="https://movie.douban.com/top250?start=" #爬取网页 datalist = getData(baseurl) savepath = ".\\豆瓣电影Top250.xls" #影片详情链接的规则 findlink = re.compile(r'<a href="(.*?)">') #创建正则表达式对象,表示规则(字符串的模式) #影片图片 findImgSrc = re.compile(r'<img.*src="(.*?)"',re.S) #让换行符包含在字符中 #影片片名 findTitle = re.compile(r'<span class="title">(.*)</span>') #影片评分 findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span?') #找到评价人数 findJudge = re.compile(r'(\d*)人评价</span>') #找到概况 findIng = re.compile(r'<span class="ing">(.*)</span>') #找到影片的相关内容 findBd = re.compile(r'<p class="">(.*)</p>',re.S) #savaData(savepath) #askURL("https://movie.douban.com/top250?start=0") #爬取网页 def getData(baseurl): datalist=[] for i in range(0,1): #调用获取页面信息的函数,10次 url =baseurl + str(i*25) html=askURL(url) #保存获取到的网页源码 # 逐一解析数据 soup = BeautifulSoup(html,"html.parser") for item in soup.find_all('div',class_="item"):#查找所有内容 # print(item) #测试 查看电影item全部信息 data = [] #保存一部电影的所有信息 item =str(item) #获取影片超链接 link = re.findall(findlink,item)[0] #re库用来通过正则表达式查找指定的字符串 print(link) return datalist #得到指定一个URL的网页内容 def askURL(url): #模拟浏览器头部信息,向豆瓣服务器发送消息 head ={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36"} # 用户代理,表示告诉豆瓣服务器,我们是什么类型的机器,浏览器(本质上是告诉浏览器,我们可以接受到什么水平的内容) request=urllib.request.Request(url,headers=head) html = "" try: response=urllib.request.urlopen((request)) html=response.read().decode("utf-8") # print(html) except urllib.error.URLError as e: if hasattr(e,"code"): print(e,code) if hasattr(e,"reason"): print(e,reason) return html #保存数据 def savaData(savepath): print("111") if __name__ == "__main__": main()
爬虫出现 TypeError怎么办,在线等??
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
1条回答 默认 最新
- Biscuit_vv 2020-12-07 15:03关注
def askURL(url): #模拟浏览器头部信息,向豆瓣服务器发送消息 head ={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36"} # 用户代理,表示告诉豆瓣服务器,我们是什么类型的机器,浏览器(本质上是告诉浏览器,我们可以接受到什么水平的内容) request=urllib.request.Request(url,headers=head) html = "" try: response=urllib.request.urlopen((request)) html=response.read().decode("utf-8") # print(html) except urllib.error.URLError as e: if hasattr(e,"code"): print(e,code) if hasattr(e,"reason"): print(e,reason) return html #你这个return放错地方了。变成了出错的时候才然后html
这个函数最后return的缩进有问题,往前挪一下就好了。
解决 无用评论 打赏 举报
悬赏问题
- ¥15 对于相关问题的求解与代码
- ¥15 ubuntu子系统密码忘记
- ¥15 信号傅里叶变换在matlab上遇到的小问题请求帮助
- ¥15 保护模式-系统加载-段寄存器
- ¥15 电脑桌面设定一个区域禁止鼠标操作
- ¥15 求NPF226060磁芯的详细资料
- ¥15 使用R语言marginaleffects包进行边际效应图绘制
- ¥20 usb设备兼容性问题
- ¥15 错误(10048): “调用exui内部功能”库命令的参数“参数4”不能接受空数据。怎么解决啊
- ¥15 安装svn网络有问题怎么办