爬虫出现 TypeError怎么办,在线等??

#coding =utf-8
from bs4 import BeautifulSoup
import re
import urllib.request,urllib.error
import xlwt
import sqlite3
def main():
    baseurl ="https://movie.douban.com/top250?start="
   #爬取网页
    datalist = getData(baseurl)
    savepath = ".\\豆瓣电影Top250.xls"
#影片详情链接的规则
findlink = re.compile(r'<a href="(.*?)">')  #创建正则表达式对象,表示规则(字符串的模式)

#影片图片
findImgSrc = re.compile(r'<img.*src="(.*?)"',re.S) #让换行符包含在字符中
#影片片名
findTitle = re.compile(r'<span class="title">(.*)</span>')
#影片评分
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span?')
#找到评价人数
findJudge = re.compile(r'(\d*)人评价</span>')
#找到概况
findIng = re.compile(r'<span class="ing">(.*)</span>')
#找到影片的相关内容
findBd = re.compile(r'<p class="">(.*)</p>',re.S)

   #savaData(savepath)
   #askURL("https://movie.douban.com/top250?start=0")
#爬取网页
def getData(baseurl):
    datalist=[]
    for i in range(0,1):   #调用获取页面信息的函数,10次
        url =baseurl + str(i*25)
        html=askURL(url) #保存获取到的网页源码
    # 逐一解析数据
    soup = BeautifulSoup(html,"html.parser")
    for item in soup.find_all('div',class_="item"):#查找所有内容
        # print(item)   #测试 查看电影item全部信息
        data = []  #保存一部电影的所有信息
        item =str(item)


        #获取影片超链接
        link = re.findall(findlink,item)[0]   #re库用来通过正则表达式查找指定的字符串
        print(link)
    return datalist


#得到指定一个URL的网页内容
def askURL(url):     #模拟浏览器头部信息,向豆瓣服务器发送消息
    head ={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36"}
                # 用户代理,表示告诉豆瓣服务器,我们是什么类型的机器,浏览器(本质上是告诉浏览器,我们可以接受到什么水平的内容)
    request=urllib.request.Request(url,headers=head)
    html = ""
    try:
        response=urllib.request.urlopen((request))
        html=response.read().decode("utf-8")
        # print(html)
    except urllib.error.URLError as e:
        if hasattr(e,"code"):
            print(e,code)
        if hasattr(e,"reason"):
            print(e,reason)
        return html
#保存数据
def savaData(savepath):
    print("111")


if __name__ == "__main__":
     main()
查看全部
weixin_45938926
weixin_45938926
2020/12/06 00:47
  • python
  • 点赞
  • 收藏
  • 回答
    私信

1个回复