weixin_45938926 2020-12-06 00:47 采纳率: 0%
浏览 54

爬虫出现 TypeError怎么办,在线等??

#coding =utf-8
from bs4 import BeautifulSoup
import re
import urllib.request,urllib.error
import xlwt
import sqlite3
def main():
    baseurl ="https://movie.douban.com/top250?start="
   #爬取网页
    datalist = getData(baseurl)
    savepath = ".\\豆瓣电影Top250.xls"
#影片详情链接的规则
findlink = re.compile(r'<a href="(.*?)">')  #创建正则表达式对象,表示规则(字符串的模式)

#影片图片
findImgSrc = re.compile(r'<img.*src="(.*?)"',re.S) #让换行符包含在字符中
#影片片名
findTitle = re.compile(r'<span class="title">(.*)</span>')
#影片评分
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span?')
#找到评价人数
findJudge = re.compile(r'(\d*)人评价</span>')
#找到概况
findIng = re.compile(r'<span class="ing">(.*)</span>')
#找到影片的相关内容
findBd = re.compile(r'<p class="">(.*)</p>',re.S)

   #savaData(savepath)
   #askURL("https://movie.douban.com/top250?start=0")
#爬取网页
def getData(baseurl):
    datalist=[]
    for i in range(0,1):   #调用获取页面信息的函数,10次
        url =baseurl + str(i*25)
        html=askURL(url) #保存获取到的网页源码
    # 逐一解析数据
    soup = BeautifulSoup(html,"html.parser")
    for item in soup.find_all('div',class_="item"):#查找所有内容
        # print(item)   #测试 查看电影item全部信息
        data = []  #保存一部电影的所有信息
        item =str(item)


        #获取影片超链接
        link = re.findall(findlink,item)[0]   #re库用来通过正则表达式查找指定的字符串
        print(link)
    return datalist


#得到指定一个URL的网页内容
def askURL(url):     #模拟浏览器头部信息,向豆瓣服务器发送消息
    head ={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36"}
                # 用户代理,表示告诉豆瓣服务器,我们是什么类型的机器,浏览器(本质上是告诉浏览器,我们可以接受到什么水平的内容)
    request=urllib.request.Request(url,headers=head)
    html = ""
    try:
        response=urllib.request.urlopen((request))
        html=response.read().decode("utf-8")
        # print(html)
    except urllib.error.URLError as e:
        if hasattr(e,"code"):
            print(e,code)
        if hasattr(e,"reason"):
            print(e,reason)
        return html
#保存数据
def savaData(savepath):
    print("111")


if __name__ == "__main__":
     main()
  • 写回答

1条回答 默认 最新

  • Biscuit_vv 2020-12-07 15:03
    关注
    def askURL(url):     #模拟浏览器头部信息,向豆瓣服务器发送消息
        head ={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36"}
                    # 用户代理,表示告诉豆瓣服务器,我们是什么类型的机器,浏览器(本质上是告诉浏览器,我们可以接受到什么水平的内容)
        request=urllib.request.Request(url,headers=head)
        html = ""
        try:
            response=urllib.request.urlopen((request))
            html=response.read().decode("utf-8")
            # print(html)
        except urllib.error.URLError as e:
            if hasattr(e,"code"):
                print(e,code)
            if hasattr(e,"reason"):
                print(e,reason)
        return html    #你这个return放错地方了。变成了出错的时候才然后html

    这个函数最后return的缩进有问题,往前挪一下就好了。

    评论

报告相同问题?

悬赏问题

  • ¥15 对于相关问题的求解与代码
  • ¥15 ubuntu子系统密码忘记
  • ¥15 信号傅里叶变换在matlab上遇到的小问题请求帮助
  • ¥15 保护模式-系统加载-段寄存器
  • ¥15 电脑桌面设定一个区域禁止鼠标操作
  • ¥15 求NPF226060磁芯的详细资料
  • ¥15 使用R语言marginaleffects包进行边际效应图绘制
  • ¥20 usb设备兼容性问题
  • ¥15 错误(10048): “调用exui内部功能”库命令的参数“参数4”不能接受空数据。怎么解决啊
  • ¥15 安装svn网络有问题怎么办