Sparrow404 2020-10-12 23:52 采纳率: 0%
浏览 118

python爬虫,爬取的url内容没有反馈

根据B站学习视频学习爬虫,代码一样但是老师有反馈内容,但是自己的没有,是空白,代码如下,有大佬能帮忙解答下吗?

from bs4 import BeautifulSoup #网页解析,获取数据
import re #正则表达式,进行文字匹配
import urllib.request,urllib.error #制定URL,获取网页数据
import xlwt #进行exel操作
import sqlite3 #进行SQLITE数据库操作

def main():
baseurl = "https://movie.douban.com/top250?start="
#1爬取网页
datalist = getData(baselist)
savepath = ".\豆瓣电影top250.xsl"
#保存数据
#saveData(savepath)
askURL("https://movie.douban.com/top250?start=0")

#爬取网页

def getData(baseurl):
datalist = []
for i in range(0,10): #调用获取页面信息的函数,10次
url = baseurl + str(i*25)
html = askURL(url) #保存获取到的网页源码

#2逐一解析数据
return datalist

#得到指定一个URL的网页内容
def askURL(url):
head = { #模拟浏览器头部信息,向豆瓣服务器发送消息
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko"
}
#用户代理 ,表示告诉豆瓣服务器,我们是什么类型的机器、浏览器(本质告诉浏览器,我们可以接收什么内容)

request = urllib.request.Request(url,headers = head)
html = ""
try:
    response = urllib.request.urlopen(request)
    html = response.read().decode("utf-8")
    print(html)
except urllib.error.URLError as e:
    if hasattr(e,"code"):
        print(e,code)
    if hasattr(e,"reason"):
        print(e,reason)

return html

#3保存数据
def saveData(savepath):
return savepath

  • 写回答

1条回答 默认 最新

  • CSDN-Ada助手 CSDN-AI 官方账号 2022-09-09 17:39
    关注
    不知道你这个问题是否已经解决, 如果还没有解决的话:

    如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 以帮助更多的人 ^-^
    评论

报告相同问题?

悬赏问题

  • ¥50 使用MS Log Parser查询使用Bitvise SSH Server登录的IP
  • ¥20 校园二手交易小程序搭建
  • ¥15 请问在ubuntu用conda创建环境报错怎么能解决
  • ¥15 STM32CubeMX/proteus按键控制指示灯颜色切换
  • ¥20 python,计算区位熵和扩张指数
  • ¥15 Python环境配置
  • ¥15 大四学生的困惑,有偿提问!
  • ¥15 解决页面无法编入索引:被“noindex”标签排除的问题?
  • ¥15 arduino测量电阻
  • ¥15 快手uid转快手号谁能解决 需要开发