求解决关于python爬虫问题，进不去循环？

def getData(base_url,num):
html = askUrl(base_url)
soup = BeautifulSoup(html,'html.parser')
count = num
data = []
for addr in soup.find_all('div',class_='imgbox'): #

addr = str(addr)
address = re.findall(find_img_address,addr)
data.append(address)
print(addr)

askUrl(base_url)正常返回的是网页html代码，但是在循环中打印addr就显示不出来，应该是没进入循环体，求大佬告知为啥没进入循环

写回答
好问题提建议
追加酬金
关注问题
分享
邀请回答

2条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
CSDN专家-HGJ 2021-07-07 16:24

最佳回答

估计是soup.find_all('div',class_='imgbox')没有返回值。从这几个方面排查修改：检查所写节点是否正确，根据页面代码进行修改; html应该是文本格式，即在askUrl中返回的是html.text;在soup中改用其他解析器,如'lxml’，'html5lib'

评论
解决 1 无用
打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

评论

登录后可回复...

查看更多回答(1条)

报告相同问题？

提交关注问题

相关推荐更多相似问题

求解决关于python爬虫问题，进不去循环？ python 有问必答
2021-07-07 15:46

回答 2 已采纳估计是soup.find_all('div',class_='imgbox')没有返回值。从这几个方面排查修改：检查所写节点是否正确，根据页面代码进行修改; html应该是文本格式，即在askUrl中
python爬虫如何用for循环翻页 python 有问必答
2021-07-04 16:59

回答 2 已采纳重点还是从网页上分析翻页的网址构造情况，即baseurl及请求的url要写准确,另外可能需要补充一些请求参数。
关于使用python实现的网页爬虫程序卡死的问题 python 有问必答爬虫
2021-08-07 13:04

回答 3 已采纳你可以用time模块进行计时，每过10分钟先用os.system()重新打开程序，然后调用sys.exit()关闭旧进程如果有用，希望采纳哦~
Python使用爬虫猜密码
2020-12-23 16:39

下面就看看如何使用python来实现这样一个功能。这里我们知道用户的昵称为：heibanke 密码是30以内的一个数字，要使用requests库循环提交来猜密码主要需要用到的库是requests库安装requests库复制代码代码...
03-循环_shuttsp_python爬虫_
2021-10-02 18:02

对python中的数据变量进行循环语句输出讲解，并使用python平台进行输出
Python爬虫获取页面所有URL链接过程详解
2020-09-16 18:30

主要介绍了Python爬虫获取页面所有URL链接过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Python selenium的爬虫无法完整爬取整个页面的内容 python selenium 爬虫
2021-10-24 09:44

回答 1 已采纳爬取内容不完整，应该是文档的更多内容，要往下滑动页面才会出现这个不太清楚，应该不是什么反爬，就是类似于中途给你弹出个广告，要具体分析怎么弄VIP内容肯定是需要你的账号是VIP才能看得到的，与selen
爬虫网页不能进入循环 python
2021-03-13 21:56

回答 1 已采纳找到下一页按钮点一下; 或者用post上传参数.
Python爬虫批量保存图片是都保存的是一样的？ pycharm python 其他
2021-07-19 22:39

回答 1 已采纳这里循环240下。。。它能不相同嘛。 for n in range(240): with open(path+str(n)+'.jpeg','wb') as fp:
python爬虫租房信息在地图上显示的方法
2021-01-01 12:52

python爬虫用了比较简单的urllib.parse和requests，把爬来的数据显示在地图上。接下里我们话不多说直接上代码: 1.安装python环境和编辑器（自行度娘） 2.本人以58品牌公寓为例，爬取在杭州地区价格在2000-4000的...
零基础写python爬虫之爬虫的定义及URL构成
2020-12-23 23:48

一、网络爬虫的定义网络爬虫，即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面（通常是首页...
小白学 Python 爬虫（25）：爬取股票信息
2020-12-22 00:31

小白学 Python 爬虫（6）：前置准备（五）爬虫框架的安装小白学 Python 爬虫（7）：HTTP 基础小白学 Python 爬虫（8）：网页基础小白学 Python 爬虫（9）：爬虫基础小白学 Python 爬虫（10）：Session
python selenium 循环打开关闭网页问题 python selenium 有问必答
2021-04-06 22:52

回答 3 已采纳 import time from selenium import webdriver for i in range(5): wb = webdriver.Ie() #浏览器窗口关闭后要重新创
python爬虫代码中，为什么只能抓到最后一张图片？不能保存前面抓到的图片？循环出了问题？代码如下。 python 开发语言有问必答
2021-07-25 12:47

回答 4 已采纳写入操作放在循环里
python爬虫去哪网热门景点 python 爬虫
2018-06-22 07:53

回答 1 已采纳用fiddler抓包看下，要么是第三页的地址或者参数没有对，要么是服务器有反爬虫的机制（比如频繁访问，返回错误页面、验证码）。
Python中循环后使用list.append()数据被覆盖问题的解决
2020-12-25 18:22

最近发现一个问题，在一次爬虫实战中，需要将字典加入列表中，意外的情况出现了！！！下面简单分析一下出现的状况： list = [] dic = {} for i in range(5): dic['num'] = i list.append(dic) print(id(dic)) ...
python爬虫基于requests模块发起ajax的get请求实现解析
2020-09-18 19:21

主要介绍了python爬虫基于requests模块发起ajax的get请求实现解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Python网络爬虫实例讲解
2020-12-25 08:09

聊一聊Python与网络爬虫。 1、爬虫的定义爬虫：自动抓取互联网数据的程序。 2、爬虫的主要框架爬虫程序的主要框架如上图所示，爬虫调度端通过URL管理器获取待爬取的URL链接，若URL管理器中存在待爬取的URL链接，...
python 爬虫 pyspider遇到的问题 python 爬虫
2017-12-08 09:03

回答 6 已采纳另外才注意到你现在的这个程序写的有问题的你在response里面写的请求? 应该是在请求的时候就将参数发过去的程序有问题啊 for循环要写在前面的on start 函数里面
python爬虫爬取58同城上所有城市的租房信息详解
2021-01-20 05:46

代码如下 from fake_useragent import UserAgent from lxml import etree import requests, os import time, re, datetime import base64, json, pymysql from fontTools.ttLib import TTFont ...
没有解决我的问题, 去提问

little___ant

求解决关于python爬虫问题，进不去循环？

2条回答 默认 最新

相关推荐 更多相似问题

2条回答默认最新

相关推荐更多相似问题