关注
码龄
粉丝数
原力等级 --
被采纳
被点赞
采纳率
terrybekhcam
2021-07-26 15:56
采纳率: 63.6%
浏览 1.1k
首页
Python
已结题
SCRAPY运行报错, [scrapy.core.engine] INFO: Spider closed (finished)!
python
Process finished with exit code 0
请问这个是运行成功,但被服务器拒绝了的意思吗?有什么办法处理?
写回答
好问题
提建议
追加酬金
关注问题
微信扫一扫
点击复制链接
分享
邀请回答
2
条回答
默认
最新
关注
码龄
粉丝数
原力等级 --
被采纳
被点赞
采纳率
吃肉的小馒头
2021-07-26 16:04
最佳回答
专家已采纳
这个就是正常爬完了的日志信息吧,没啥问题啊
采纳该答案
已采纳该答案
专家已采纳
评论
解决
无用
打赏
微信扫一扫
点击复制链接
分享
举报
评论
按下Enter换行,Ctrl+Enter发表内容
评论
登录
后可回复...
查看更多回答(1条)
相关推荐
更多相似问题
SCRAPY
运行
报错
,
[
scrapy
.
core
.
engine
]
INFO
:
Spider
closed
(
finished
)!
python
2021-07-26 15:56
回答 2
已采纳
这个就是正常爬完了的日志信息吧,没啥问题啊
在
python
scrapy
爬虫框架:response.xpath()的返回值是
[
]
,这个怎么解决?
python
2020-07-03 11:16
回答 4
已采纳
考虑网页的内容使用了ajax,使用右键-》查看网页源代码,看是否仍然能获得指定的内容
利用
Scrapy
框架爬虫时出现
报错
ModuleNotFoundError
:
No module named '
scrapy
test.NewsItems'?
python
2019-11-15 23:52
回答 2
已采纳
import
scrapy
#引入容器 from
scrapy
test.NewsItems import NewsItem 改为 from
scrapy
test.items import Ne
Spider
closed
(
finished
) 没完成
2020-12-29 01:46
AI视觉网奇的博客
我猜测是
scrapy
的robot协议没关闭吧? settings.py中 1 2 #robots协议,True的话是遵守协议,所以要False关掉 ROBOTSTXT_OBEY=False
Python
Scrapy
302 重定向导致Closing
spider
(
finished
),想要继续
运行
(已解决)
2021-08-06 11:13
孜然不辣的博客
2021-08-06 11
:
08
:
25
[
scrapy
.downloadermiddlewares.redirect
]
DEBUG
:
Redirecting (302) to <GET https
:
//tv.sohu.com/upload/static/special/anti-reptile/index.html> from <GET ...
[
scrapy
.
spider
middlewares.httperror
]
INFO
:
Ignoring respons 403...HTTP status code is not handled..
2018-08-23 23:18
自封的羽球大佬的博客
分享一下这几天玩爬虫碰到的坑。 因为初学,所以边看书,边看别人的实例,本想照着别人的先搞出个小名堂,不料深陷403泥潭。...2018-08-23 22
:
49
:
26
[
scrapy
.utils.log
]
INFO
:
Scrapy
1.5.1 start...
scrapy
爬虫出现 DEBUG
:
Crawled (404)
python
2019-04-17 16:25
回答 1
已采纳
如果楼主是用
scrapy
框架爬的话,可以在settings.py加上User-Agent信息,这样应该就可以了
python
运行
scrapy
框架出现
报错
NameError
:
name 'imp' is not defined
python
2022-04-28 23:20
回答 7
已采纳
如果你不记得改了什么的话,重装吧。毕竟你改了啥,怎么改回去就只有神才知道了。环境里面的.py文件改了的话基本没什么方法,除了重装。按
报错
来看,playwright, pyee,twisted,win3
运行
scrapy
项目
报错
:ImportError
:
DLL load failed:操作系统无法
运行
2018-01-16 07:50
回答 3
已采纳
问题我已解决。解决方案请看:
[
http
:
//blog.csdn.net/mmayanshuo/article/details/79084231
]
(http
:
//blog.csdn.net/mmayan
python
scrapy
爬虫遇见301_
scrapy
爬虫关闭但实际任务并没完成
2021-01-14 13:21
俯卧撑菜鸟的博客
2017-10-17 11
:
48
:
18
[
scrapy
.
core
.
engine
]
INFO
:
Closing
spider
(
finished
)29957 2017-10-17 11
:
48
:
19
[
scrapy
.statscollectors
]
INFO
:
Dumping
Scrapy
stats
:
29958 {'downloader/request_bytes'
:
2175351,29959 ....
爬虫
Scrapy
框架项目
运行
时
报错
!求解决!
2018-03-26 15:05
kyrie_love的博客
E
:
\JetBrains\PyCharm\my
Spider
&...
scrapy
crawl itcast -o itcast.json2018-03-26 14
:
50
:
23
[
scrapy
.utils.log
]
INFO
:
Scrapy
1.5.0 started (bot
:
my
Spider
)2018-03-26 14
:
50
:
23
[
scrapy
.utils.log
]
INFO
:
Version...
python
实战笔记之(13):
Scrapy
基本用法实例讲解
2018-09-07 00:34
polyhedronx的博客
Scrapy
是一个非常强大的异步爬虫框架,它已经给我们写好了许许多多的组件,使用
Scrapy
我们只用关心爬虫的逻辑就好了。本文通过一个简单的项目了解一下
Scrapy
的爬取流程,对
Scrapy
的基本用法也有一个大体的了解。 一...
关于
Scrapy
框架
运行
不出结果的问题,好像没有
报错
python
正则表达式
2020-05-09 18:12
回答 1
已采纳
如图:如果你完整的看完
scrapy
的日志(第一张图),根本原因:你设置了robotstxt服从为真,直接原因:目标网站的robot限制了你的访问
scrapy
报错
:Missing scheme in request url
:
h
python
爬虫
2016-03-06 01:42
回答 1
已采纳
http
:
//stackoverflow.com/questions/21103533/missing-scheme-in-request-url
做爬虫毕设的时候,重装了系统,重新搭建环境之后
scrapy
爬虫无法正常
运行
了,爆出以下错误,求助
python
2020-05-09 17:22
回答 2
已采纳
检查一下你的缩进是不是有问题
关于
scrapy
mongodb pymongo.errors.AutoReconnect
:
connection
closed
2021-10-15 16:59
大道至简_lyon的博客
File "C
:
\Users\li.pinliang\anaconda3\lib\site-packages\
scrapy
\utils\defer.py", line 161, in maybeDeferred_coro result = f(*args, **kw) File "C
:
\Users\li.pinliang\anaconda3\lib\site-packages\...
python
:爬虫:
Scrapy
框架实例(详细步骤)
2019-12-12 02:34
花和尚也有春天的博客
目标: 爬取以下网页内容,并...新建一个目录D
:
\
python
test\
scrapy
\pycodes,进入 目录,然后执行 命令
scrapy
startproject
python
123demo 以上检测出并未安装
scrapy
框架 : D
:
\
python
test\
scrapy
\pyco...
小白
运行
Scrapy
出错,求大佬指教!!!!!!!!!!!!!!
2019-02-03 14:47
CurtainOfNight的博客
import
scrapy
# 需要继承
scrapy
.
Spider
类 class mingyan(
scrapy
.
Spider
)
:
name = "mingyan2" # 定义蜘蛛名 def start_requests(self)
:
# 由此方法通过下面链接爬取页面 # 定义爬取的链接 urls =
[
'htt...
如何使用带有
Scrapy
的admin-ajax.php从网站上抓取数据
ajax
php
python
2018-07-11 12:56
回答 1
已采纳
I finally found how to do so, I am sure this is not the best way but at least I did what I wanted
用
scrapy
爬虫无数据
2020-02-07 22:45
背心NK的博客
@
[
TOC
]
用
scrapy
爬虫不到数据,求大神解决
运行
后终端显示: D
:
\BaiduNetdiskDownload\jobui>C
:
/Users/admin/AppData/Local/Programs/
Python
/
Python
36-32/
python
.exe d
:
/BaiduNetdiskDownload/jobui/main.py 2020-...
没有解决我的问题,
去提问