scrapy 全部 | 未解决 | 已解决
2019.06.11 03:00来自 dongrao1862

[已解决] 如何批量设置导入的WordPress帖子的缩略图

<div class="post-text" itemprop="text"> <p>I scrape data from a website and store it into an XML file (u...
1

回答

2018.12.09 16:20来自 sinat_38677939

没有进行筛选,scrapy-Request callback不调用,跪求大神指点!!!

Spider的代码是这样的: ``` def parse(self, response): url_list = response.xpath('//a/@href').extract...
0

回答

2018.12.07 15:52来自 sinat_38677939

刚学习用scrapy + selenium爬动态网页,但是不知道为什么就是不行,下面是代码,求大神指点!!!

MySpider里面是这样的: ``` class MySpider(scrapy.Spider): name = 'BAIScrapy' def start_requests(self...
1

回答

2018.10.17 14:47来自 idiot_me

scrapy运行时出现缺少parsel的错误。

在练习scrapy爬虫的过程中出现的问题,使用的是anaconda的虚拟环境,本以为根据提示将错误提示的parsel安装上就能解决,可还是提示同样的错误,求大佬解答。
0

回答

2018.10.12 07:31来自 qq_41908521

Scrapy 中关于 request 和 yield 的问题,求大佬帮忙··

我目前需要爬取某个网页的一些指标,其中有一个是判断网页中是否有robots.txt文件,这个指标我的判断的方法是访问’www.baidu.com/robots.txt‘,根据其response.code判断,但是我...
0

回答

2018.10.08 14:02来自 呵呵hew 悬赏 5C

使用scrapy爬取动漫网站,有一个方法就是进不去

![图片说明](https://img-ask.csdn.net/upload/201810/08/1539007199_754078.png) 不管是第一步还是第二步都没有进我的那个parse_cartoo...
1

回答

2018.06.01 01:42来自 Arthur54271 悬赏 5C

scrapy\selenium兼容问题

在scrapy中from selenium import webdriver,但是总报错没有selenium这个模块:ModuleNotFoundError: No module named 'selenium' ...
3

回答

2018.05.14 03:21来自 xirurensheng_123 悬赏 5C

python爬虫为什么下载图片和下载音乐不起作用

![图片说明](https://img-ask.csdn.net/upload/201805/14/1526268585_748890.png)代码如下: class MyimagePipeline(Images...
3

回答

2018.03.29 06:47来自 prog_li 悬赏 5C

关于python2.7下scrapy添加阿布云代理服务器运行代码报错

![图片说明](https://img-ask.csdn.net/upload/201803/29/1522306111_111305.png)不加代理ip是没有问题的,加上就报错,但是不加上代理ip又跑不起来程序...
1

回答

2018.03.12 02:24来自 orange_xiang 悬赏 5C

scrapy用pipelines输出中文到json文件,能取到数据,但是json文件中是空的

![图片说明](https://img-ask.csdn.net/upload/201803/12/1520821160_502403.png) items.py ![图片说明](https://img-ask...
1

回答