scrapy 重定向获取数据

我用scrapy框架 爬取网页将http://.* 重定向到https://.* 如何设置在每次访问的时候将我 爬取的网页上把http变成https啊 因为http没有数据之后https才有

scrapy 在重定向的时候会丢失middlewares中设置的header吗？

问题是，在使用某动态转发的代理时，客服回复：“是因为请求需要重定向的url但是本身用的包使用代理自动重定向请求的时候会丢失hearder，这个时候就需要用户,禁止重定向，然后根据返回的状态码301/302的时候，从响应头的Location中获取新的请求url” 想问下scrapy 在重定向的时候会丢失middlewares中设置的header吗？如果是的话，怎么设置不“丢失”呢？ 因为scrapy都是通过yield Request来请求的，在这里也没法判断状态码和获取重定向之后的URL吧？

SCRAPY模拟登陆链接重定向问题

scrapy模拟登陆不能抓取到数据 模拟登陆没有跳转到抓取页面 真实去登陆账号不能再次的登陆了 不知道问题出在哪里求大神解答 ``` # -*- coding: utf-8 -*- import scrapy from scrapy.http import Request, FormRequest from scrapy.selector import Selector from scrapy.conf import settings class faxinSpider(scrapy.Spider): name = "faxin" allowed_domains = ["www.faxin.cn"] start_urls = ["http://www.faxin.cn/keyword/index.aspx"] headers = settings.get('HEADERS') def start_requests(self): return [Request( url = "http://www.faxin.cn/login.aspx", meta = {'cookiejar' : 1}, headers = self.headers, callback=self.post_login )] def post_login(self, response): viewstate = Selector(response).xpath('//input[@name="__VIEWSTATE"]/@value').extract()[0] self.logger.info("--viewstate--:%s", viewstate) return [FormRequest.from_response( response, meta = {'cookiejar' : response.meta['cookiejar']}, headers = self.headers, formdata = { '__VIEWSTATE' : viewstate, 'WebUCHead_Special1$hiddIsLogin' : '0', 'user_name' : '****', 'user_password' : '****' }, callback = self.pares_page, )] def after_login(self, response): for url in self.start_urls : yield Request(url, headers = self.headers, meta = {'cookiejar' : response.meta['cookiejar']}, callback = self.pares_page) def pares_page(self, response): url_ = response.url self.logger.info("---url---: %s", url_) # a = Selector(response).xpath("//a[@class='login']/@title") # self.logger.info("---username---: %s", a) a_ = Selector(response).xpath("//div[@class='t_box']/ul[@class='clearfix']/li") for a in a_: print a.xpath("a/@href").extract()[0] ``` 

python3 scrapy Request 请求时怎么保持headers 的参数首字母不大写

python3 scrapy Request 请求时，scrapy 会自动将headers 中的参数 格式化，使其保持首字母大写，下划线等特殊符号后第一个字母大写。但现在有个问题 我要往服务端传一个headers的参数，但参数本身没有大写，经过scrapy 请求后参数变为首字母大写，服务器端根本不认这个参数，我就想问下有谁知道scrapy,Request 有不处理headers的方法吗？ 但使用requests请求时，而不是用scrapy.Request时，headers 是没有变化的。 这是headers 请求之前的  这是抓包抓到的请求头

Scrapy yield Request 失效问题

想爬一下 游戏信息和评论 评论，信息是分开的 所以用了两个方法 parse中 用yield 进入第二个方法 和回调自己 都没问题 parse two 中 用yield 回调就不行 但是也不报错 就是没有进行 ``` def parse(self, response): #print response.body selector = scrapy.Selector(response) games = selector.xpath('//div[@class="app-item-caption"]/a[@class="item-caption-title flex-text-overflow"]/@href').extract() for game in games: game = game + '/review' yield scrapy.http.Request(game, callback=self.parse_two) # print game #游戏列表下一页 nextPage = selector.xpath('//ul[@class="pagination"]/li[last()]/a/@href').extract() if nextPage: next = nextPage[0] # print next yield scrapy.http.Request(next, callback=self.parse) def parse_two(self,response): Gid = response.url[27:32] Gid = int(Gid) selector = scrapy.Selector(response) game_review_times = selector.xpath('//a[@class="text-header-time"]/span/@data-dynamic-time').extract() game_reviews = selector.xpath('//div[@class="review-item-text"]/div[@class="item-text-body"]').extract() game_reivew_author = selector.xpath('//span[@class="taptap-user"]/a/text()').extract() reviewNo = 1 review_dict = {} # 处理评论 for review in game_reviews: # 计算每天评论量 # time_day = time.strftime('%Y-%m-%d',time.localtime(int(game_review_times[reviewNo - 1]))) # if review_dict.get(time_day): # review_dict[time_day] += 1 # else: # review_dict[time_day] = 1 review_lines = re.findall('<p>(.*?)</p>',review,re.S) review = '' for line in review_lines: review += line item = TaptapItem() item['Review_GID'] = Gid item['Review_content'] = review item['Review_Author'] = game_reivew_author[reviewNo-1] item['Reivew_Time'] = game_review_times[reviewNo-1] yield item print '评论%d:'%reviewNo print game_review_times[reviewNo-1] print review reviewNo += 1 #评论下一页 nextPage = selector.xpath('//ul[@class="pagination"]/li[last()]/a/@href').extract() if nextPage: next = nextPage[0] # print next yield scrapy.http.Request(next, callback=self.parse_two) ```

scrapy框架模拟登陆（好像是重定向问题，小白不太懂）

需要登陆的网站是这样的，它在输入用户名和密码之后，提交的表单中，会把用户名和密码和一个随机值混合然后用DNS加密，表单还需要提交在源代码中隐藏的两个随机值，这些我都有办法获取到，问题是，我获取这一个表单之后使用scrapy.FormRequest()提交，但是进入了一个新的网页，表单需要的随机值发生了改变，导致表单错误，无法登陆，请问各位怎么解决？ 非常感谢能进来看看的各位，谢谢（我小白一个...）

Scrapy 中关于 request 和 yield 的问题，求大佬帮忙··

我目前需要爬取某个网页的一些指标，其中有一个是判断网页中是否有robots.txt文件，这个指标我的判断的方法是访问’www.baidu.com/robots.txt‘，根据其response.code判断，但是我想把这个指标和其他指标放到一个item里，请问应该怎么做。 我本想用yield scrapy.request（‘www.baidu.com/robots.txt’）来操作，但是获取不到其返回值，而且yield和return不能同时存在，望各位大佬解答一下，万分感激。 鄙人QQ642026725，欢迎各位大佬指导，萌新不胜感激

不是说scrapy可以自动处理cookie吗？为什么我用scrapy发送request请求为什么不会自动发送cookie信息？

我在setting中设置COOKIES_ENABLED = True，COOKIES_DEBUG = True，不是说scrapy可以自动处理cookie吗？为什么我用scrapy发送request请求为什么不会自动发送cookie信息？

python scrapy 爬虫图片新手求助

求问大神 我这个data她怎么了 报错： 2020-02-07 09:24:55 [scrapy.utils.log] INFO: Scrapy 1.8.0 started (bot: meizitu) 2020-02-07 09:24:55 [scrapy.utils.log] INFO: Versions: lxml 4.5.0.0, libxml2 2.9.5, cssselect 1.1.0, parsel 1.5.2, w3lib 1.21.0, Twisted 19.10.0, Python 3.7.3 (v3.7.3:ef4ec6ed12, Mar 25 2019, 22:22:05) [MSC v.1916 64 bit (AMD64)], pyOpenSSL 19.1.0 (OpenSSL 1.1.1d 10 Sep 2019), cryptography 2.8, Platform Windows-10-10.0.17763-SP0 2020-02-07 09:24:55 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'meizitu', 'NEWSPIDER_MODULE': 'meizitu.spiders', 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['meizitu.spiders']} 2020-02-07 09:24:55 [scrapy.extensions.telnet] INFO: Telnet Password: 0936097982b9bcc8 2020-02-07 09:24:55 [scrapy.middleware] INFO: Enabled extensions: ['scrapy.extensions.corestats.CoreStats', 'scrapy.extensions.telnet.TelnetConsole', 'scrapy.extensions.logstats.LogStats'] 2020-02-07 09:24:56 [scrapy.middleware] INFO: Enabled downloader middlewares: ['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware', 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', 'scrapy.downloadermiddlewares.retry.RetryMiddleware', 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', 'scrapy.downloadermiddlewares.stats.DownloaderStats'] 2020-02-07 09:24:56 [scrapy.middleware] INFO: Enabled spider middlewares: ['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', 'scrapy.spidermiddlewares.referer.RefererMiddleware', 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', 'scrapy.spidermiddlewares.depth.DepthMiddleware'] Unhandled error in Deferred: 2020-02-07 09:24:56 [twisted] CRITICAL: Unhandled error in Deferred: Traceback (most recent call last): File "e:\python3.7\lib\site-packages\scrapy\crawler.py", line 184, in crawl return self._crawl(crawler, *args, **kwargs) File "e:\python3.7\lib\site-packages\scrapy\crawler.py", line 188, in _crawl d = crawler.crawl(*args, **kwargs) File "e:\python3.7\lib\site-packages\twisted\internet\defer.py", line 1613, in unwindGenerator return _cancellableInlineCallbacks(gen) File "e:\python3.7\lib\site-packages\twisted\internet\defer.py", line 1529, in _cancellableInlineCallbacks _inlineCallbacks(None, g, status) --- <exception caught here> --- File "e:\python3.7\lib\site-packages\twisted\internet\defer.py", line 1418, in _inlineCallbacks result = g.send(result) File "e:\python3.7\lib\site-packages\scrapy\crawler.py", line 86, in crawl self.engine = self._create_engine() File "e:\python3.7\lib\site-packages\scrapy\crawler.py", line 111, in _create_engine return ExecutionEngine(self, lambda _: self.stop()) File "e:\python3.7\lib\site-packages\scrapy\core\engine.py", line 70, in __init__ self.scraper = Scraper(crawler) File "e:\python3.7\lib\site-packages\scrapy\core\scraper.py", line 71, in __init__ self.itemproc = itemproc_cls.from_crawler(crawler) File "e:\python3.7\lib\site-packages\scrapy\middleware.py", line 53, in from_crawler return cls.from_settings(crawler.settings, crawler) File "e:\python3.7\lib\site-packages\scrapy\middleware.py", line 34, in from_settings mwcls = load_object(clspath) File "e:\python3.7\lib\site-packages\scrapy\utils\misc.py", line 46, in load_object mod = import_module(module) File "e:\python3.7\lib\importlib\__init__.py", line 127, in import_module return _bootstrap._gcd_import(name[level:], package, level) File "<frozen importlib._bootstrap>", line 1006, in _gcd_import File "<frozen importlib._bootstrap>", line 983, in _find_and_load File "<frozen importlib._bootstrap>", line 967, in _find_and_load_unlocked File "<frozen importlib._bootstrap>", line 677, in _load_unlocked File "<frozen importlib._bootstrap_external>", line 724, in exec_module File "<frozen importlib._bootstrap_external>", line 860, in get_code File "<frozen importlib._bootstrap_external>", line 791, in source_to_code File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed builtins.SyntaxError: unexpected EOF while parsing (pipelines.py, line 22) 2020-02-07 09:24:56 [twisted] CRITICAL: Traceback (most recent call last): File "e:\python3.7\lib\site-packages\twisted\internet\defer.py", line 1418, in _inlineCallbacks result = g.send(result) File "e:\python3.7\lib\site-packages\scrapy\crawler.py", line 86, in crawl self.engine = self._create_engine() File "e:\python3.7\lib\site-packages\scrapy\crawler.py", line 111, in _create_engine return ExecutionEngine(self, lambda _: self.stop()) File "e:\python3.7\lib\site-packages\scrapy\core\engine.py", line 70, in __init__ self.scraper = Scraper(crawler) File "e:\python3.7\lib\site-packages\scrapy\core\scraper.py", line 71, in __init__ self.itemproc = itemproc_cls.from_crawler(crawler) File "e:\python3.7\lib\site-packages\scrapy\middleware.py", line 53, in from_crawler return cls.from_settings(crawler.settings, crawler) File "e:\python3.7\lib\site-packages\scrapy\middleware.py", line 34, in from_settings mwcls = load_object(clspath) File "e:\python3.7\lib\site-packages\scrapy\utils\misc.py", line 46, in load_object mod = import_module(module) File "e:\python3.7\lib\importlib\__init__.py", line 127, in import_module return _bootstrap._gcd_import(name[level:], package, level) File "<frozen importlib._bootstrap>", line 1006, in _gcd_import File "<frozen importlib._bootstrap>", line 983, in _find_and_load File "<frozen importlib._bootstrap>", line 967, in _find_and_load_unlocked File "<frozen importlib._bootstrap>", line 677, in _load_unlocked File "<frozen importlib._bootstrap_external>", line 724, in exec_module File "<frozen importlib._bootstrap_external>", line 860, in get_code File "<frozen importlib._bootstrap_external>", line 791, in source_to_code File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed File "E:\python_work\爬虫\meizitu\meizitu\pipelines.py", line 22 f.write(data) ^ SyntaxError: unexpected EOF while parsing 代码如下： pipeline ``` import requests class MeizituPipeline(object): def process_item(self, item, spider): print("main_title:",item['main_title']) print("main_image:", item['main_image']) print("main_tags:", item['main_tags']) print("main_meta:", item['main_meta']) print("page:", item['main_pagenavi']) url = requests.get(item['main_image']) print(url) try: with open(item['main_pagenavi'] +'.jpg','wb') as f: data = url.read() f.write(data) ``` image.py ``` import scrapy from scrapy.http import response from ..items import MeizituItem class ImageSpider(scrapy.Spider): #定义Spider的名字scrapy crawl meiaitu name = 'SpiderMain' #允许爬虫的域名 allowed_domains = ['www.mzitu.com/203554'] #爬取的首页列表 start_urls = ['https://www.mzitu.com/203554'] #负责提取response的信息 #response代表下载器从start_urls中的url的到的回应 #提取的信息 def parse(self,response): #遍历所有节点 for Main in response.xpath('//div[@class = "main"]'): item = MeizituItem() #匹配所有节点元素/html/body/div[2]/div[1]/div[3]/p/a content = Main.xpath('//div[@class = "content"]') item['main_title'] = content.xpath('./h2/text()') item['main_image'] = content.xpath('./div[@class="main-image"]/p/a/img') item['main_meta'] = content.xpath('./div[@class="main-meta"]/span/text()').extract() item['main_tags'] = content.xpath('./div[@class="main-tags"]/a/text()').extract() item['main_pagenavi'] = content.xpath('./div[@class="main_pagenavi"]/span/text()').extract_first() yield item new_links = response.xpath('.//div[@class="pagenavi"]/a/@href').extract() new_link =new_links[-1] yield scrapy.Request(new_link,callback=self.parse) ``` setting ``` BOT_NAME = 'meizitu' SPIDER_MODULES = ['meizitu.spiders'] NEWSPIDER_MODULE = 'meizitu.spiders' ROBOTSTXT_OBEY = True #配置默认请求头 DEFAULT_REQUEST_HEADERS = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36", 'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8' } ITEM_PIPELINES = { 'meizitu.pipelines.MeizituPipeline':300, } IMAGES_STORE = 'E:\python_work\爬虫\meizitu' IMAGES_MIN_HEIGHT = 1050 IMAGES_MIN_WIDTH = 700 ```

scrapy 分页抓取后合并问题

scrapy学习有几个月了，普通scrapy和crawl都能够实现，现在碰到一个问题： 在使用scrapy爬取多分页后，如何把多分页内容合并写入到一个item[x]内？ 我现在使用 yield Request 至 def art_url 来获取分页内容，用append把内容集合后，用 item['image_urls'] = self.art_urls 来接收结果， 但结果一直接收，每篇内容的分页的接收导致很多，请教一下，如何把每篇的分页内容合并写入一项itme？ 刚学不到半年，代码凌乱，望包含，主要是想学习如何爬取小说站，把每一章都合并在一起，不要分页搞很多数据，和合适代码推荐下，研究学习，谢谢了 我的代码： ``` art_urls = [] rules = ( Rule(LinkExtractor(allow='wenzhang/',restrict_xpaths=('//table[@id="dlNews"]')), callback='parse_item', follow=True), ) def parse_item(self, response): print(response.url) item = SpiderItem() conn = Redis(host='127.0.0.1', port=6379) item['title'] = response.xpath('//h1/text()').extract_first() ex = conn.sadd('movies_url', response.url) for next_href in response.xpath('//div[@class="pager"]/ul/li/a/@href').extract(): next_url = self.base_url + next_href.replace('../','') if ex == 1: # print('开始解析单页') yield Request(next_url, callback=self.art_url) # yield scrapy.Request(url=next_url, callback=self.parse_detail, meta={'title': title,'img_src':img_src}) else: print("无数据更新！！！") # print(self.art_urls) item['image_urls'] = self.art_urls # print(len(item['image_urls'])) # print(item) yield item def art_url(self, response): art_urls = response.xpath('//div[@id="content"]/div/p/img/@src').extract() for art_url in art_urls: # 开始解析分页 art_url = art_url.replace('../../upload/','') self.art_urls.append(art_url) ```

anaconda安装scrapy库以后无法startproject

anaconda安装scrapy库以后无法运行startproject 错误如下：  我之前是装了python以后又装了anaconda，是不是因为它弄不准在哪里建立。如果我把python删除会不会好，但是直接把python删除会不会影响anaconda的作用？

新人求教。scrapy去重问题

大多数都是当次执行里面的去重这个理解，如果关闭了程序，或者说再次执行爬虫，怎么确保数据去重呢？ 新人，求大佬指点

利用Scrapy-Splash爬取淘宝搜索页面被重定向至登录页面

在Splash上用一下代码模拟打开搜索页面： ``` function main(splash, args) args = { url = "https://s.taobao.com/search?q=iPad", wait = 5, page = 5 } splash.images_enabled = false splash:set_user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36" assert(splash:go(args.url)) assert(splash:wait(args.wait)) return {png = splash:png()} end ``` 不管有没有设置请求头，都是要**等很久很久**，然后被重定向到**淘宝的登录界面**，实在是想不出来到底是怎么回事了。。。  

scrapy运行爬虫时报错Missing scheme in request url

scrapy刚入门小白一枚。用网上的案例代码来玩一玩，案例是http://blog.csdn.net/czl389/article/details/77278166 中的爬取嘻哈歌词。这个案例下有三只爬虫，分别是songurls，lyrics和songinfo。我用songurls爬虫能从虾米音乐上爬取了url并保存在SongUrls.csv中，但是在用lyrics爬虫的时候会报错。信息如下 **D:\xiami2\xiami2>scrapy crawl lyrics -o Lyrics.csv 2017-10-21 21:13:29 [scrapy.utils.log] INFO: Scrapy 1.4.0 started (bot: xiami2) 2017-10-21 21:13:29 [scrapy.utils.log] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'xiami2.spiders', 'USER_AGENT': 'Mozilla/5.0 (compatible; MSIE 6.0; Windows NT 4.0; Trident/3.0)', 'FEED_URI': 'Lyrics.csv', 'FEED_FORMAT': 'csv', 'DOWNLOAD_DELAY': 0.2, 'SPIDER_MODULES': ['xiami2.spiders'], 'BOT_NAME': 'xiami2'} 2017-10-21 21:13:29 [scrapy.middleware] INFO: Enabled extensions: ['scrapy.extensions.telnet.TelnetConsole', 'scrapy.extensions.corestats.CoreStats', 'scrapy.extensions.feedexport.FeedExporter', 'scrapy.extensions.logstats.LogStats'] 2017-10-21 21:13:31 [scrapy.middleware] INFO: Enabled downloader middlewares: ['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', 'scrapy.downloadermiddlewares.retry.RetryMiddleware', 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', 'scrapy.downloadermiddlewares.stats.DownloaderStats'] 2017-10-21 21:13:31 [scrapy.middleware] INFO: Enabled spider middlewares: ['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', 'scrapy.spidermiddlewares.referer.RefererMiddleware', 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', 'scrapy.spidermiddlewares.depth.DepthMiddleware'] 2017-10-21 21:13:31 [scrapy.middleware] INFO: Enabled item pipelines: ['xiami2.pipelines.Xiami2Pipeline'] 2017-10-21 21:13:31 [scrapy.core.engine] INFO: Spider opened 2017-10-21 21:13:31 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 2017-10-21 21:13:31 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023 2017-10-21 21:13:31 [scrapy.core.engine] ERROR: Error while obtaining start requests Traceback (most recent call last): File "d:\python3.5\lib\site-packages\scrapy\core\engine.py", line 127, in _next_request request = next(slot.start_requests) File "d:\python3.5\lib\site-packages\scrapy\spiders\__init__.py", line 83, in start_requests yield Request(url, dont_filter=True) File "d:\python3.5\lib\site-packages\scrapy\http\request\__init__.py", line 25, in __init__ self._set_url(url) File "d:\python3.5\lib\site-packages\scrapy\http\request\__init__.py", line 58, in _set_url raise ValueError('Missing scheme in request url: %s' % self._url) ValueError: Missing scheme in request url: 2017-10-21 21:13:31 [scrapy.core.engine] INFO: Closing spider (finished) 2017-10-21 21:13:31 [scrapy.statscollectors] INFO: Dumping Scrapy stats: {'finish_reason': 'finished', 'finish_time': datetime.datetime(2017, 10, 21, 13, 13, 31, 567323), 'log_count/DEBUG': 1, 'log_count/ERROR': 1, 'log_count/INFO': 7, 'start_time': datetime.datetime(2017, 10, 21, 13, 13, 31, 536236)} 2017-10-21 21:13:31 [scrapy.core.engine] INFO: Spider closed (finished) _------------------------------分割线--------------------------------------_ 我去查看了一下_init_.py，发现如下语句。 if ':' not in self._url: raise ValueError('Missing scheme in request url: %s' % self._url) 网上的解决方法看了一些，都没有能解决我的问题的，因此在此讨教，望大家指点一二(真没C币了)。提问次数不多，若有格式方面缺陷还请包含。 另附上代码。 #songurls.py import scrapy import re from scrapy.spiders import CrawlSpider, Rule from ..items import SongUrlItem class SongurlsSpider(scrapy.Spider): name = 'songurls' allowed_domains = ['xiami.com'] #将page/1到page/401，这些链接放进start_urls start_url_list=[] url_fixed='http://www.xiami.com/song/tag/Hip-Hop/page/' #将range范围扩大为1-401，获得所有页面 for i in range(1,402): start_url_list.extend([url_fixed+str(i)]) start_urls=start_url_list def parse(self,response): urls=response.xpath('//*[@id="wrapper"]/div[2]/div/div/div[2]/table/tbody/tr/td[2]/a[1]/@href').extract() for url in urls: song_url=response.urljoin(url) url_item=SongUrlItem() url_item['song_url']=song_url yield url_item ------------------------------分割线-------------------------------------- #lyrics.py import scrapy import re class LyricsSpider(scrapy.Spider): name = 'lyrics' allowed_domains = ['xiami.com'] song_url_file='SongUrls.csv' def __init__(self, *args, **kwargs): #从song_url.csv 文件中读取得到所有歌曲url f = open(self.song_url_file,"r") lines = f.readlines() #这里line[:-1]的含义是每行末尾都是一个换行符，要去掉 #这里in lines[1:]的含义是csv第一行是字段名称，要去掉 song_url_list=[line[:-1] for line in lines[1:]] f.close() while '\n' in song_url_list: song_url_list.remove('\n') self.start_urls = song_url_list#[:100]#删除[:100]之后爬取全部数据 def parse(self,response): lyric_lines=response.xpath('//*[@id="lrc"]/div[1]/text()').extract() lyric='' for lyric_line in lyric_lines: lyric+=lyric_line #print lyric lyricItem=LyricItem() lyricItem['lyric']=lyric lyricItem['song_url']=response.url yield lyricItem songinfo因为还没有用到所以不重要。 ------------------------------分割线-------------------------------------- #items.py import scrapy class SongUrlItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() song_url=scrapy.Field() #歌曲链接 class LyricItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() lyric=scrapy.Field() #歌词 song_url=scrapy.Field() #歌曲链接 class SongInfoItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() song_url=scrapy.Field() #歌曲链接 song_title=scrapy.Field() #歌名 album=scrapy.Field() #专辑 #singer=scrapy.Field() #歌手 language=scrapy.Field() #语种 ------------------------------分割线-------------------------------------- 在middleware下加了几行： sleep_seconds = 0.2 # 模拟点击后休眠3秒，给出浏览器取得响应内容的时间 default_sleep_seconds = 1 # 无动作请求休眠的时间 def process_request(self, request, spider): spider.logger.info('--------Spider request processed: %s' % spider.name) page = None driver = webdriver.PhantomJS() spider.logger.info('--------request.url: %s' % request.url) driver.get(request.url) driver.implicitly_wait(0.2) # 仅休眠数秒加载页面后返回内容 time.sleep(self.sleep_seconds) page = driver.page_source driver.close() return HtmlResponse(request.url, body=page, encoding='utf-8', request=request) ------------------------------分割线-------------------------------------- setting中加了几行也改了几行： from faker import Factory f = Factory.create() USER_AGENT = f.user_agent() DOWNLOAD_DELAY = 0.2 DEFAULT_REQUEST_HEADERS = { 'Host': 'www.xiami.com', 'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate, br', 'Accept-Language': 'zh-CN,zh;q=0.8', 'Cache-Control': 'no-cache', 'Connection': 'Keep-Alive', } ITEM_PIPELINES = { 'xiami2.pipelines.Xiami2Pipeline': 300, }

命令窗口执行：scrapy crawl 项目名称 的问题

请问：我cd到我创建的project目录下了，输入 scrapy crawl 项目名称，但是显示的是：‘scrapy’不是内部或外部命令，也不是可运行的程序或批处理文件。我在安装scrapy的目录下使用scrapy命令，是可以执行的，但只限于这个目录。在这个目录执行上述命令，会出现Unknown command: crawl，这怎么处理呢？

没有进行筛选，scrapy-Request callback不调用，跪求大神指点！！！

Spider的代码是这样的： ``` def parse(self, response): url_list = response.xpath('//a/@href').extract()[0] for single_url in url_list: url = 'https:' + single_url.xpath('./@href').extract()[0] name = single_url.xpath('./text()').extract()[0] yield scrapy.Request(url=url, callback=self.parse_get, meta={'url':url, 'name':name}) def parse_get(self, response): print(1) item = MySpiderItem() item['name'] = response.mate['name'] item['url'] = response.mate['url'] yield item ``` middlewares的代码是这样的： ``` def process_request(self, request, spider): self.driver = webdriver.Chrome() self.driver.get(request.url) if 'anime' in request.meta: element = WebDriverWait(self.driver, 10).until(EC.presence_of_element_located((By.ID, 'header'))) else: element = WebDriverWait(self.driver, 10).until(EC.presence_of_element_located((By.ID, 'header'))) html = self.driver.page_source self.driver.quit() return scrapy.http.HtmlResponse(url=request.url, body=html, request=request, encoding='utf-8') ``` 我是用Chrome来运行的，Request里面的url是一个一个地打开了，但是一直没有调用parse_get。一直都没有加allowed_domains，也尝试过在Request中加dont_filter=True，但是网站能打开，证明应该不是网站被过滤了的问题。实在是没有想法了，求大神指导！！！！

scrapy框架下使用xpath报错？？

# 初次学习使用scrapy框架，在用xpath时一使用就报错 ## 不加xpath ``` import scrapy class QiuqiuSpider(scrapy.Spider): # 爬虫的名字 name = 'qiuqiu' # 允许的域名，是一个列表，里面可以放多个，一般都做限制 allowed_domains = ['https://wengpa.com/','http://www.baidu.com/'] # 起始url，是一个列表，一般追写一个 start_urls = ['http://www.baidu.com/'] # 解析函数，重写这个方法这个函数对返回值有要求，必须返回一个可迭代的对象 def parse(self, response): print('*'*50) ```  ## 添加xpath ``` import scrapy class QiuqiuSpider(scrapy.Spider): # 爬虫的名字 name = 'qiuqiu' # 允许的域名，是一个列表，里面可以放多个，一般都做限制 allowed_domains = ['https://wengpa.com/','http://www.baidu.com/'] # 起始url，是一个列表，一般只写一个 start_urls = ['http://www.baidu.com/'] # 解析函数，重写这个方法这个函数对返回值有要求，必须返回一个可迭代的对象 def parse(self, response): print('*'*50) # div_list=response.xpath('//div') # div_lists = response.xpath('//div[@id="s_fm"]') # print('div_list') for oil in div_list: print('*'*50) exit() face = oil.xpath('.//span/img/@src')[0] print(face.extract()) print('*'*50) exit() ```  在scrapy shell 下能找到

scrapy超时问题！超时问题！

scrpay-redis在爬取网页的情况下一直出现 ：Connection was refused by other side: 10061: 由于目标计算机积极拒绝，无法连接。 而且已经在报错中间件下设置出错  自动更换ip，而且ip池会自动进行更新，还是不解决问题。而且这类错误会累计的越来越多，最好程序只在报错，不在往下进行，求各路大神有没有，类似的问题，或者解决办法 ！

scrapy 报错：Missing scheme in request url: h

用Python的scrapy写了一个从网页下图片的爬虫，报错：Missing scheme in request url: h 去百度了也google了都说是相对地址不完整要搞成绝对地址，我用urljoin试了没用，直接用完整的图片地址也没有用。 求大神帮助。 [code=python]import scrapy from imageSpider.items import ImagespiderItem class image_Spider(scrapy.Spider): name="imgSpider" allowed_domains=["image.baidu.com"] start_urls=["http://image.baidu.com/"] def parse(self,response): oriList=response.xpath('//div[@class="img_pic_wrap_layer"]/img/@src').extract() for each in oriList: each=response.urljoin(each) item=ImagespiderItem() item['image_urls']=each yield item[/code] [code=python]# -*- coding: utf-8 -*- # Define here the models for your scraped items # # See documentation in: # http://doc.scrapy.org/en/latest/topics/items.html import scrapy class ImagespiderItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() image_urls=scrapy.Field() images=scrapy.Field() [/code]

《奇巧淫技》系列-python！！每天早上八点自动发送天气预报邮件到QQ邮箱

将代码部署服务器，每日早上定时获取到天气数据，并发送到邮箱。 也可以说是一个小人工智障。 思路可以运用在不同地方，主要介绍的是思路。

Linux(服务器编程):15---两种高效的事件处理模式（reactor模式、proactor模式）

前言 同步I/O模型通常用于实现Reactor模式 异步I/O模型则用于实现Proactor模式 最后我们会使用同步I/O方式模拟出Proactor模式 一、Reactor模式 Reactor模式特点 它要求主线程（I/O处理单元）只负责监听文件描述符上是否有事件发生，有的话就立即将时间通知工作线程（逻辑单元）。除此之外，主线程不做任何其他实质性的工作 读写数据，接受新的连接，以及处...

为什么要学数据结构？

一、前言 在可视化化程序设计的今天，借助于集成开发环境可以很快地生成程序，程序设计不再是计算机专业人员的专利。很多人认为，只要掌握几种开发工具就可以成为编程高手，其实，这是一种误解。要想成为一个专业的开发人员，至少需要以下三个条件： 1) 能够熟练地选择和设计各种数据结构和算法 2) 至少要能够熟练地掌握一门程序设计语言 3) 熟知所涉及的相关应用领域的知识 其中，后两个条件比较容易实现，而第一个...

C语言魔塔游戏

很早就很想写这个，今天终于写完了。 游戏截图： 编译环境: VS2017 游戏需要一些图片，如果有想要的或者对游戏有什么看法的可以加我的QQ 2985486630 讨论，如果暂时没有回应，可以在博客下方留言，到时候我会看到。 下面我来介绍一下游戏的主要功能和实现方式 首先是玩家的定义，使用结构体，这个名字是可以自己改变的 struct gamerole { char n

进程通信方式总结与盘点

​ 进程通信是指进程之间的信息交换。这里需要和进程同步做一下区分，进程同步控制多个进程按一定顺序执行，进程通信是一种手段，而进程同步是目标。从某方面来讲，进程通信可以解决进程同步问题。 ​ 首先回顾下我们前面博文中讲到的信号量机制，为了实现进程的互斥与同步，需要在进程间交换一定的信息，因此信号量机制也可以被归为进程通信的一种方式，但是也被称为低级进程通信，主要原因为： 效率低：一次只可操作少量的...

究竟你适不适合买Mac？

我清晰的记得，刚买的macbook pro回到家，开机后第一件事情，就是上了淘宝网，花了500元钱，找了一个上门维修电脑的师傅，上门给我装了一个windows系统。。。。。。 表砍我。。。 当时买mac的初衷，只是想要个固态硬盘的笔记本，用来运行一些复杂的扑克软件。而看了当时所有的SSD笔记本后，最终决定，还是买个好（xiong）看（da）的。 已经有好几个朋友问我mba怎么样了，所以今天尽量客观

听说了吗？阿里双11作战室竟1根网线都没有

双11不光是购物狂欢节，更是对技术的一次“大考”，对于阿里巴巴企业内部运营的基础保障技术而言，亦是如此。 回溯双11历史，这背后也经历过“小米加步枪”的阶段：作战室从随处是网线，交换机放地上的“一地狼藉”；到如今媲美5G的wifi网速，到现场却看不到一根网线；从当年使用商用AP(无线路由器)，让光明顶双11当天断网一分钟，到全部使用阿里自研AP……阿里巴巴企业智能事业部工程师们提供的基础保障...

在阿里，40岁的奋斗姿势

在阿里，40岁的奋斗姿势 在阿里，什么样的年纪可以称为老呢？35岁？ 在云网络，有这样一群人，他们的平均年龄接近40，却刚刚开辟职业生涯的第二战场。 他们的奋斗姿势是什么样的呢？ 洛神赋 “翩若惊鸿，婉若游龙。荣曜秋菊，华茂春松。髣髴兮若轻云之蔽月，飘飖兮若流风之回雪。远而望之，皎若太阳升朝霞；迫而察之，灼若芙蕖出渌波。” 爱洛神，爱阿里云 2018年，阿里云网络产品部门启动洛神2.0升...

关于研发效能提升的思考

研发效能提升是最近比较热门的一个话题，本人根据这几年的工作心得，做了一些思考总结，由于个人深度有限，暂且抛转引入。 三要素 任何生产力的提升都离不开这三个因素：人、流程和工具，少了其中任何一个因素都无法实现。 人，即思想，也就是古人说的“道”，道不同不相为谋，是制高点，也是高层建筑的基石。 流程，即方法，也是古人说的“法”。研发效能的提升，也就是要提高投入产出比，既要增加产出，也要减...

Python爬虫爬取淘宝，京东商品信息

小编是一个理科生，不善长说一些废话。简单介绍下原理然后直接上代码。 使用的工具（Python+pycharm2019.3+selenium+xpath+chromedriver）其中要使用pycharm也可以私聊我selenium是一个框架可以通过pip下载 pip install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple/ 

阿里程序员写了一个新手都写不出的低级bug，被骂惨了。

这种新手都不会范的错，居然被一个工作好几年的小伙子写出来，差点被当场开除了。

Java工作4年来应聘要16K最后没要,细节如下。。。

前奏： 今天2B哥和大家分享一位前几天面试的一位应聘者，工作4年26岁，统招本科。 以下就是他的简历和面试情况。 基本情况： 专业技能： 1、&nbsp;熟悉Sping了解SpringMVC、SpringBoot、Mybatis等框架、了解SpringCloud微服务 2、&nbsp;熟悉常用项目管理工具：SVN、GIT、MAVEN、Jenkins 3、&nbsp;熟悉Nginx、tomca

2020年，冯唐49岁：我给20、30岁IT职场年轻人的建议

点击“技术领导力”关注∆  每天早上8:30推送 作者| Mr.K   编辑| Emma 来源| 技术领导力(ID：jishulingdaoli) 前天的推文《冯唐：职场人35岁以后，方法论比经验重要》，收到了不少读者的反馈，觉得挺受启发。其实，冯唐写了不少关于职场方面的文章，都挺不错的。可惜大家只记住了“春风十里不如你”、“如何避免成为油腻腻的中年人”等不那么正经的文章。 本文整理了冯

程序员该看的几部电影

##1、骇客帝国(1999) 概念：在线/离线，递归，循环，矩阵等 剧情简介： 不久的将来，网络黑客尼奥对这个看似正常的现实世界产生了怀疑。 他结识了黑客崔妮蒂，并见到了黑客组织的首领墨菲斯。 墨菲斯告诉他，现实世界其实是由一个名叫“母体”的计算机人工智能系统控制，人们就像他们饲养的动物，没有自由和思想，而尼奥就是能够拯救人类的救世主。 可是，救赎之路从来都不会一帆风顺，到底哪里才是真实的世界？

入职阿里5年，他如何破解“技术债”？

简介： 作者 | 都铎 作为一名技术人，你常常会听到这样的话： “先快速上线” “没时间改” “再缓一缓吧” “以后再解决” “先用临时方案处理” …… 当你埋下的坑越来越多，不知道哪天哪位同学就会踩上一颗雷。特别赞同“人最大的恐惧就是未知，当技术债可说不可见的时候，才是最让人不想解决的时候。” 作为一个程序员，我们反对复制粘贴，但是我们经常会见到相似的代码，相同的二方包，甚至整个代码...

Python绘图，圣诞树，花，爱心 | Turtle篇

每周每日，分享Python实战代码，入门资料，进阶资料，基础语法，爬虫，数据分析，web网站，机器学习，深度学习等等。 公众号回复【进群】沟通交流吧，QQ扫码进群学习吧 微信群 QQ群 1.画圣诞树 import turtle screen = turtle.Screen() screen.setup(800,600) circle = turtle.Turtle()...

作为一个程序员，CPU的这些硬核知识你必须会！

CPU对每个程序员来说，是个既熟悉又陌生的东西？ 如果你只知道CPU是中央处理器的话，那可能对你并没有什么用，那么作为程序员的我们，必须要搞懂的就是CPU这家伙是如何运行的，尤其要搞懂它里面的寄存器是怎么一回事，因为这将让你从底层明白程序的运行机制。 随我一起，来好好认识下CPU这货吧 把CPU掰开来看 对于CPU来说，我们首先就要搞明白它是怎么回事，也就是它的内部构造，当然，CPU那么牛的一个东

破14亿，Python分析我国存在哪些人口危机！

2020年1月17日，国家统计局发布了2019年国民经济报告，报告中指出我国人口突破14亿。 猪哥的朋友圈被14亿人口刷屏，但是很多人并没有看到我国复杂的人口问题：老龄化、男女比例失衡、生育率下降、人口红利下降等。 今天我们就来分析一下我们国家的人口数据吧！ 一、背景 1.人口突破14亿 2020年1月17日，国家统计局发布了 2019年国民经济报告 ，报告中指出：年末中国大陆总人口（包括31个

在家远程办公效率低？那你一定要收好这个「在家办公」神器！

相信大家都已经收到国务院延长春节假期的消息，接下来，在家远程办公可能将会持续一段时间。 但是问题来了。远程办公不是人在电脑前就当坐班了，相反，对于沟通效率，文件协作，以及信息安全都有着极高的要求。有着非常多的挑战，比如： 1在异地互相不见面的会议上，如何提高沟通效率？ 2文件之间的来往反馈如何做到及时性？如何保证信息安全？ 3如何规划安排每天工作，以及如何进行成果验收？ ......

作为一个程序员，内存和磁盘的这些事情，你不得不知道啊！！！

截止目前，我已经分享了如下几篇文章： 一个程序在计算机中是如何运行的？超级干货！！！ 作为一个程序员，CPU的这些硬核知识你必须会！ 作为一个程序员，内存的这些硬核知识你必须懂！ 这些知识可以说是我们之前都不太重视的基础知识，可能大家在上大学的时候都学习过了，但是嘞，当时由于老师讲解的没那么有趣，又加上这些知识本身就比较枯燥，所以嘞，大家当初几乎等于没学。 再说啦，学习这些，也看不出来有什么用啊！

2020年的1月，我辞掉了我的第一份工作

其实，这篇文章，我应该早点写的，毕竟现在已经2月份了。不过一些其它原因，或者是我的惰性、还有一些迷茫的念头，让自己迟迟没有试着写一点东西，记录下，或者说是总结下自己前3年的工作上的经历、学习的过程。 我自己知道的，在写自己的博客方面，我的文笔很一般，非技术类的文章不想去写；另外我又是一个还比较热衷于技术的人，而平常复杂一点的东西，如果想写文章写的清楚点，是需要足够...

别低估自己的直觉，也别高估自己的智商

所有群全部吵翻天，朋友圈全部沦陷，公众号疯狂转发。这两周没怎么发原创，只发新闻，可能有人注意到了。我不是懒，是文章写了却没发，因为大家的关注力始终在这次的疫情上面，发了也没人看。当然，我...

Java坑人面试题系列: 包装类（中级难度）

Java Magazine上面有一个专门坑人的面试题系列: https://blogs.oracle.com/javamagazine/quiz-2。 这些问题的设计宗旨，主要是测试面试者对Java语言的了解程度，而不是为了用弯弯绕绕的手段把面试者搞蒙。 如果你看过往期的问题，就会发现每一个都不简单。 这些试题模拟了认证考试中的一些难题。 而 “中级(intermediate)” 和 “高级(ad

深度学习入门笔记（十八）：卷积神经网络（一）

欢迎关注WX公众号：【程序员管小亮】 专栏——深度学习入门笔记 声明 1）该文章整理自网上的大牛和机器学习专家无私奉献的资料，具体引用的资料请看参考文献。 2）本文仅供学术交流，非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益，还望海涵，并联系博主删除。 3）博主才疏学浅，文中如有不当之处，请各位指出，共同进步，谢谢。 4）此属于第一版本，若有错误，还需继续修正与...

这个世界上人真的分三六九等，你信吗？

偶然间，在知乎上看到一个问题 一时间，勾起了我深深的回忆。 以前在厂里打过两次工，做过家教，干过辅导班，做过中介。零下几度的晚上，贴过广告，满脸、满手地长冻疮。 再回首那段岁月，虽然苦，但让我学会了坚持和忍耐。让我明白了，在这个世界上，无论环境多么的恶劣，只要心存希望，星星之火，亦可燎原。 下文是原回答，希望能对你能有所启发。 如果我说，这个世界上人真的分三六九等，...

节后首个工作日，企业们集体开晨会让钉钉挂了

By 超神经场景描述：昨天 2 月 3 日，是大部分城市号召远程工作的第一天，全国有接近 2 亿人在家开始远程办公，钉钉上也有超过 1000 万家企业活跃起来。关键词：十一出行 人脸...

Java基础知识点梳理

Java基础知识点梳理 摘要： 虽然已经在实际工作中经常与java打交道，但是一直没系统地对java这门语言进行梳理和总结，掌握的知识也比较零散。恰好利用这段时间重新认识下java，并对一些常见的语法和知识点做个总结与回顾，一方面为了加深印象，方便后面查阅，一方面为了学好java打下基础。 Java简介 java语言于1995年正式推出，最开始被命名为Oak语言，由James Gosling（詹姆

2020年全新Java学习路线图，含配套视频，学完即为中级Java程序员！！

新的一年来临，突如其来的疫情打破了平静的生活！ 在家的你是否很无聊，如果无聊就来学习吧！ 世上只有一种投资只赚不赔，那就是学习！！！ 传智播客于2020年升级了Java学习线路图，硬核升级，免费放送！ 学完你就是中级程序员，能更快一步找到工作！ 一、Java基础 JavaSE基础是Java中级程序员的起点，是帮助你从小白到懂得编程的必经之路。 在Java基础板块中有6个子模块的学

B 站上有哪些很好的学习资源?

哇说起B站，在小九眼里就是宝藏般的存在，放年假宅在家时一天刷6、7个小时不在话下，更别提今年的跨年晚会，我简直是跪着看完的！！ 最早大家聚在在B站是为了追番，再后来我在上面刷欧美新歌和漂亮小姐姐的舞蹈视频，最近两年我和周围的朋友们已经把B站当作学习教室了，而且学习成本还免费，真是个励志的好平台ヽ(.◕ฺˇд ˇ◕ฺ;)ﾉ 下面我们就来盘点一下B站上优质的学习资源： 综合类 Oeasy： 综合

你也能看懂的：蒙特卡罗方法

蒙特卡罗方法，也称统计模拟方法，是1940年代中期由于科学技术的发展和电子计算机的发明，而提出的一种以概率统计理论为指导的数值计算方法。是指使用随机数（或更常见的伪随机数）来解决很多计算问题的方法 蒙特卡罗方法可以粗略地分成两类：一类是所求解的问题本身具有内在的随机性，借助计算机的运算能力可以直接模拟这种随机的过程。另一种类型是所求解问题可以转化为某种随机分布的特征数，比如随机事件出现的概率，或...

相关热词 c# 时间比天数 c# oracle查询 c# 主动推送 事件 c# java 属性 c# 控制台 窗体 c# 静态类存值 c#矢量作图 c#窗体调用外部程式 c# enum是否合法 c# 如何卸载引用