scrapy 重定向获取数据

我用scrapy框架 爬取网页将http://.* 重定向到https://.* 如何设置在每次访问的时候将我 爬取的网页上把http变成https啊 因为http没有数据之后https才有

scrapy 在重定向的时候会丢失middlewares中设置的header吗？

问题是，在使用某动态转发的代理时，客服回复：“是因为请求需要重定向的url但是本身用的包使用代理自动重定向请求的时候会丢失hearder，这个时候就需要用户,禁止重定向，然后根据返回的状态码301/302的时候，从响应头的Location中获取新的请求url” 想问下scrapy 在重定向的时候会丢失middlewares中设置的header吗？如果是的话，怎么设置不“丢失”呢？ 因为scrapy都是通过yield Request来请求的，在这里也没法判断状态码和获取重定向之后的URL吧？

SCRAPY模拟登陆链接重定向问题

scrapy模拟登陆不能抓取到数据 模拟登陆没有跳转到抓取页面 真实去登陆账号不能再次的登陆了 不知道问题出在哪里求大神解答 ``` # -*- coding: utf-8 -*- import scrapy from scrapy.http import Request, FormRequest from scrapy.selector import Selector from scrapy.conf import settings class faxinSpider(scrapy.Spider): name = "faxin" allowed_domains = ["www.faxin.cn"] start_urls = ["http://www.faxin.cn/keyword/index.aspx"] headers = settings.get('HEADERS') def start_requests(self): return [Request( url = "http://www.faxin.cn/login.aspx", meta = {'cookiejar' : 1}, headers = self.headers, callback=self.post_login )] def post_login(self, response): viewstate = Selector(response).xpath('//input[@name="__VIEWSTATE"]/@value').extract()[0] self.logger.info("--viewstate--:%s", viewstate) return [FormRequest.from_response( response, meta = {'cookiejar' : response.meta['cookiejar']}, headers = self.headers, formdata = { '__VIEWSTATE' : viewstate, 'WebUCHead_Special1$hiddIsLogin' : '0', 'user_name' : '****', 'user_password' : '****' }, callback = self.pares_page, )] def after_login(self, response): for url in self.start_urls : yield Request(url, headers = self.headers, meta = {'cookiejar' : response.meta['cookiejar']}, callback = self.pares_page) def pares_page(self, response): url_ = response.url self.logger.info("---url---: %s", url_) # a = Selector(response).xpath("//a[@class='login']/@title") # self.logger.info("---username---: %s", a) a_ = Selector(response).xpath("//div[@class='t_box']/ul[@class='clearfix']/li") for a in a_: print a.xpath("a/@href").extract()[0] ``` 

python3 scrapy Request 请求时怎么保持headers 的参数首字母不大写

python3 scrapy Request 请求时，scrapy 会自动将headers 中的参数 格式化，使其保持首字母大写，下划线等特殊符号后第一个字母大写。但现在有个问题 我要往服务端传一个headers的参数，但参数本身没有大写，经过scrapy 请求后参数变为首字母大写，服务器端根本不认这个参数，我就想问下有谁知道scrapy,Request 有不处理headers的方法吗？ 但使用requests请求时，而不是用scrapy.Request时，headers 是没有变化的。 这是headers 请求之前的  这是抓包抓到的请求头

Scrapy yield Request 失效问题

想爬一下 游戏信息和评论 评论，信息是分开的 所以用了两个方法 parse中 用yield 进入第二个方法 和回调自己 都没问题 parse two 中 用yield 回调就不行 但是也不报错 就是没有进行 ``` def parse(self, response): #print response.body selector = scrapy.Selector(response) games = selector.xpath('//div[@class="app-item-caption"]/a[@class="item-caption-title flex-text-overflow"]/@href').extract() for game in games: game = game + '/review' yield scrapy.http.Request(game, callback=self.parse_two) # print game #游戏列表下一页 nextPage = selector.xpath('//ul[@class="pagination"]/li[last()]/a/@href').extract() if nextPage: next = nextPage[0] # print next yield scrapy.http.Request(next, callback=self.parse) def parse_two(self,response): Gid = response.url[27:32] Gid = int(Gid) selector = scrapy.Selector(response) game_review_times = selector.xpath('//a[@class="text-header-time"]/span/@data-dynamic-time').extract() game_reviews = selector.xpath('//div[@class="review-item-text"]/div[@class="item-text-body"]').extract() game_reivew_author = selector.xpath('//span[@class="taptap-user"]/a/text()').extract() reviewNo = 1 review_dict = {} # 处理评论 for review in game_reviews: # 计算每天评论量 # time_day = time.strftime('%Y-%m-%d',time.localtime(int(game_review_times[reviewNo - 1]))) # if review_dict.get(time_day): # review_dict[time_day] += 1 # else: # review_dict[time_day] = 1 review_lines = re.findall('<p>(.*?)</p>',review,re.S) review = '' for line in review_lines: review += line item = TaptapItem() item['Review_GID'] = Gid item['Review_content'] = review item['Review_Author'] = game_reivew_author[reviewNo-1] item['Reivew_Time'] = game_review_times[reviewNo-1] yield item print '评论%d:'%reviewNo print game_review_times[reviewNo-1] print review reviewNo += 1 #评论下一页 nextPage = selector.xpath('//ul[@class="pagination"]/li[last()]/a/@href').extract() if nextPage: next = nextPage[0] # print next yield scrapy.http.Request(next, callback=self.parse_two) ```

scrapy框架模拟登陆（好像是重定向问题，小白不太懂）

需要登陆的网站是这样的，它在输入用户名和密码之后，提交的表单中，会把用户名和密码和一个随机值混合然后用DNS加密，表单还需要提交在源代码中隐藏的两个随机值，这些我都有办法获取到，问题是，我获取这一个表单之后使用scrapy.FormRequest()提交，但是进入了一个新的网页，表单需要的随机值发生了改变，导致表单错误，无法登陆，请问各位怎么解决？ 非常感谢能进来看看的各位，谢谢（我小白一个...）

不是说scrapy可以自动处理cookie吗？为什么我用scrapy发送request请求为什么不会自动发送cookie信息？

我在setting中设置COOKIES_ENABLED = True，COOKIES_DEBUG = True，不是说scrapy可以自动处理cookie吗？为什么我用scrapy发送request请求为什么不会自动发送cookie信息？

scrapy 分页抓取后合并问题

scrapy学习有几个月了，普通scrapy和crawl都能够实现，现在碰到一个问题： 在使用scrapy爬取多分页后，如何把多分页内容合并写入到一个item[x]内？ 我现在使用 yield Request 至 def art_url 来获取分页内容，用append把内容集合后，用 item['image_urls'] = self.art_urls 来接收结果， 但结果一直接收，每篇内容的分页的接收导致很多，请教一下，如何把每篇的分页内容合并写入一项itme？ 刚学不到半年，代码凌乱，望包含，主要是想学习如何爬取小说站，把每一章都合并在一起，不要分页搞很多数据，和合适代码推荐下，研究学习，谢谢了 我的代码： ``` art_urls = [] rules = ( Rule(LinkExtractor(allow='wenzhang/',restrict_xpaths=('//table[@id="dlNews"]')), callback='parse_item', follow=True), ) def parse_item(self, response): print(response.url) item = SpiderItem() conn = Redis(host='127.0.0.1', port=6379) item['title'] = response.xpath('//h1/text()').extract_first() ex = conn.sadd('movies_url', response.url) for next_href in response.xpath('//div[@class="pager"]/ul/li/a/@href').extract(): next_url = self.base_url + next_href.replace('../','') if ex == 1: # print('开始解析单页') yield Request(next_url, callback=self.art_url) # yield scrapy.Request(url=next_url, callback=self.parse_detail, meta={'title': title,'img_src':img_src}) else: print("无数据更新！！！") # print(self.art_urls) item['image_urls'] = self.art_urls # print(len(item['image_urls'])) # print(item) yield item def art_url(self, response): art_urls = response.xpath('//div[@id="content"]/div/p/img/@src').extract() for art_url in art_urls: # 开始解析分页 art_url = art_url.replace('../../upload/','') self.art_urls.append(art_url) ```

Scrapy 中关于 request 和 yield 的问题，求大佬帮忙··

我目前需要爬取某个网页的一些指标，其中有一个是判断网页中是否有robots.txt文件，这个指标我的判断的方法是访问’www.baidu.com/robots.txt‘，根据其response.code判断，但是我想把这个指标和其他指标放到一个item里，请问应该怎么做。 我本想用yield scrapy.request（‘www.baidu.com/robots.txt’）来操作，但是获取不到其返回值，而且yield和return不能同时存在，望各位大佬解答一下，万分感激。 鄙人QQ642026725，欢迎各位大佬指导，萌新不胜感激

新人求教。scrapy去重问题

大多数都是当次执行里面的去重这个理解，如果关闭了程序，或者说再次执行爬虫，怎么确保数据去重呢？ 新人，求大佬指点

利用Scrapy-Splash爬取淘宝搜索页面被重定向至登录页面

在Splash上用一下代码模拟打开搜索页面： ``` function main(splash, args) args = { url = "https://s.taobao.com/search?q=iPad", wait = 5, page = 5 } splash.images_enabled = false splash:set_user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36" assert(splash:go(args.url)) assert(splash:wait(args.wait)) return {png = splash:png()} end ``` 不管有没有设置请求头，都是要**等很久很久**，然后被重定向到**淘宝的登录界面**，实在是想不出来到底是怎么回事了。。。  

scrapy运行爬虫时报错Missing scheme in request url

scrapy刚入门小白一枚。用网上的案例代码来玩一玩，案例是http://blog.csdn.net/czl389/article/details/77278166 中的爬取嘻哈歌词。这个案例下有三只爬虫，分别是songurls，lyrics和songinfo。我用songurls爬虫能从虾米音乐上爬取了url并保存在SongUrls.csv中，但是在用lyrics爬虫的时候会报错。信息如下 **D:\xiami2\xiami2>scrapy crawl lyrics -o Lyrics.csv 2017-10-21 21:13:29 [scrapy.utils.log] INFO: Scrapy 1.4.0 started (bot: xiami2) 2017-10-21 21:13:29 [scrapy.utils.log] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'xiami2.spiders', 'USER_AGENT': 'Mozilla/5.0 (compatible; MSIE 6.0; Windows NT 4.0; Trident/3.0)', 'FEED_URI': 'Lyrics.csv', 'FEED_FORMAT': 'csv', 'DOWNLOAD_DELAY': 0.2, 'SPIDER_MODULES': ['xiami2.spiders'], 'BOT_NAME': 'xiami2'} 2017-10-21 21:13:29 [scrapy.middleware] INFO: Enabled extensions: ['scrapy.extensions.telnet.TelnetConsole', 'scrapy.extensions.corestats.CoreStats', 'scrapy.extensions.feedexport.FeedExporter', 'scrapy.extensions.logstats.LogStats'] 2017-10-21 21:13:31 [scrapy.middleware] INFO: Enabled downloader middlewares: ['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', 'scrapy.downloadermiddlewares.retry.RetryMiddleware', 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', 'scrapy.downloadermiddlewares.stats.DownloaderStats'] 2017-10-21 21:13:31 [scrapy.middleware] INFO: Enabled spider middlewares: ['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', 'scrapy.spidermiddlewares.referer.RefererMiddleware', 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', 'scrapy.spidermiddlewares.depth.DepthMiddleware'] 2017-10-21 21:13:31 [scrapy.middleware] INFO: Enabled item pipelines: ['xiami2.pipelines.Xiami2Pipeline'] 2017-10-21 21:13:31 [scrapy.core.engine] INFO: Spider opened 2017-10-21 21:13:31 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 2017-10-21 21:13:31 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023 2017-10-21 21:13:31 [scrapy.core.engine] ERROR: Error while obtaining start requests Traceback (most recent call last): File "d:\python3.5\lib\site-packages\scrapy\core\engine.py", line 127, in _next_request request = next(slot.start_requests) File "d:\python3.5\lib\site-packages\scrapy\spiders\__init__.py", line 83, in start_requests yield Request(url, dont_filter=True) File "d:\python3.5\lib\site-packages\scrapy\http\request\__init__.py", line 25, in __init__ self._set_url(url) File "d:\python3.5\lib\site-packages\scrapy\http\request\__init__.py", line 58, in _set_url raise ValueError('Missing scheme in request url: %s' % self._url) ValueError: Missing scheme in request url: 2017-10-21 21:13:31 [scrapy.core.engine] INFO: Closing spider (finished) 2017-10-21 21:13:31 [scrapy.statscollectors] INFO: Dumping Scrapy stats: {'finish_reason': 'finished', 'finish_time': datetime.datetime(2017, 10, 21, 13, 13, 31, 567323), 'log_count/DEBUG': 1, 'log_count/ERROR': 1, 'log_count/INFO': 7, 'start_time': datetime.datetime(2017, 10, 21, 13, 13, 31, 536236)} 2017-10-21 21:13:31 [scrapy.core.engine] INFO: Spider closed (finished) _------------------------------分割线--------------------------------------_ 我去查看了一下_init_.py，发现如下语句。 if ':' not in self._url: raise ValueError('Missing scheme in request url: %s' % self._url) 网上的解决方法看了一些，都没有能解决我的问题的，因此在此讨教，望大家指点一二(真没C币了)。提问次数不多，若有格式方面缺陷还请包含。 另附上代码。 #songurls.py import scrapy import re from scrapy.spiders import CrawlSpider, Rule from ..items import SongUrlItem class SongurlsSpider(scrapy.Spider): name = 'songurls' allowed_domains = ['xiami.com'] #将page/1到page/401，这些链接放进start_urls start_url_list=[] url_fixed='http://www.xiami.com/song/tag/Hip-Hop/page/' #将range范围扩大为1-401，获得所有页面 for i in range(1,402): start_url_list.extend([url_fixed+str(i)]) start_urls=start_url_list def parse(self,response): urls=response.xpath('//*[@id="wrapper"]/div[2]/div/div/div[2]/table/tbody/tr/td[2]/a[1]/@href').extract() for url in urls: song_url=response.urljoin(url) url_item=SongUrlItem() url_item['song_url']=song_url yield url_item ------------------------------分割线-------------------------------------- #lyrics.py import scrapy import re class LyricsSpider(scrapy.Spider): name = 'lyrics' allowed_domains = ['xiami.com'] song_url_file='SongUrls.csv' def __init__(self, *args, **kwargs): #从song_url.csv 文件中读取得到所有歌曲url f = open(self.song_url_file,"r") lines = f.readlines() #这里line[:-1]的含义是每行末尾都是一个换行符，要去掉 #这里in lines[1:]的含义是csv第一行是字段名称，要去掉 song_url_list=[line[:-1] for line in lines[1:]] f.close() while '\n' in song_url_list: song_url_list.remove('\n') self.start_urls = song_url_list#[:100]#删除[:100]之后爬取全部数据 def parse(self,response): lyric_lines=response.xpath('//*[@id="lrc"]/div[1]/text()').extract() lyric='' for lyric_line in lyric_lines: lyric+=lyric_line #print lyric lyricItem=LyricItem() lyricItem['lyric']=lyric lyricItem['song_url']=response.url yield lyricItem songinfo因为还没有用到所以不重要。 ------------------------------分割线-------------------------------------- #items.py import scrapy class SongUrlItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() song_url=scrapy.Field() #歌曲链接 class LyricItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() lyric=scrapy.Field() #歌词 song_url=scrapy.Field() #歌曲链接 class SongInfoItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() song_url=scrapy.Field() #歌曲链接 song_title=scrapy.Field() #歌名 album=scrapy.Field() #专辑 #singer=scrapy.Field() #歌手 language=scrapy.Field() #语种 ------------------------------分割线-------------------------------------- 在middleware下加了几行： sleep_seconds = 0.2 # 模拟点击后休眠3秒，给出浏览器取得响应内容的时间 default_sleep_seconds = 1 # 无动作请求休眠的时间 def process_request(self, request, spider): spider.logger.info('--------Spider request processed: %s' % spider.name) page = None driver = webdriver.PhantomJS() spider.logger.info('--------request.url: %s' % request.url) driver.get(request.url) driver.implicitly_wait(0.2) # 仅休眠数秒加载页面后返回内容 time.sleep(self.sleep_seconds) page = driver.page_source driver.close() return HtmlResponse(request.url, body=page, encoding='utf-8', request=request) ------------------------------分割线-------------------------------------- setting中加了几行也改了几行： from faker import Factory f = Factory.create() USER_AGENT = f.user_agent() DOWNLOAD_DELAY = 0.2 DEFAULT_REQUEST_HEADERS = { 'Host': 'www.xiami.com', 'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate, br', 'Accept-Language': 'zh-CN,zh;q=0.8', 'Cache-Control': 'no-cache', 'Connection': 'Keep-Alive', } ITEM_PIPELINES = { 'xiami2.pipelines.Xiami2Pipeline': 300, }

命令窗口执行：scrapy crawl 项目名称 的问题

请问：我cd到我创建的project目录下了，输入 scrapy crawl 项目名称，但是显示的是：‘scrapy’不是内部或外部命令，也不是可运行的程序或批处理文件。我在安装scrapy的目录下使用scrapy命令，是可以执行的，但只限于这个目录。在这个目录执行上述命令，会出现Unknown command: crawl，这怎么处理呢？

scrapy超时问题！超时问题！

scrpay-redis在爬取网页的情况下一直出现 ：Connection was refused by other side: 10061: 由于目标计算机积极拒绝，无法连接。 而且已经在报错中间件下设置出错  自动更换ip，而且ip池会自动进行更新，还是不解决问题。而且这类错误会累计的越来越多，最好程序只在报错，不在往下进行，求各路大神有没有，类似的问题，或者解决办法 ！

python scrapy 爬取多页合并问题

scrapy学习有几个月了，普通scrapy和crawl都能够实现，现在碰到一个问题： 在使用scrapy爬取多分页后，如何把多分页内容合并写入到一个item[x]内？ 我现在使用 yield Request 至 def art_url 来获取分页内容，用append把内容集合后，用 item['image_urls'] = self.art_urls 来接收结果， 但结果一直接收，每篇内容的分页的接收导致很多，请教一下，如何把每篇的分页内容合并写入一项itme？ 刚学不到半年，代码凌乱，望包含，主要是想学习如何爬取小说站，把每一章都合并在一起，不要分页搞很多数据，和合适代码推荐下，研究学习，谢谢了 我的代码： ``` art_urls = [] rules = ( Rule(LinkExtractor(allow='wenzhang/',restrict_xpaths=('//table[@id="dlNews"]')), callback='parse_item', follow=True), ) def parse_item(self, response): print(response.url) item = SpiderItem() conn = Redis(host='127.0.0.1', port=6379) item['title'] = response.xpath('//h1/text()').extract_first() ex = conn.sadd('movies_url', response.url) for next_href in response.xpath('//div[@class="pager"]/ul/li/a/@href').extract(): next_url = self.base_url + next_href.replace('../','') if ex == 1: # print('开始解析单页') yield Request(next_url, callback=self.art_url) # yield scrapy.Request(url=next_url, callback=self.parse_detail, meta={'title': title,'img_src':img_src}) else: print("无数据更新！！！") # print(self.art_urls) item['image_urls'] = self.art_urls # print(len(item['image_urls'])) # print(item) yield item def art_url(self, response): art_urls = response.xpath('//div[@id="content"]/div/p/img/@src').extract() for art_url in art_urls: # 开始解析分页 art_url = art_url.replace('../../upload/','') self.art_urls.append(art_url) ```

python爬虫：为什么用requests可以爬到数据，用scrapy爬到数据为空？

"http://detail.zol.com.cn/index.php?c=SearchList&keyword=%C8%FD%D0%C7&page=1" 用requests可以爬到数据，scrapy爬的状态码是200，但响应没有数据，什么原因？

没有进行筛选，scrapy-Request callback不调用，跪求大神指点！！！

Spider的代码是这样的： ``` def parse(self, response): url_list = response.xpath('//a/@href').extract()[0] for single_url in url_list: url = 'https:' + single_url.xpath('./@href').extract()[0] name = single_url.xpath('./text()').extract()[0] yield scrapy.Request(url=url, callback=self.parse_get, meta={'url':url, 'name':name}) def parse_get(self, response): print(1) item = MySpiderItem() item['name'] = response.mate['name'] item['url'] = response.mate['url'] yield item ``` middlewares的代码是这样的： ``` def process_request(self, request, spider): self.driver = webdriver.Chrome() self.driver.get(request.url) if 'anime' in request.meta: element = WebDriverWait(self.driver, 10).until(EC.presence_of_element_located((By.ID, 'header'))) else: element = WebDriverWait(self.driver, 10).until(EC.presence_of_element_located((By.ID, 'header'))) html = self.driver.page_source self.driver.quit() return scrapy.http.HtmlResponse(url=request.url, body=html, request=request, encoding='utf-8') ``` 我是用Chrome来运行的，Request里面的url是一个一个地打开了，但是一直没有调用parse_get。一直都没有加allowed_domains，也尝试过在Request中加dont_filter=True，但是网站能打开，证明应该不是网站被过滤了的问题。实在是没有想法了，求大神指导！！！！

Scrapy多级页面爬取，程序运行顺序问题

``` # -*- coding: utf-8 -*- import scrapy from SYDW.items import SydwItem class DanweiCrawlingSpider(scrapy.Spider): # 继承自Spider类 name = 'danwei_crawling' allowed_domains = ['chinasydw.org']#允许域名 start_urls = ['http://www.chinasydw.org'] base_domain = 'http://www.chinasydw.org' def parse(self, response): province = response.xpath("//div[@class='fenzhan']//a/@href") for each_p in province: yield scrapy.Request(each_p.get(),callback=self.get_page) def get_page(self,response): for each in response.xpath("//div[@class='body']/ul[@class = 'list11 clearfix']/li[not(@class='ivl')]"): item = SydwItem() name = response.xpath("//div[@class='body']/ul[@class = 'list11 clearfix']/li[not(@class='ivl')]/a[not(@style)]/text()").get() time = response.xpath("//div[@class='body']/ul[@class = 'list11 clearfix']/li[not(@class='ivl')]/span[@class='time']/text()").get() link = response.xpath("//div[@class='body']/ul[@class = 'list11 clearfix']/li[not(@class='ivl')]/a[not(@style)]/@href").get() item['name']=name item['time']=time item['link']=link yield item next_url = response.xpath("//div[@class='pageset']/a[last()]/@href").get() yield scrapy.Request(self.base_domain+next_url,callback=self.get_page,meta={'item':item}) ``` 思路： parse函数获取分站信息 然后进入分站，获取分站每一页信息。 问题： 爬取顺序问题： 按设想应该是进入分站——爬取完多个页面——进入下一个分站——爬取完多个页面；实际上运行结果是进入分站——爬取完当前页面——进入下一个分站——爬取完当前页面，直到所有分站遍历完后再开始进入分站的下一页。 初学scrapy，希望得到大家的帮助。

scrapy 报错：Missing scheme in request url: h

用Python的scrapy写了一个从网页下图片的爬虫，报错：Missing scheme in request url: h 去百度了也google了都说是相对地址不完整要搞成绝对地址，我用urljoin试了没用，直接用完整的图片地址也没有用。 求大神帮助。 [code=python]import scrapy from imageSpider.items import ImagespiderItem class image_Spider(scrapy.Spider): name="imgSpider" allowed_domains=["image.baidu.com"] start_urls=["http://image.baidu.com/"] def parse(self,response): oriList=response.xpath('//div[@class="img_pic_wrap_layer"]/img/@src').extract() for each in oriList: each=response.urljoin(each) item=ImagespiderItem() item['image_urls']=each yield item[/code] [code=python]# -*- coding: utf-8 -*- # Define here the models for your scraped items # # See documentation in: # http://doc.scrapy.org/en/latest/topics/items.html import scrapy class ImagespiderItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() image_urls=scrapy.Field() images=scrapy.Field() [/code]

爬虫福利二 之 妹子图网MM批量下载

爬虫福利一：27报网MM批量下载 点击 看了本文，相信大家对爬虫一定会产生强烈的兴趣，激励自己去学习爬虫，在这里提前祝：大家学有所成！ 目标网站：妹子图网 环境：Python3.x 相关第三方模块：requests、beautifulsoup4 Re：各位在测试时只需要将代码里的变量path 指定为你当前系统要保存的路径，使用 python xxx.py 或IDE运行即可。 ...

字节跳动视频编解码面经

三四月份投了字节跳动的实习（图形图像岗位），然后hr打电话过来问了一下会不会opengl，c++，shador，当时只会一点c++，其他两个都不会，也就直接被拒了。 七月初内推了字节跳动的提前批，因为内推没有具体的岗位，hr又打电话问要不要考虑一下图形图像岗，我说实习投过这个岗位不合适，不会opengl和shador，然后hr就说秋招更看重基础。我当时想着能进去就不错了，管他哪个岗呢，就同意了面试...

Java学习的正确打开方式

在博主认为，对于入门级学习java的最佳学习方法莫过于视频+博客+书籍+总结，前三者博主将淋漓尽致地挥毫于这篇博客文章中，至于总结在于个人，实际上越到后面你会发现学习的最好方式就是阅读参考官方文档其次就是国内的书籍，博客次之，这又是一个层次了，这里暂时不提后面再谈。博主将为各位入门java保驾护航，各位只管冲鸭！！！上天是公平的，只要不辜负时间，时间自然不会辜负你。 何谓学习？博主所理解的学习，它是一个过程，是一个不断累积、不断沉淀、不断总结、善于传达自己的个人见解以及乐于分享的过程。

程序员必须掌握的核心算法有哪些？

由于我之前一直强调数据结构以及算法学习的重要性，所以就有一些读者经常问我，数据结构与算法应该要学习到哪个程度呢？，说实话，这个问题我不知道要怎么回答你，主要取决于你想学习到哪些程度，不过针对这个问题，我稍微总结一下我学过的算法知识点，以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的，并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构，当然，我也会整理一些看过...

linux系列之常用运维命令整理笔录

本博客记录工作中需要的linux运维命令，大学时候开始接触linux，会一些基本操作，可是都没有整理起来，加上是做开发，不做运维，有些命令忘记了，所以现在整理成博客，当然vi，文件操作等就不介绍了，慢慢积累一些其它拓展的命令，博客不定时更新 free -m 其中：m表示兆，也可以用g，注意都要小写 Men：表示物理内存统计 total：表示物理内存总数(total=used+free) use...

Python 基础（一）：入门必备知识

Python 入门必备知识，你都掌握了吗？

兼职程序员一般可以从什么平台接私活？

这个问题我进行了系统性的总结，以下将进行言简意赅的说明和渠道提供，希望对各位小猿/小媛们有帮助~ 根据我们的经验，程序员兼职主要分为三种：兼职职位众包、项目整包和自由职业者驻场。 所谓的兼职职位众包，指的是需求方这边有自有工程师配合，只需要某个职位的工程师开发某个模块的项目。比如开发一个 app，后端接口有人开发，但是缺少 iOS 前端开发工程师，那么他们就会发布一个职位招聘前端，来配合公司一...

程序员接私活怎样防止做完了不给钱？

首先跟大家说明一点，我们做 IT 类的外包开发，是非标品开发，所以很有可能在开发过程中会有这样那样的需求修改，而这种需求修改很容易造成扯皮，进而影响到费用支付，甚至出现做完了项目收不到钱的情况。 那么，怎么保证自己的薪酬安全呢？ 我们在开工前，一定要做好一些证据方面的准备（也就是“讨薪”的理论依据），这其中最重要的就是需求文档和验收标准。一定要让需求方提供这两个文档资料作为开发的基础。之后开发...

Python十大装B语法

Python 是一种代表简单思想的语言，其语法相对简单，很容易上手。不过，如果就此小视 Python 语法的精妙和深邃，那就大错特错了。本文精心筛选了最能展现 Python 语法之精妙的十个知识点，并附上详细的实例代码。如能在实战中融会贯通、灵活使用，必将使代码更为精炼、高效，同时也会极大提升代码B格，使之看上去更老练，读起来更优雅。

数据库优化 - SQL优化

以实际SQL入手，带你一步一步走上SQL优化之路！

2019年11月中国大陆编程语言排行榜

2019年11月2日，我统计了某招聘网站，获得有效程序员招聘数据9万条。针对招聘信息，提取编程语言关键字，并统计如下： 编程语言比例 rank pl_ percentage 1 java 33.62% 2 cpp 16.42% 3 c_sharp 12.82% 4 javascript 12.31% 5 python 7.93% 6 go 7.25% 7 p...

写了很久，这是一份最适合/贴切普通大众/科班/非科班的『学习路线』

说实话，对于学习路线这种文章我一般是不写的，大家看我的文章也知道，我是很少写建议别人怎么样怎么样的文章，更多的是，写自己的真实经历，然后供大家去参考，这样子，我内心也比较踏实，也不怕误导他人。 但是，最近好多人问我学习路线，而且很多大一大二的，说自己很迷茫，看到我那篇 普普通通，我的三年大学 之后很受激励，觉得自己也能行，（是的，别太浪，你一定能行）希望我能给他个学习路线，说...

经典算法（5）杨辉三角

写在前面： 我是 扬帆向海，这个昵称来源于我的名字以及女朋友的名字。我热爱技术、热爱开源、热爱编程。技术是开源的、知识是共享的。 这博客是对自己学习的一点点总结及记录，如果您对 Java、算法 感兴趣，可以关注我的动态，我们一起学习。 用知识改变命运，让我们的家人过上更好的生活。 目录一、杨辉三角的介绍二、杨辉三角的算法思想三、代码实现1.第一种写法2.第二种写法 一、杨辉三角的介绍 百度

腾讯算法面试题：64匹马8个跑道需要多少轮才能选出最快的四匹？

昨天，有网友私信我，说去阿里面试，彻底的被打击到了。问了为什么网上大量使用ThreadLocal的源码都会加上private static？他被难住了，因为他从来都没有考虑过这个问题。无独有偶，今天笔者又发现有网友吐槽了一道腾讯的面试题，我们一起来看看。 腾讯算法面试题：64匹马8个跑道需要多少轮才能选出最快的四匹？ 在互联网职场论坛，一名程序员发帖求助到。二面腾讯，其中一个算法题：64匹...

面试官：你连RESTful都不知道我怎么敢要你？

干货，2019 RESTful最贱实践

为啥国人偏爱Mybatis，而老外喜欢Hibernate/JPA呢？

关于SQL和ORM的争论，永远都不会终止，我也一直在思考这个问题。昨天又跟群里的小伙伴进行了一番讨论，感触还是有一些，于是就有了今天这篇文。 声明：本文不会下关于Mybatis和JPA两个持久层框架哪个更好这样的结论。只是摆事实，讲道理，所以，请各位看官勿喷。 一、事件起因 关于Mybatis和JPA孰优孰劣的问题，争论已经很多年了。一直也没有结论，毕竟每个人的喜好和习惯是大不相同的。我也看...

SQL-小白最佳入门sql查询一

不要偷偷的查询我的个人资料，即使你再喜欢我，也不要这样，真的不好；

项目中的if else太多了，该怎么重构？

介绍 最近跟着公司的大佬开发了一款IM系统，类似QQ和微信哈，就是聊天软件。我们有一部分业务逻辑是这样的 if (msgType = "文本") { // dosomething } else if(msgType = "图片") { // doshomething } else if(msgType = "视频") { // doshomething } else { // doshom...

致 Python 初学者

欢迎来到“Python进阶”专栏！来到这里的每一位同学，应该大致上学习了很多 Python 的基础知识，正在努力成长的过程中。在此期间，一定遇到了很多的困惑，对未来的学习方向感到迷茫。我非常理解你们所面临的处境。我从2007年开始接触 python 这门编程语言，从2009年开始单一使用 python 应对所有的开发工作，直至今天。回顾自己的学习过程，也曾经遇到过无数的困难，也曾经迷茫过、困惑过。开办这个专栏，正是为了帮助像我当年一样困惑的 Python 初学者走出困境、快速成长。希望我的经验能真正帮到你

“狗屁不通文章生成器”登顶GitHub热榜，分分钟写出万字形式主义大作

一、垃圾文字生成器介绍 最近在浏览GitHub的时候，发现了这样一个骨骼清奇的雷人项目，而且热度还特别高。 项目中文名：狗屁不通文章生成器 项目英文名：BullshitGenerator 根据作者的介绍，他是偶尔需要一些中文文字用于GUI开发时测试文本渲染，因此开发了这个废话生成器。但由于生成的废话实在是太过富于哲理，所以最近已经被小伙伴们给玩坏了。 他的文风可能是这样的： 你发现，

程序员：我终于知道post和get的区别

IT界知名的程序员曾说：对于那些月薪三万以下，自称IT工程师的码农们，其实我们从来没有把他们归为我们IT工程师的队伍。他们虽然总是以IT工程师自居，但只是他们一厢情愿罢了。 此话一出，不知激起了多少(码农)程序员的愤怒，却又无可奈何，于是码农问程序员。 码农：你知道get和post请求到底有什么区别？ 程序员：你看这篇就知道了。 码农：你月薪三万了？ 程序员：嗯。 码农：你是怎么做到的? 程序员：

《程序人生》系列-这个程序员只用了20行代码就拿了冠军

你知道的越多，你不知道的越多 点赞再看，养成习惯GitHub上已经开源https://github.com/JavaFamily，有一线大厂面试点脑图，欢迎Star和完善 前言 这一期不算《吊打面试官》系列的，所有没前言我直接开始。 絮叨 本来应该是没有这期的，看过我上期的小伙伴应该是知道的嘛，双十一比较忙嘛，要值班又要去帮忙拍摄年会的视频素材，还得搞个程序员一天的Vlog，还要写BU

加快推动区块链技术和产业创新发展，2019可信区块链峰会在京召开

11月8日，由中国信息通信研究院、中国通信标准化协会、中国互联网协会、可信区块链推进计划联合主办，科技行者协办的2019可信区块链峰会将在北京悠唐皇冠假日酒店开幕。 　　区块链技术被认为是继蒸汽机、电力、互联网之后，下一代颠覆性的核心技术。如果说蒸汽机释放了人类的生产力，电力解决了人类基本的生活需求，互联网彻底改变了信息传递的方式，区块链作为构造信任的技术有重要的价值。 　　1...

程序员把地府后台管理系统做出来了，还有3.0版本！12月7号最新消息：已在开发中有github地址

第一幕：缘起 听说阎王爷要做个生死簿后台管理系统，我们派去了一个程序员…… 996程序员做的梦： 第一场：团队招募 为了应对地府管理危机，阎王打算找“人”开发一套地府后台管理系统，于是就在地府总经办群中发了项目需求。 话说还是中国电信的信号好，地府都是满格，哈哈！！！ 经常会有外行朋友问：看某网站做的不错，功能也简单，你帮忙做一下？ 而这次，面对这样的需求，这个程序员

网易云6亿用户音乐推荐算法

网易云音乐是音乐爱好者的集聚地，云音乐推荐系统致力于通过 AI 算法的落地，实现用户千人千面的个性化推荐，为用户带来不一样的听歌体验。 本次分享重点介绍 AI 算法在音乐推荐中的应用实践，以及在算法落地过程中遇到的挑战和解决方案。 将从如下两个部分展开： AI 算法在音乐推荐中的应用 音乐场景下的 AI 思考 从 2013 年 4 月正式上线至今，网易云音乐平台持续提供着：乐屏社区、UGC

8年经验面试官详解 Java 面试秘诀

    作者 | 胡书敏 责编 | 刘静 出品 | CSDN（ID：CSDNnews） 本人目前在一家知名外企担任架构师，而且最近八年来，在多家外企和互联网公司担任Java技术面试官，前后累计面试了有两三百位候选人。在本文里，就将结合本人的面试经验，针对Java初学者、Java初级开发和Java开发，给出若干准备简历和准备面试的建议。   Java程序员准备和投递简历的实

面试官如何考察你的思维方式？

1.两种思维方式在求职面试中，经常会考察这种问题：北京有多少量特斯拉汽车？ 某胡同口的煎饼摊一年能卖出多少个煎饼？ 深圳有多少个产品经理？ 一辆公交车里能装下多少个乒乓球？ 一

碎片化的时代，如何学习

今天周末，和大家聊聊学习这件事情。 在如今这个社会，我们的时间被各类 APP 撕的粉碎。 刷知乎、刷微博、刷朋友圈； 看论坛、看博客、看公号； 等等形形色色的信息和知识获取方式一个都不错过。 貌似学了很多，但是却感觉没什么用。 要解决上面这些问题，首先要分清楚一点，什么是信息，什么是知识。 那什么是信息呢？ 你一切听到的、看到的，都是信息，比如微博上的明星出轨、微信中的表情大战、抖音上的...

so easy！ 10行代码写个"狗屁不通"文章生成器

前几天，GitHub 有个开源项目特别火，只要输入标题就可以生成一篇长长的文章。 背后实现代码一定很复杂吧，里面一定有很多高深莫测的机器学习等复杂算法 不过，当我看了源代码之后 这程序不到50行 尽管我有多年的Python经验，但我竟然一时也没有看懂 当然啦，原作者也说了，这个代码也是在无聊中诞生的，平时撸码是不写中文变量名的, 中文...

知乎高赞：中国有什么拿得出手的开源软件产品？(整理自本人原创回答)

知乎高赞：中国有什么拿得出手的开源软件产品？ 在知乎上，有个问题问“中国有什么拿得出手的开源软件产品（在 GitHub 等社区受欢迎度较好的）？” 事实上，还不少呢~ 本人于2019.7.6进行了较为全面的回答，对这些受欢迎的 Github 开源项目分类整理如下： 分布式计算、云平台相关工具类 1.SkyWalking，作者吴晟、刘浩杨 等等 仓库地址: apache/skywalking 更...

相关热词 c# 输入ip c# 乱码 报表 c#选择结构应用基本算法 c# 收到udp包后回包 c#oracle 头文件 c# 序列化对象 自定义 c# tcp 心跳 c# ice连接服务端 c# md5 解密 c# 文字导航控件