Scrapy FormRequest函数中的meta参数值应该如何设置? 80C

我用scrapy进行爬虫,解析函数部分另有下一级回调函数,代码如下:

item = SoccerDataItem()
for i in range(1, 8):
        item['player' + str(i + 1)] = players[i]
for j in range(1, 8):  
    home_sub_list = response.xpath('//div[@class="left"]//li[@class="pl10"]')  
        if home_sub_list[j - 1].xpath('./span/img[contains(@src,"subs_up")]'):  
            item['player' + str(j)]['name'] = home_sub_list[j - 1].xpath('./div[@class="ml10"]').xpath('string(.)').re_first('\d{1,2}\xa0\xa0(.*)')
            item['player' + str(j)]['team_stand'] = 1
            item['player' + str(j)]['is_startup'] = 0
            item['player' + str(j)]['is_subs_up'] = 1
            item['player' + str(j)]['subs_up_time'] = home_sub_list[j].xpath('./span/img[contains(@src,"subs_up")]/following-sibling::span').xpath('string(.)').extract_first(default='')
            yield scrapy.FormRequest(url=data_site, formdata=formdata, meta={'player': item['player' + str(j)]}, callback=self.parse_data)

        else:
            item['player' + str(j)]['name'] = home_sub_list[j-1].xpath('./div[@class="ml10"]').xpath('string(.)').re_first('\d{1,2}\xa0\xa0(.*)')
      item['player' + str(j)]['team_stand'] = 1
      item['player' + str(j)]['is_startup'] = 0
            item['player' + str(j)]['is_subs_up'] = 0

然而运行后一直在报错:

 callback=self.parse_data)
  File "c:\users\pc1\appdata\local\programs\python\python36-32\lib\site-packages\scrapy\http\request\form.py", line 31, in __init__
    querystr = _urlencode(items, self.encoding)
  File "c:\users\pc1\appdata\local\programs\python\python36-32\lib\site-packages\scrapy\http\request\form.py", line 66, in _urlencode
    for k, vs in seq
  File "c:\users\pc1\appdata\local\programs\python\python36-32\lib\site-packages\scrapy\http\request\form.py", line 67, in <listcomp>
    for v in (vs if is_listlike(vs) else [vs])]
  File "c:\users\pc1\appdata\local\programs\python\python36-32\lib\site-packages\scrapy\utils\python.py", line 119, in to_bytes
    'object, got %s' % type(text).__name__)
TypeError: to_bytes must receive a unicode, str or bytes object, got int

据本人百度得知,meta当中的键值对的值应为字符串,字节等类型,这正是当我传入字典类型时报错的原因。
可是,请问我应该如何修改此处呢?

PS:本人所用编程语言为Python,排版可能会引起读者不适,望谅解!

2个回答

问题不在meta,在formdata,你的formdata里面一定是有int类型的值了,改成str即可。

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
【帮帮孩子】scrapy框架请问如何在parse函数中调用已有的参数来构造post请求获得回传的数据包呀

刚接触scrapy框架一周的菜鸟,之前都没用过框架手撸爬虫的,这次遇到了一个问题,我先请求一个网页 ``` def start_requests(self): urls=["http://www.tiku.cn/index/index/questions?cid=14&cno=1&unitid=800417&chapterid=701354&typeid=600122&thrknowid=700137"] for url in urls: yield scrapy.Request(url=url,callback=self.parse) ``` 然后传给parse方法获得了question_ID这个关键参数,然后我想在这里面直接利用这个question_id这个参数构造post请求获得它回传的json数据包并保存在 item['正确答案']之中,请问我要如何实现?,谢谢大佬百忙之中抽空回答我的疑问,谢谢! ``` def parse(self, response): item = TikuItem () for i in range(1,11): QUESTION_ID=str(response.xpath('(/html/body/div[4]/div[2]/div[2]/div['+str(i)+']/div[@class="q-analysis text-l"]/@id)').extract_first()[3:]) item['question_ID']=QUESTION_ID ``` 这是我的items.py文件 ``` class TikuItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() question_ID=scrapy.Field()#题号 correct_answer=scrapy.Field()#正确答案 ```

scrapy formdata提交模拟点击下一页的参数 翻页失败

大概是知道什么原因了,但是还是找不到办法,有哪位大神碰到过么。 遇到问题的这个系统的分页是用asp.net的分页控件写的,我看很多道友都遇到这个情况,但不知道是怎么解决的。 f12 看到的所有需要提交的参数,我也都带上了,但就是翻不了页。 ———————————————————————————————————————————————————— 拜托各位大神帮忙看看,实在是困扰在下许多天了。 小弟新人,用的是scrapy爬取一个系统的网页数据,在模拟点击下一页的时候卡住了。 这个系统分页跳转他用的不是url,而是提交参数的形式。 我代码里写的参数基本上和浏览器看到的一样,同样也用postman测试是完全可以跳转的。 但就是在代码里的就是怎么都跳转不了。 (简言之就是,和页面请求一样的参数,代码里不行,但是postman里面可以。) 我有猜测,会不会是response的问题,但无从去验证。 图一是我代码里写的要提交的参数。 图三,四是浏览器页面跳转下一页需要提交的参数。 图五是我用postman提交相同参数却可以模拟跳转。 ![图片说明](https://img-ask.csdn.net/upload/201706/26/1498457288_217488.png) ![图片说明](https://img-ask.csdn.net/upload/201706/26/1498457307_589502.png) ![图片说明](https://img-ask.csdn.net/upload/201706/26/1498457317_384042.png) ![图片说明](https://img-ask.csdn.net/upload/201706/26/1498457328_205682.png) ![图片说明](https://img-ask.csdn.net/upload/201706/26/1498457382_156337.png)

scrapy中 parse函数没有被调用

代码没有问题为什么parse不会被调用![![![图片说明](https://img-ask.csdn.net/upload/201711/09/1510159504_917150.png)图片说明](https://img-ask.csdn.net/upload/201711/09/1510159495_85511.png)图片说明](https://img-ask.csdn.net/upload/201711/09/1510159485_677541.png)

scrapy request发生重定向问题

from scrapy.spider import CrawlSpider from scrapy.selector import Selector from scrapy.http import Request class Spider(CrawlSpider): name = 'wordSpider' NUM = 14220485 start_urls = [ "http://baike.baidu.com/view/1.htm" ] fi = open('e:/word.txt', 'w') cnt = 2 def parse(self,response): selector = Selector(response) word = selector.xpath('body/div[@class="body-wrapper"]/div[@class="content-wrapper"]/div[@class="content"]/div[@class="main-content"]/dl/dd/h1/text()').extract_first() #word = selector.xpath('body/div[@id="J-lemma"]/div[@class="body-wrapper"]/div[@class="card-part"]/span[@class="lemma-title"]/text()').extract() self.fi.write(word + '\t' + 'n') if self.cnt <= self.NUM: wurl = "http://baike.baidu.com/view/%s.htm" % self.cnt self.cnt += 1 yield Request(url=wurl, meta={}, callback=self.parse) 这是我的爬虫源码,如何阻止301/302重定向,要抓取的是百度所有词条,但是总会发生重定向导致无法获得想要的网页

scrapy框架+formdata+ajax爬取及翻页问题

## 问题描述:使用scrapy框架爬取ajax网页,以中国地震台网——历史查询为例,我想爬取某个时间段内所有的数据,但是我的代码并不能实现,找了一些相关问题参考,最终代码如下,未能实现,请问大哥大佬们能支个招吗。。。(scrapy框架,已测试过代码其他配置等没有问题) #spider文件: ``` # -*- coding: utf-8 -*- import scrapy from EarthquakeScrapy.items import EarthquakescrapyItem class TestScrapy(scrapy.Spider): name = 'test' # 爬虫的名字 allowed_domains = ['ceic.ac.cn/search'] start_urls = 'http://www.ceic.ac.cn/ajax/search?page=&&start=&&end=&&jingdu1=&&jingdu2=&&weidu1=&&weidu2=&&height1=&&height2=&&zhenji1=&&zhenji2=' # 爬取页码循环次数,一共57页 all_page = 3 def start_requests(self): # 遍历各页 for i in range(1, self.all_page + 1): # 从前端获取的页面[1,57+1),循环1到57页 yield scrapy.FormRequest(self.start_urls, formdata={'page': 'i', 'start': '2019-03-25','end': '2020-03-25', 'jingdu1': '', 'jingdu2': '','weidu1': '', 'weidu2': '', 'height1': '','height2': '', 'zhenji1': '', 'zhenji2': '','callback': ''}, callback=self.parse, dont_filter=True) # 请求对应的内容 def parse(self, response): result = eval(response.body.decode('utf-8')) records = result['shuju'] item = EarthquakescrapyItem() print("**")#测试用 for record in records: item['level'] = record['M'] item['time'] = record['O_TIME'] item['longitude'] = record['EPI_LON'] item['latitude'] = record['EPI_LAT'] item['depth'] = record['EPI_DEPTH'] item['address'] = record['LOCATION_C'] print(record['M'])#测试爬取数据情况 # yield item ```

scrapy发起请求的url是拼接的,但是拼接时需要用到response中的参数,这种矛盾怎么解决啊?

scrapy发起请求的url是拼接的,但是拼接时需要用到response中的参数,这种矛盾怎么解决啊?请大神给个思路!

scrapy中Spider中的变量如何传递给Middleware中的request中

在获取了response响应中的内容后,需要将response的部分内容更新到cookie中。 但是获取response的内容实在自定义的parse函数中,而更新cookie是在Middleware中的process\_request()中,那如何将Spider中的parse函数中的变量传递到Middleware中的process\_request中呢? 下边是我的函数 ![图片说明](https://img-ask.csdn.net/upload/201906/03/1559527420_478414.png) 以上还请大神指点一下~~

scrapy爬虫post请求,参数以回车隔开如何爬取

我再爬取一个ashx网页时,它的post请求参数是已回车换行隔开的而不是以'&'符号,我在spider里应该怎么写呢,求赐教 网页是:http://www.lzggzyjy.cn/InfoPage/InfoList.aspx?SiteItem=38 我这样写: def start_requests(self): body1={'currentPage':'1','Query':''} yield FormRequest('http://www.lzggzyjy.cn/ajax/Controls_InfoListControl,App_Web_czrtjgzk.ashx?_method=getCurrentData&_session=rw', headers = {"Content-Type": "text/plain;charset=UTF-8"},callback=self.parse,formdata=body1,method ='POST',cookies= {"ASP.NET_SessionId":"qpzxibfguvi452oujhorwdi5","SERVERID":"0c51fcf27e5a43864444c2a531b3c0e0|1482238131|1482234645"}) 报错:new Object();r.error = new ajax_error('System.ArgumentException','类型“System.DBNull”的对象无法转换为类型“System.Int32”。',0)

Scrapy yield Request 失效问题

想爬一下 游戏信息和评论 评论,信息是分开的 所以用了两个方法 parse中 用yield 进入第二个方法 和回调自己 都没问题 parse two 中 用yield 回调就不行 但是也不报错 就是没有进行 ``` def parse(self, response): #print response.body selector = scrapy.Selector(response) games = selector.xpath('//div[@class="app-item-caption"]/a[@class="item-caption-title flex-text-overflow"]/@href').extract() for game in games: game = game + '/review' yield scrapy.http.Request(game, callback=self.parse_two) # print game #游戏列表下一页 nextPage = selector.xpath('//ul[@class="pagination"]/li[last()]/a/@href').extract() if nextPage: next = nextPage[0] # print next yield scrapy.http.Request(next, callback=self.parse) def parse_two(self,response): Gid = response.url[27:32] Gid = int(Gid) selector = scrapy.Selector(response) game_review_times = selector.xpath('//a[@class="text-header-time"]/span/@data-dynamic-time').extract() game_reviews = selector.xpath('//div[@class="review-item-text"]/div[@class="item-text-body"]').extract() game_reivew_author = selector.xpath('//span[@class="taptap-user"]/a/text()').extract() reviewNo = 1 review_dict = {} # 处理评论 for review in game_reviews: # 计算每天评论量 # time_day = time.strftime('%Y-%m-%d',time.localtime(int(game_review_times[reviewNo - 1]))) # if review_dict.get(time_day): # review_dict[time_day] += 1 # else: # review_dict[time_day] = 1 review_lines = re.findall('<p>(.*?)</p>',review,re.S) review = '' for line in review_lines: review += line item = TaptapItem() item['Review_GID'] = Gid item['Review_content'] = review item['Review_Author'] = game_reivew_author[reviewNo-1] item['Reivew_Time'] = game_review_times[reviewNo-1] yield item print '评论%d:'%reviewNo print game_review_times[reviewNo-1] print review reviewNo += 1 #评论下一页 nextPage = selector.xpath('//ul[@class="pagination"]/li[last()]/a/@href').extract() if nextPage: next = nextPage[0] # print next yield scrapy.http.Request(next, callback=self.parse_two) ```

python3 scrapy Request 请求时怎么保持headers 的参数首字母不大写

python3 scrapy Request 请求时,scrapy 会自动将headers 中的参数 格式化,使其保持首字母大写,下划线等特殊符号后第一个字母大写。但现在有个问题 我要往服务端传一个headers的参数,但参数本身没有大写,经过scrapy 请求后参数变为首字母大写,服务器端根本不认这个参数,我就想问下有谁知道scrapy,Request 有不处理headers的方法吗? 但使用requests请求时,而不是用scrapy.Request时,headers 是没有变化的。![he图片说明](https://img-ask.csdn.net/upload/201905/15/1557909540_468021.png) 这是headers 请求之前的 ![图片说明](https://img-ask.csdn.net/upload/201905/15/1557909657_878941.png) 这是抓包抓到的请求头

由scrapy异步,导致cookie在scrapy中储存过久,cookie值失效,该怎么办?

由scrapy异步,导致cookie在scrapy中储存过久,cookie值失效,该怎么办?

scrapy中后面的Itemloder如何调用前面的Itemloder的值

![图片说明](https://img-ask.csdn.net/upload/201704/15/1492215097_564806.jpg) 比如说图中的images_url,怎样才能调用前面img1_url,img2_url,img3_url的值,并且形成一个list呢?Python小白,求大神指教!

scrapy框架中调用目标解析函数方式:self.fun(response)调用方式和fun中的yield形成阻塞

![图片说明](https://img-ask.csdn.net/upload/202004/04/1585979773_480674.png)![图片说明](https://img-ask.csdn.net/upload/202004/04/1585979782_375014.png) # -*- coding: utf-8 -*- import scrapy from Lianjia.items import * import re import logging class LianjiaSpider(scrapy.Spider): name = 'lianjia' allowed_domains = ['lianjia.com'] #起始爬取地址,全国的城市页 start_urls = ['https://www.lianjia.com/city/'] def parse(self, response): if response.url in self.start_urls: try: #解析start_urls页的URL,得各城市地址 city_href_list = response.xpath('''//div[@class="city_list"]//li/a/@href''').extract() city_list = response.xpath('''//div[@class="city_list"]//li/a/text()''').extract() except IndexError as e: print('='*80, response.url, 'start_urls的xpath解析出错') for href, city in zip(city_href_list, city_list): #携带city下去,并将状态置为0表示为start_urls页面解析的地址发出的请求 meta = {'city': city, 'status': 0} # 将解析出的各城市地址发请求 yield scrapy.Request(href, meta=meta) # time.sleep(0.1) #解析各城市页面,得到二手房,新房等分支的URL elif response.meta.get('status') == 0: try: # 解析各城市页面的页签URL,以建立不同的分支 fr_texts = response.xpath('''//div[@class="nav typeUserInfo"]/ul/li/a/text()''').extract() fr_hrefs = response.xpath('''//div[@class="nav typeUserInfo"]/ul/li/a/@href''').extract() except IndexError as e: print('='*80, response.url, 'floor的xpath解析出错') meta = {'city': response.meta.get('city'), 'status': 1} for text, href in zip(fr_texts, fr_hrefs): meta['text'] = text # 不全部yield,避免发送不必要的请求,如有开启其他的分支,需在此处开启 fr_list = ['二手房', # '新房', ] #匹配地址以什么开头 # if href.startswith('https://.*?www.lianjia.com/erhshoufang'): if text in fr_list: yield scrapy.Request(href, meta=meta) #二手房分支 elif response.meta.get('text') == '二手房': try: # 获取本页面每页数据条数 s = len(response.xpath("""//*[@id="content"]/div[1]/ul/li/div[1]/div[1]/a/@href""").extract()) #获取本url总条数 sum_ = response.xpath("""//*[@id="content"]/div[1]/div[@class="resultDes clear"]/h2/span/text()""").extract()[0].strip() except IndexError as e: print('='*80, response.url, '每页条数或总条数值的xpath解析出错') sum_ = '' if sum_ != '': if int(sum_) > 0: # 计算本URL的页数 s_page = (int(sum_) + s - 1) // s # 如果不超过100,全交给parse_ErshoufangNextPage去翻页处理,否则看状态 if s_page <= 100: # self.parse_ErshoufangNextPage(response, s_page)#不能self.parse_ErshoufangNextPage调用,会和parse_ErshoufangNextPage的yield冲突,不管后面函数是否回调的当前函数 meta = {'s_page': s_page, 'city': response.meta.get('city')} yield scrapy.Request(response.url, meta=meta, callback=self.parse_ErshoufangNextPage, dont_filter=True )#由于该地址在之前已经发送过,所以需要dont_filter=True取消URL去重 elif s_page > 100: status = response.meta.get('status') meta = {'city': response.meta.get('city'), 'status': status, 'text': response.meta.get('text')} download_slot = response.meta.get('download_slot') if status == 1: #解析city页面,缩小过滤范围,得到区的链接,并发送请求 try: region_href_list = response.xpath('''//div[@class="position"]/dl[2]/dd/div[1]/div[1]/a/@href''').extract() except IndexError as e: print('='*80, response.url, 'if_status1的xpath解析出错') for href in region_href_list: url = 'https://' + download_slot + href meta['status'] = 2 yield scrapy.Request(url, meta=meta) # return elif status == 2: # 解析区页面,得到县的链接,并发送请求 try: country_href_list = response.xpath('//div[@class="position"]/dl[2]/dd/div/div[2]/a/@href').extract() except IndexError as e: print('='*80, response.url, 'if_status2的xpath解析出错') for href in country_href_list: url = 'https://' + download_slot + href meta['status'] = 3 yield scrapy.Request(url, meta=meta) # return elif status == 3: # 解析县页面,得到楼层过滤条件地址并发请求 #..表示选取当前节点的父节点 //div/dl/h2/dt[text()='楼层']/../../dd/a #a[contains(@href,'NameOnly')]表示选取href中包含NameOnly的a元素 try: lcs = response.xpath('''//div/dl/h2/dt[text()='楼层']/../../dd/a/@href''').extract() except IndexError as e: print('='*80, response.url, 'if_status3的xpath解析出错') for lc in lcs: p = re.compile('lc[0-9]/') lc = p.findall(lc) url = response.url + lc meta['status'] = 4 yield scrapy.Request(url, meta=meta) # return elif status == 4: #解析楼层页面, 得到价格过滤条件地址并发请求 try: ps = response.xpath('''//div/div[2]/dl[1]/h2/dt[text()='售价']/../../dd/a/@href''').extract() except IndexError as e: print('=' * 80, response.url, 'if_status4的xpath解析出错') for p in ps: meta['status'] = 5 url = 'https://' + download_slot + p yield scrapy.Request(url, meta=meta) elif status == 5: with open('gt100.txt', 'a', newline='\n', encoding='utf-8') as f: f.write(response.url) else: print('if_status溢出'*10, response.url, response.meta, 'if_status溢出'*10) else: print('if_s_page溢出'*10, response.url, response.meta, 'if_s_page溢出'*10) else: pass # print('找到总数量sum_为0套,地址:', response.url) else: print('if_sum_溢出'*10, response.url, response.meta, 'if_sum_溢出'*10) else: print('if分支溢出'*10, response.url, response.meta, 'if分支溢出'*10) #新房分支 # elif response.meta.get('text') == '新房': # # 本分支需修改 # # item为LianjiaXinfangItem # # 最终的解析页面需重设 # try: # sum_ = response.xpath("""//*[@id="content"]/div[1]/div[@class="resultDes clear"]/h2/span/text()""").extract()[0].strip() # except IndexError as e: # logging.warning(e) # sum_ = '' # if sum_ != '': # if int(sum_) > 0: # try: # # 获取本页面每页数据条数 # s = len(response.xpath("""//*[@id="content"]/div[1]/ul/li/div[1]/div[1]/a/@href""").extract()) # except IndexError as e: # logging.warning(e) # # 计算本URL的页数 # s_page = (int(sum_) + s - 1) // s # status = response.meta.get('status') # # 如果不超过100,全交给parse_NextPage去翻页处理,否则看状态 # if s_page <= 100: # self.parse_NextPage(response) # elif s_page > 100: # meta = {'city': response.meta.get('city'), # 'status': response.meta.get('status')} # if status == 1: # yield scrapy.Request(response.url, meta=meta, # callback=self.pase_City) # 该种再次发送请求的方式逻辑上导致请求次数剧增,增加了爬取时间,但是这种方式同样会导致阻塞 # # self.pase_City(response)#该种调用方式由于造成循环调用,导致队列阻塞 # elif status == 2: # yield scrapy.Request(response.url, meta=meta, callback=self.pase_Region) # # self.pase_Region(response) # elif status == 3: # yield scrapy.Request(response.url, meta=meta, callback=self.parse_County) # # self.parse_County(response) # elif status == 4: # with open('gt100.txt', 'a', newline='\n', encoding='utf-8') as f: # f.write(response.url) #二手房分支解析 # 解析页面,实现二手房分支的翻页,将翻页后的页面交给parse_ErshoufangEntry处理 def parse_ErshoufangNextPage(self, response): meta = {'city': response.meta.get('city')} s_page = response.meta.get('s_page') for page in range(1, s_page+1): url = response.url+'pg'+str(page) yield scrapy.Request(url, meta=meta, callback=self.parse_ErshoufangEntry) #解析二手房的详情链接 def parse_ErshoufangEntry(self, response): meta = {'city': response.meta.get('city')} details_href_list = response.xpath("""//*[@id="content"]/div[1]/ul/li/div[1]/div[1]/a/@href""").extract() for href in details_href_list: yield scrapy.Request(href, meta=meta, callback=self.parseErshoufangHTML) #解析每一套房的详情页,并yield item def parseErshoufangHTML(self, response): item = LianjiaErshoufangItem() item['city'] = response.meta.get('city') #item['img_src'] = response.xpath('''//*[@id="topImg"]//div[@class="imgContainer"]/img/@src''').extract_first() item['img_src'] = 'https://image1.ljcdn.com/110000-inspection/426839aeebee1c89ae14893cc19a1777-024.jpg.710x400.jpg' item['region'] = response.xpath('''//div[@class="areaName"]/span[2]/a[1]/text()''').extract_first() item['country'] = response.xpath('''//div[@class="areaName"]/span[2]/a[2]/text()''').extract_first() item['title'] = response.xpath('''//div[@class='content']/div[@class='title']/h1/text()''').extract_first() #price单价单位:元/平方米 item['price'] = response.xpath('''//div[@class='overview']/div[@class="content"]//div[@class="price "]//*[@class="unitPriceValue"]/text()''').extract_first() #totalPrice总价单位:万元 item['totalPrice'] = response.xpath('''//div[@class='overview']/div[@class="content"]//div[@class="price "]/span/text()''').extract_first() item['yrb'] = response.xpath('''//div[@class='area']/div[@class='subInfo']/text()''').extract_first() #基本属性 base_xpath = response.xpath('''//*[@id="introduction"]/div/div/div[1]/div[2]/ul''') item['layout'] = base_xpath.xpath('''./li[1]/text()''').extract_first() item['floor'] = base_xpath.xpath('''./li[2]/text()''').extract_first() item['acreage'] = base_xpath.xpath('''./li[3]/text()''').extract_first() item['structureLayout'] = base_xpath.xpath('''./li[4]/text()''').extract_first() item['inAcreage'] = base_xpath.xpath('''./li[5]/text()''').extract_first() item['architectureType'] = base_xpath.xpath('''./li[6]/text()''').extract_first() item['orientation'] = base_xpath.xpath('''./li[7]/text()''').extract_first() item['buildingStructure'] = base_xpath.xpath('''./li[8]/text()''').extract_first() item['decorationSituation'] = base_xpath.xpath('''./li[9]/text()''').extract_first() item['thRatio'] = base_xpath.xpath('''./li[10]/text()''').extract_first() item['elevator'] = base_xpath.xpath('''./li[11]/text()''').extract_first() item['propertyRightYears'] = base_xpath.xpath('''./li[12]/text()''').extract_first() #交易属性 business_xpath = response.xpath("""//*[@id="introduction"]/div/div/div[2]/div[2]/ul""") item['listingTime'] = business_xpath.xpath("""./li[1]/span[2]/text()""").extract_first() item['tradingRight'] = business_xpath.xpath("""./li[2]/span[2]/text()""").extract_first() item['lastTransaction'] = business_xpath.xpath("""./li[3]/span[2]/text()""").extract_first() item['housingUse'] = business_xpath.xpath("""./li[4]/span[2]/text()""").extract_first() item['housingLife'] = business_xpath.xpath("""./li[5]/span[2]/text()""").extract_first() item['propertyOwnership'] = business_xpath.xpath("""./li[6]/span[2]/text()""").extract_first() item['mortgageInformation'] = business_xpath.xpath("""./li[7]/span[2]/@title""").extract_first() item['housingSpareParts'] = business_xpath.xpath("""./li[8]/span[2]/text()""").extract_first() # item['housingSocietyEncoding'] = business_xpath.xpath("""./li[9]/span[2]/text()""").extract_first() yield(item) ``` ``` ``` ``` ``` ``` ``` ```

scrapy设置代理 IP 无法爬去

middewares里: class ProxyMiddleWare(object): def process_request(self, request, spider): proxy = random.choice(PROXIES) if proxy['user_passwd'] is None: # if 'user_passwd' not in proxy: # 没有代理账户验证的代理使用方式 print('---------------------->>> ', proxy['ip_port']) request.meta['proxy'] = "http://" + proxy['ip_port'] # request.meta['proxy'] = 'http://122.235.168.162:8118' else: # 对账户密码进行base64编码转换 base64_userpasswd = base64.b64encode(proxy['user_passwd'].encode()) # 对应到代理服务器的信令格式里 request.headers['Proxy-Authorization'] = 'Basic ' + base64_userpasswd.decode() request.meta['proxy'] = "http://" + proxy['ip_port'] ------------------------------------------------------------------------------------------------ setting里: PROXIES = [ # {'ip_port': '61.175.192.2:35420'}, # {'ip_port': '221.234.192.10:8010'}, {'ip_port': '221.224.49.194:51127', 'user_passwd': ''}, # {"ip_port": "121.41.8.23:16816", "user_passwd": "morganna_mode_g:ggc22qxp"}, # {'ip_port': '122.224.249.122:8088', 'user_passwd': 'user4:pass4'}, ] --------- DOWNLOADER_MIDDLEWARES = { # 'taobao.middlewares.TaobaoDownloaderMiddleware': 543, # 'taobao.middlewares.SeleniumMiddleware': 543, # 'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware': 751, 'taobao.middlewares.ProxyMiddleWare': 750, 'taobao.middlewares.RandomUserAgent': 400, } 我是这么设置的,而且这个IP用request测试过,返回状态码也是200,但在scrapy里不能正常抓取数据,请教各位大神指点下

Scrapy 中关于 request 和 yield 的问题,求大佬帮忙··

我目前需要爬取某个网页的一些指标,其中有一个是判断网页中是否有robots.txt文件,这个指标我的判断的方法是访问’www.baidu.com/robots.txt‘,根据其response.code判断,但是我想把这个指标和其他指标放到一个item里,请问应该怎么做。 我本想用yield scrapy.request(‘www.baidu.com/robots.txt’)来操作,但是获取不到其返回值,而且yield和return不能同时存在,望各位大佬解答一下,万分感激。 鄙人QQ642026725,欢迎各位大佬指导,萌新不胜感激

scrapy 重定向获取数据

我用scrapy框架 爬取网页将http://.* 重定向到https://.* 如何设置在每次访问的时候将我 爬取的网页上把http变成https啊 因为http没有数据之后https才有

python scrapy 爬虫图片新手求助

求问大神 我这个data她怎么了 报错: 2020-02-07 09:24:55 [scrapy.utils.log] INFO: Scrapy 1.8.0 started (bot: meizitu) 2020-02-07 09:24:55 [scrapy.utils.log] INFO: Versions: lxml 4.5.0.0, libxml2 2.9.5, cssselect 1.1.0, parsel 1.5.2, w3lib 1.21.0, Twisted 19.10.0, Python 3.7.3 (v3.7.3:ef4ec6ed12, Mar 25 2019, 22:22:05) [MSC v.1916 64 bit (AMD64)], pyOpenSSL 19.1.0 (OpenSSL 1.1.1d 10 Sep 2019), cryptography 2.8, Platform Windows-10-10.0.17763-SP0 2020-02-07 09:24:55 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'meizitu', 'NEWSPIDER_MODULE': 'meizitu.spiders', 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['meizitu.spiders']} 2020-02-07 09:24:55 [scrapy.extensions.telnet] INFO: Telnet Password: 0936097982b9bcc8 2020-02-07 09:24:55 [scrapy.middleware] INFO: Enabled extensions: ['scrapy.extensions.corestats.CoreStats', 'scrapy.extensions.telnet.TelnetConsole', 'scrapy.extensions.logstats.LogStats'] 2020-02-07 09:24:56 [scrapy.middleware] INFO: Enabled downloader middlewares: ['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware', 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', 'scrapy.downloadermiddlewares.retry.RetryMiddleware', 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', 'scrapy.downloadermiddlewares.stats.DownloaderStats'] 2020-02-07 09:24:56 [scrapy.middleware] INFO: Enabled spider middlewares: ['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', 'scrapy.spidermiddlewares.referer.RefererMiddleware', 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', 'scrapy.spidermiddlewares.depth.DepthMiddleware'] Unhandled error in Deferred: 2020-02-07 09:24:56 [twisted] CRITICAL: Unhandled error in Deferred: Traceback (most recent call last): File "e:\python3.7\lib\site-packages\scrapy\crawler.py", line 184, in crawl return self._crawl(crawler, *args, **kwargs) File "e:\python3.7\lib\site-packages\scrapy\crawler.py", line 188, in _crawl d = crawler.crawl(*args, **kwargs) File "e:\python3.7\lib\site-packages\twisted\internet\defer.py", line 1613, in unwindGenerator return _cancellableInlineCallbacks(gen) File "e:\python3.7\lib\site-packages\twisted\internet\defer.py", line 1529, in _cancellableInlineCallbacks _inlineCallbacks(None, g, status) --- <exception caught here> --- File "e:\python3.7\lib\site-packages\twisted\internet\defer.py", line 1418, in _inlineCallbacks result = g.send(result) File "e:\python3.7\lib\site-packages\scrapy\crawler.py", line 86, in crawl self.engine = self._create_engine() File "e:\python3.7\lib\site-packages\scrapy\crawler.py", line 111, in _create_engine return ExecutionEngine(self, lambda _: self.stop()) File "e:\python3.7\lib\site-packages\scrapy\core\engine.py", line 70, in __init__ self.scraper = Scraper(crawler) File "e:\python3.7\lib\site-packages\scrapy\core\scraper.py", line 71, in __init__ self.itemproc = itemproc_cls.from_crawler(crawler) File "e:\python3.7\lib\site-packages\scrapy\middleware.py", line 53, in from_crawler return cls.from_settings(crawler.settings, crawler) File "e:\python3.7\lib\site-packages\scrapy\middleware.py", line 34, in from_settings mwcls = load_object(clspath) File "e:\python3.7\lib\site-packages\scrapy\utils\misc.py", line 46, in load_object mod = import_module(module) File "e:\python3.7\lib\importlib\__init__.py", line 127, in import_module return _bootstrap._gcd_import(name[level:], package, level) File "<frozen importlib._bootstrap>", line 1006, in _gcd_import File "<frozen importlib._bootstrap>", line 983, in _find_and_load File "<frozen importlib._bootstrap>", line 967, in _find_and_load_unlocked File "<frozen importlib._bootstrap>", line 677, in _load_unlocked File "<frozen importlib._bootstrap_external>", line 724, in exec_module File "<frozen importlib._bootstrap_external>", line 860, in get_code File "<frozen importlib._bootstrap_external>", line 791, in source_to_code File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed builtins.SyntaxError: unexpected EOF while parsing (pipelines.py, line 22) 2020-02-07 09:24:56 [twisted] CRITICAL: Traceback (most recent call last): File "e:\python3.7\lib\site-packages\twisted\internet\defer.py", line 1418, in _inlineCallbacks result = g.send(result) File "e:\python3.7\lib\site-packages\scrapy\crawler.py", line 86, in crawl self.engine = self._create_engine() File "e:\python3.7\lib\site-packages\scrapy\crawler.py", line 111, in _create_engine return ExecutionEngine(self, lambda _: self.stop()) File "e:\python3.7\lib\site-packages\scrapy\core\engine.py", line 70, in __init__ self.scraper = Scraper(crawler) File "e:\python3.7\lib\site-packages\scrapy\core\scraper.py", line 71, in __init__ self.itemproc = itemproc_cls.from_crawler(crawler) File "e:\python3.7\lib\site-packages\scrapy\middleware.py", line 53, in from_crawler return cls.from_settings(crawler.settings, crawler) File "e:\python3.7\lib\site-packages\scrapy\middleware.py", line 34, in from_settings mwcls = load_object(clspath) File "e:\python3.7\lib\site-packages\scrapy\utils\misc.py", line 46, in load_object mod = import_module(module) File "e:\python3.7\lib\importlib\__init__.py", line 127, in import_module return _bootstrap._gcd_import(name[level:], package, level) File "<frozen importlib._bootstrap>", line 1006, in _gcd_import File "<frozen importlib._bootstrap>", line 983, in _find_and_load File "<frozen importlib._bootstrap>", line 967, in _find_and_load_unlocked File "<frozen importlib._bootstrap>", line 677, in _load_unlocked File "<frozen importlib._bootstrap_external>", line 724, in exec_module File "<frozen importlib._bootstrap_external>", line 860, in get_code File "<frozen importlib._bootstrap_external>", line 791, in source_to_code File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed File "E:\python_work\爬虫\meizitu\meizitu\pipelines.py", line 22 f.write(data) ^ SyntaxError: unexpected EOF while parsing 代码如下: pipeline ``` import requests class MeizituPipeline(object): def process_item(self, item, spider): print("main_title:",item['main_title']) print("main_image:", item['main_image']) print("main_tags:", item['main_tags']) print("main_meta:", item['main_meta']) print("page:", item['main_pagenavi']) url = requests.get(item['main_image']) print(url) try: with open(item['main_pagenavi'] +'.jpg','wb') as f: data = url.read() f.write(data) ``` image.py ``` import scrapy from scrapy.http import response from ..items import MeizituItem class ImageSpider(scrapy.Spider): #定义Spider的名字scrapy crawl meiaitu name = 'SpiderMain' #允许爬虫的域名 allowed_domains = ['www.mzitu.com/203554'] #爬取的首页列表 start_urls = ['https://www.mzitu.com/203554'] #负责提取response的信息 #response代表下载器从start_urls中的url的到的回应 #提取的信息 def parse(self,response): #遍历所有节点 for Main in response.xpath('//div[@class = "main"]'): item = MeizituItem() #匹配所有节点元素/html/body/div[2]/div[1]/div[3]/p/a content = Main.xpath('//div[@class = "content"]') item['main_title'] = content.xpath('./h2/text()') item['main_image'] = content.xpath('./div[@class="main-image"]/p/a/img') item['main_meta'] = content.xpath('./div[@class="main-meta"]/span/text()').extract() item['main_tags'] = content.xpath('./div[@class="main-tags"]/a/text()').extract() item['main_pagenavi'] = content.xpath('./div[@class="main_pagenavi"]/span/text()').extract_first() yield item new_links = response.xpath('.//div[@class="pagenavi"]/a/@href').extract() new_link =new_links[-1] yield scrapy.Request(new_link,callback=self.parse) ``` setting ``` BOT_NAME = 'meizitu' SPIDER_MODULES = ['meizitu.spiders'] NEWSPIDER_MODULE = 'meizitu.spiders' ROBOTSTXT_OBEY = True #配置默认请求头 DEFAULT_REQUEST_HEADERS = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36", 'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8' } ITEM_PIPELINES = { 'meizitu.pipelines.MeizituPipeline':300, } IMAGES_STORE = 'E:\python_work\爬虫\meizitu' IMAGES_MIN_HEIGHT = 1050 IMAGES_MIN_WIDTH = 700 ```

scrapy框架模拟登陆(好像是重定向问题,小白不太懂)

需要登陆的网站是这样的,它在输入用户名和密码之后,提交的表单中,会把用户名和密码和一个随机值混合然后用DNS加密,表单还需要提交在源代码中隐藏的两个随机值,这些我都有办法获取到,问题是,我获取这一个表单之后使用scrapy.FormRequest()提交,但是进入了一个新的网页,表单需要的随机值发生了改变,导致表单错误,无法登陆,请问各位怎么解决? 非常感谢能进来看看的各位,谢谢(我小白一个...)

scrapy - 怎么让scrapy框架产生的日志输出中文

我自已写的日志,中文输出正常,scrapy框架自动生成的日志记录,中文输出是一串字符串,怎么输出为中文? ![图片说明](https://img-ask.csdn.net/upload/201803/07/1520384186_193793.png)

大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了

大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...

在中国程序员是青春饭吗?

今年,我也32了 ,为了不给大家误导,咨询了猎头、圈内好友,以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助,记得帮我点赞哦。 目录: 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时,拿着傲人的工资,想着好好干,以为我们的人生是这样的: 等真到了那一天,你会发现,你的人生很可能是这样的: ...

Java基础知识面试题(2020最新版)

文章目录Java概述何为编程什么是Javajdk1.5之后的三大版本JVM、JRE和JDK的关系什么是跨平台性?原理是什么Java语言有哪些特点什么是字节码?采用字节码的最大好处是什么什么是Java程序的主类?应用程序和小程序的主类有何不同?Java应用程序与小程序之间有那些差别?Java和C++的区别Oracle JDK 和 OpenJDK 的对比基础语法数据类型Java有哪些数据类型switc...

我以为我学懂了数据结构,直到看了这个导图才发现,我错了

数据结构与算法思维导图

技术大佬:我去,你写的 switch 语句也太老土了吧

昨天早上通过远程的方式 review 了两名新来同事的代码,大部分代码都写得很漂亮,严谨的同时注释也很到位,这令我非常满意。但当我看到他们当中有一个人写的 switch 语句时,还是忍不住破口大骂:“我擦,小王,你丫写的 switch 语句也太老土了吧!” 来看看小王写的代码吧,看完不要骂我装逼啊。 private static String createPlayer(PlayerTypes p...

和黑客斗争的 6 天!

互联网公司工作,很难避免不和黑客们打交道,我呆过的两家互联网公司,几乎每月每天每分钟都有黑客在公司网站上扫描。有的是寻找 Sql 注入的缺口,有的是寻找线上服务器可能存在的漏洞,大部分都...

Linux 会成为主流桌面操作系统吗?

整理 |屠敏出品 | CSDN(ID:CSDNnews)2020 年 1 月 14 日,微软正式停止了 Windows 7 系统的扩展支持,这意味着服役十年的 Windows 7,属于...

讲一个程序员如何副业月赚三万的真实故事

loonggg读完需要3分钟速读仅需 1 分钟大家好,我是你们的校长。我之前讲过,这年头,只要肯动脑,肯行动,程序员凭借自己的技术,赚钱的方式还是有很多种的。仅仅靠在公司出卖自己的劳动时...

学习总结之HTML5剑指前端(建议收藏,图文并茂)

前言学习《HTML5与CSS3权威指南》这本书很不错,学完之后我颇有感触,觉得web的世界开明了许多。这本书是需要有一定基础的web前端开发工程师。这本书主要学习HTML5和css3,看...

女程序员,为什么比男程序员少???

昨天看到一档综艺节目,讨论了两个话题:(1)中国学生的数学成绩,平均下来看,会比国外好?为什么?(2)男生的数学成绩,平均下来看,会比女生好?为什么?同时,我又联想到了一个技术圈经常讨...

搜狗输入法也在挑战国人的智商!

故事总是一个接着一个到来...上周写完《鲁大师已经彻底沦为一款垃圾流氓软件!》这篇文章之后,鲁大师的市场工作人员就找到了我,希望把这篇文章删除掉。经过一番沟通我先把这篇文章从公号中删除了...

副业收入是我做程序媛的3倍,工作外的B面人生是怎样的?

提到“程序员”,多数人脑海里首先想到的大约是:为人木讷、薪水超高、工作枯燥…… 然而,当离开工作岗位,撕去层层标签,脱下“程序员”这身外套,有的人生动又有趣,马上展现出了完全不同的A/B面人生! 不论是简单的爱好,还是正经的副业,他们都干得同样出色。偶尔,还能和程序员的特质结合,产生奇妙的“化学反应”。 @Charlotte:平日素颜示人,周末美妆博主 大家都以为程序媛也个个不修边幅,但我们也许...

MySQL数据库面试题(2020最新版)

文章目录数据库基础知识为什么要使用数据库什么是SQL?什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式?分别有什么区别?数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别?InnoDB引擎的4大特性存储引擎选择索引什么是索引?索引有哪些优缺点?索引使用场景(重点)...

新一代神器STM32CubeMonitor介绍、下载、安装和使用教程

关注、星标公众号,不错过精彩内容作者:黄工公众号:strongerHuang最近ST官网悄悄新上线了一款比较强大的工具:STM32CubeMonitor V1.0.0。经过我研究和使用之...

记一次腾讯面试,我挂在了最熟悉不过的队列上……

腾讯后台面试,面试官问:如何自己实现队列?

如果你是老板,你会不会踢了这样的员工?

有个好朋友ZS,是技术总监,昨天问我:“有一个老下属,跟了我很多年,做事勤勤恳恳,主动性也很好。但随着公司的发展,他的进步速度,跟不上团队的步伐了,有点...

我入职阿里后,才知道原来简历这么写

私下里,有不少读者问我:“二哥,如何才能写出一份专业的技术简历呢?我总感觉自己写的简历太烂了,所以投了无数份,都石沉大海了。”说实话,我自己好多年没有写过简历了,但我认识的一个同行,他在阿里,给我说了一些他当年写简历的方法论,我感觉太牛逼了,实在是忍不住,就分享了出来,希望能够帮助到你。 01、简历的本质 作为简历的撰写者,你必须要搞清楚一点,简历的本质是什么,它就是为了来销售你的价值主张的。往深...

冒泡排序动画(基于python pygame实现)

本项目效果初始截图如下 动画见本人b站投稿:https://www.bilibili.com/video/av95491382 本项目对应github地址:https://github.com/BigShuang python版本:3.6,pygame版本:1.9.3。(python版本一致应该就没什么问题) 样例gif如下 ======================= 大爽歌作,mad

Redis核心原理与应用实践

Redis核心原理与应用实践 在很多场景下都会使用Redis,但是到了深层次的时候就了解的不是那么深刻,以至于在面试的时候经常会遇到卡壳的现象,学习知识要做到系统和深入,不要把Redis想象的过于复杂,和Mysql一样,是个读取数据的软件。 有一个理解是Redis是key value缓存服务器,更多的优点在于对value的操作更加丰富。 安装 yum install redis #yum安装 b...

现代的 “Hello, World”,可不仅仅是几行代码而已

作者 |Charles R. Martin译者 | 弯月,责编 | 夕颜头图 |付费下载自视觉中国出品 | CSDN(ID:CSDNnews)新手...

带了6个月的徒弟当了面试官,而身为高级工程师的我天天修Bug......

即将毕业的应届毕业生一枚,现在只拿到了两家offer,但最近听到一些消息,其中一个offer,我这个组据说客户很少,很有可能整组被裁掉。 想问大家: 如果我刚入职这个组就被裁了怎么办呢? 大家都是什么时候知道自己要被裁了的? 面试软技能指导: BQ/Project/Resume 试听内容: 除了刷题,还有哪些技能是拿到offer不可或缺的要素 如何提升面试软实力:简历, 行为面试,沟通能...

!大部分程序员只会写3年代码

如果世界上都是这种不思进取的软件公司,那别说大部分程序员只会写 3 年代码,恐怕就没有程序员这种职业。

离职半年了,老东家又发 offer,回不回?

有小伙伴问松哥这个问题,他在上海某公司,在离职了几个月后,前公司的领导联系到他,希望他能够返聘回去,他很纠结要不要回去? 俗话说好马不吃回头草,但是这个小伙伴既然感到纠结了,我觉得至少说明了两个问题:1.曾经的公司还不错;2.现在的日子也不是很如意。否则应该就不会纠结了。 老实说,松哥之前也有过类似的经历,今天就来和小伙伴们聊聊回头草到底吃不吃。 首先一个基本观点,就是离职了也没必要和老东家弄的苦...

2020阿里全球数学大赛:3万名高手、4道题、2天2夜未交卷

阿里巴巴全球数学竞赛( Alibaba Global Mathematics Competition)由马云发起,由中国科学技术协会、阿里巴巴基金会、阿里巴巴达摩院共同举办。大赛不设报名门槛,全世界爱好数学的人都可参与,不论是否出身数学专业、是否投身数学研究。 2020年阿里巴巴达摩院邀请北京大学、剑桥大学、浙江大学等高校的顶尖数学教师组建了出题组。中科院院士、美国艺术与科学院院士、北京国际数学...

为什么你不想学习?只想玩?人是如何一步一步废掉的

不知道是不是只有我这样子,还是你们也有过类似的经历。 上学的时候总有很多光辉历史,学年名列前茅,或者单科目大佬,但是虽然慢慢地长大了,你开始懈怠了,开始废掉了。。。 什么?你说不知道具体的情况是怎么样的? 我来告诉你: 你常常潜意识里或者心理觉得,自己真正的生活或者奋斗还没有开始。总是幻想着自己还拥有大把时间,还有无限的可能,自己还能逆风翻盘,只不是自己还没开始罢了,自己以后肯定会变得特别厉害...

HTTP与HTTPS的区别

面试官问HTTP与HTTPS的区别,我这样回答让他竖起大拇指!

程序员毕业去大公司好还是小公司好?

虽然大公司并不是人人都能进,但我仍建议还未毕业的同学,尽力地通过校招向大公司挤,但凡挤进去,你这一生会容易很多。 大公司哪里好?没能进大公司怎么办?答案都在这里了,记得帮我点赞哦。 目录: 技术氛围 内部晋升与跳槽 啥也没学会,公司倒闭了? 不同的人脉圈,注定会有不同的结果 没能去大厂怎么办? 一、技术氛围 纵观整个程序员技术领域,哪个在行业有所名气的大牛,不是在大厂? 而且众所...

男生更看重女生的身材脸蛋,还是思想?

往往,我们看不进去大段大段的逻辑。深刻的哲理,往往短而精悍,一阵见血。问:产品经理挺漂亮的,有点心动,但不知道合不合得来。男生更看重女生的身材脸蛋,还是...

程序员为什么千万不要瞎努力?

本文作者用对比非常鲜明的两个开发团队的故事,讲解了敏捷开发之道 —— 如果你的团队缺乏统一标准的环境,那么即使勤劳努力,不仅会极其耗时而且成果甚微,使用...

为什么程序员做外包会被瞧不起?

二哥,有个事想询问下您的意见,您觉得应届生值得去外包吗?公司虽然挺大的,中xx,但待遇感觉挺低,马上要报到,挺纠结的。

立即提问
相关内容推荐