爬取网页只能读取到“请刷新页面或按键盘F5”

以下是源码

 import urllib
from urllib import request
import re
import random
url = "http://x77558.net/bbs/thread.php?fid=6"

user_agent = [
    "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",

    "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",

    "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0",

    "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko",

    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",

    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)",

    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)",

    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)",

    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",

    "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",

    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",

    "Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",

    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",

    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)",

    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)",

    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",

    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)",

    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)",

    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)",

    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser)",

    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",

    "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",

    "Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",

    "Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",

    "Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",

    "MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",

    "Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10",

    "Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13",

    "Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1+ (KHTML, like Gecko) Version/6.0.0.337 Mobile Safari/534.1+",

    "Mozilla/5.0 (hp-tablet; Linux; hpwOS/3.0.0; U; en-US) AppleWebKit/534.6 (KHTML, like Gecko) wOSBrowser/233.70 Safari/534.6 TouchPad/1.0",

    "Mozilla/5.0 (SymbianOS/9.4; Series60/5.0 NokiaN97-1/20.0.019; Profile/MIDP-2.1 Configuration/CLDC-1.1) AppleWebKit/525 (KHTML, like Gecko) BrowserNG/7.1.18124",

    "Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; HTC; Titan)",

    "UCWEB7.0.2.37/28/999",

    "NOKIA5700/ UCWEB7.0.2.37/28/999",

    "Openwave/ UCWEB7.0.2.37/28/999",

    "Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/999",

    # iPhone 6:

    "Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25",
]


# read the url and return a list named page_data
def read_url(url,page_data,headers):
    req = urllib.request.Request(url, headers=headers)
    for i in range(3):
        web_data = urllib.request.urlopen(req).read()
        web_data = web_data.decode("gbk",errors = 'ignore')# the second parament can solver the problem that in 
    # error decode
    page_data.append(str(web_data))
    return page_data


# find taget in the page , used re , an return a list 
def find_tag(tagstr,idx,data,lists):
    lists.append(re.findall(tagstr,data[idx])) 
    return lists

# read the list to download the photo which type is jpg
def download_jpg(lists,path):
    for lis in lists:
        for l in lis:
            print(l)
            name = l.split("/")[-1]
            print(name)
            if ".jpg" or ".png" in l:
                if "js" in l:
                    continue
                elif "http" in l:
                    # sometimes met a missing name 403 , the solve is in the another file named download.py 
                    urllib.request.urlretrieve(l,path+name)
                else:
                    continue

tagstr = '<a title="开放主题" href="(.*?)"'

page_data = []
img_url_list = []
url_lsit = []
img_list = []

while len(page_data)==0 or page_data[-1]=="请刷新页面或按键盘F5":
    headers = {'User-Agent': random.choice(user_agent)}
    read_url(url,page_data,headers)
    print(page_data[-1])

1个回答

建议使用selenium模拟爬取

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
网页源代码中没有网页信息如何爬取。

在帮老师爬取好专家网页时, 第一发现应该使用了和携程类似的ajax网页技术吧,小白不太了解,点击下一页时,url不改变。 第二网页源代码中没有网页信息如何爬取,网页中的专家姓名等信息在网页源代码中压根找不到 附上网址http://hzj.tech110.net/expert/expsearch.jspx?expcode=1&flag=2# 谢谢啦

python爬取大量网页出现卡顿问题

用python爬取新浪新闻,在爬到260多篇的时候程序就会卡在正则表达式匹配处,单独爬取该网页没有问题,求问原因 import urllib2 import urllib import re import time from bs4 import BeautifulSoup def getContent(url,index): headers = {'User-Agent':'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'} myRequest = urllib2.Request(url,headers = headers) for tries in range(5): try: myResponse = urllib2.urlopen(myRequest) myPage = myResponse.read() time.sleep(1) break except: if tries < 5: print 'Attempt to reconnect' continue else: print 'connection failed' textContent = re.findall('<div class="article article_16" id=".*?">(.*?)<p class="article-editor">',myPage,re.S) while len(textContent) == 0: textContent = re.findall('<div class="article article_16" id=".*?">(.*?)<p class="article-editor">',myPage,re.S) retContent = re.findall('<p.{0,100}?>(.*?)</p>',textContent[0],re.S) while len(retContent) == 0: retContent = re.findall('<p.{0,100}?>(.*?)</p>',textContent[0],re.S) #print len(retContent) file = open(str(index)+'.txt','w') for text in retContent: file.write(text) file.close() print str(index)+'.txt has been written' #def crawler_urllist(start,end,typeNum):#para type : string #create date list partialUrl = ['http://roll.news.sina.com.cn/interface/rollnews_ch_out_interface.php?col=','&spec=&type=&date=','&ch=01&k=&offset_page=0&offset_num=0&num=40&asc=&page='] format = "%Y-%m-%d" beginDate = datetime.datetime.strptime(start,format) endDate = datetime.datetime.strptime(end,format) oneDay = datetime.timedelta(days = 1) diffDay = endDate - beginDate dateList = [] for i in range(diffDay.days + 1): dateList.append(datetime.datetime.strftime(beginDate,format)) beginDate += oneDay retList = [] for i in range(len(dateList)): url = partialUrl[0] + typeNum + partialUrl[1] + dateList[i] + partialUrl[2] page = 0 while True: page += 1 continueFlag,myPage = getContent(url + str(self.page)) print(url + str(self.page)) #print self.page #print self.initUrl + str(self.page) if continueFlag: self.pages.append(myPage) else: self.page = 0 break else: time.sleep(1) date_url_list = open(typeNum + '.txt','w') for item in retList: date_url_list.write(item) date_url_list.write('\n') date_url_list.close() return type + '.txt' i = 1 urlFile = open('DomesticNewsUrlList.txt','r') naviurlList = urlFile.readlines() urlList = list(set(naviurlList))[0].split() #urllist1 = urlList[0:5] for url in urlList: getContent(url,i) #time.sleep(1) i += 1 ``` ``` ``` ```

关于爬虫爬取动态网页的问题

今天爬学院的新闻网页,是aspx动态网页,琢磨了半天,发现只能使用cookie进行模拟登录 才会显示正确的内容,且只能将cookie写在header里如 ``` headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36', 'Connection': 'keep-alive', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8', 'Cookie': 'ASP.NET_SessionId=pbg5q555fmojkk55htfawlnx'} ``` 再 ``` r = requests.get(url, headers=headers) ``` 才能正确显示,但是直接使用却没法爬取,这是因为什么 ``` cookies = {'Cookie': 'ASP.NET_SessionId=pbg5q555fmojkk55htfawlnx'} r = requests.get(url, cookies=cookies) ``` 还有一个问题,得到这个页面后,用lxml,html5lib,html.parser解析得到的都不同,这又是因为什么。。

python 爬取网页的时候 如何获得网页上面XHR的文件。

如题![图片说明](https://img-ask.csdn.net/upload/201904/25/1556200779_218864.png)

Python 爬虫爬取一个网站的时候成功,但爬取多个网站就404

![图片说明](https://img-ask.csdn.net/upload/202003/21/1584758718_98632.png) ![图片说明](https://img-ask.csdn.net/upload/202003/21/1584758742_33180.png) ![图片说明](https://img-ask.csdn.net/upload/202003/21/1584758754_204806.png) 第一张图我是把txt文件中第一个网址拿出来,然后保存图片成功,但是当我读取txt文件,准备开始批量爬取的时候(图二),状态码为404,单独爬取一个网站的时候没问题,一放在多个网站中就报错,怎么办?

python网页爬取信息,多个正则表达式爬取,结果出现有一个空值

import requests import re #请求头 header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36'} #需要爬取的网页 url = 'http://www.114best.com/tel/' #爬取网页信息 resp_url = requests.get(url,headers=header).content.decode().replace('\n','').replace('\t','').replace(' ','').replace('\r','') print(resp_url) #清洗 pat1 =r'<tr><td><ahref="/tel/[\s\S]*?/">(.*?)</a></td><td>[\s\S]*?</td></tr>|<tr><td>(.*?)</td><td>[\s\S]*?</td></tr>' pat = re.compile(pat1,re.S) resp_pat1 =pat.findall(resp_url) print(resp_pat1) ![图片说明](https://img-ask.csdn.net/upload/201905/28/1559015017_543646.png)

python 爬取表格 获取不到数据

我使用python爬取网页表格数据的时候使用 request.get获取不到页面内容。 爬取网址为:http://data.10jqka.com.cn/rank/cxg/board/4/field/stockcode/order/desc/page/2/ajax/1/free/1/ 这是Elements ![图片说明](https://img-ask.csdn.net/upload/202002/17/1581950847_829340.jpg) ``` import os import requests from lxml import etree url='http://data.10jqka.com.cn/rank/cxg/board/4/field/stockcode/order/desc/page/2/ajax/1/free/1/' #url1='http://data.10jqka.com.cn/rank/cxg/' headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.106 Safari/537.36'} res = requests.get(url, headers=headers) res_elements = etree.HTML(res.text) table = res_elements.xpath('/html/body/table') print(table) table = etree.tostring(table[0], encoding='utf-8').decode() df = pd.read_html(table, encoding='utf-8', header=0)[0] results = list(df.T.to_dict().values()) # 转换成列表嵌套字典的格式 df.to_csv("std.csv", index=False) ``` res.text 里的数据为 (不包含列表数据) ``` '<html><body>\n <script type="text/javascript" src="//s.thsi.cn/js/chameleon/chameleon.min.1582008.js"></script> <script src="//s.thsi.cn/js/chameleon/chameleon.min.1582008.js" type="text/javascript"></script>\n <script language="javascript" type="text/javascript">\n window.location.href="http://data.10jqka.com.cn/rank/cxg/board/4/field/stockcode/order/desc/page/2/ajax/1/free/1/";\n </script>\n </body></html>\n' ```

使用python requests 利用代理 爬取网站内容时候,返回的网页内容是代理ip的网站内容

proxies={ "http": "http://61.135.217.7:80", "https":"https://113.108.130.210:808" } 请求方式: requests.get(url="a 网址",proxies=proxies} 代理ip来源于 http://www.xicidaili.com/nn/ 按照这样的格式爬取的数据,结果爬取的到的内容不是a网址的内容,而是代理中 ['http']的代理的网页内容。 如果 requests.get(url="a 网址",proxies=None} 不使用代理,则可以获取到网页的正确的内容? 不知道怎么回事

<python>python爬取智联json页面,但是爬回来的数据不全?

1.智联一页有大概100条数据,但是爬回来只有20条 代码: ![图片说明](https://img-ask.csdn.net/upload/201905/07/1557194839_124865.png) https://img-ask.csdn.net/upload/201905/07/1557194839_124865.png 主函数: ![图片说明](https://img-ask.csdn.net/upload/201905/07/1557194939_248256.png) depth是爬取的页数,1页的时候只能在数据库看到20条记录,当把depth改成10的时候可以看到1000条信息,但是之后depth再增加(如改成20,30等)数据也不会再增加了,一直是1000条信息 ![图片说明](https://img-ask.csdn.net/upload/201905/07/1557195117_222005.png) 我觉得不是存储的问题,因为第一个爬取的函数返回来的页面就已经少了,只有20条,麻烦帮忙看一下这个爬取函数有什么问题,谢谢啦

爬虫为什么只能爬到一部分内容?

python爬虫爬取猫眼电影Top100,每一页有10个电影,但是爬虫只能爬取第一个,后面都爬不到不止是为什么 代码如下,大神帮忙看看,感激不尽 import requests from requests.exceptions import RequestException import re def get_one_page(url): try: headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'} response=requests.get(url,headers=headers) if response.status_code==200: return response.text return None except RequestException: return None def parse_one_page(html): pattern=re.compile('<dd>.*?board-index-1">(\d+)</i>.*?data-src="(.*?)".*?/>.*?name"><a.*?>(.*?)</a>'+ '.*?star">(.*?)</p>.*?releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>',re.S) items=re.findall(pattern,html) print(items) def main(): url='http://maoyan.com/board/4?' html=get_one_page(url) parse_one_page(html) if __name__=='__main__': main() 结果显示 C:\Users\Administrator\python37\python.exe C:/Users/Administrator/PycharmProjects/Maoyantop100/spder.py [('1', 'https://p1.meituan.net/movie/20803f59291c47e1e116c11963ce019e68711.jpg@160w_220h_1e_1c', '霸王别姬', '\n 主演:张国荣,张丰毅,巩俐\n ', '上映时间:1993-01-01', '9.', '5')] Process finished with exit code 0

用requests_html包爬取网页数据时session.get()缺少位置参数

在利用requests_html包爬取网页数据时 当用session.get()把连接对应当网页取回来时, 出现--------------------------------------------------------------------------- TypeError Traceback (most recent call last) <ipython-input-17-dd04b69b9201> in <module>() ----> 1 r=session.get(url) TypeError: get() missing 1 required positional argument: 'url' 代码如下: ``` from requests_html import HTMLSession session=HTMLSession url='https://www.jianshu.com/p/85f4624485b9' r=session.get(url) ``` ![图片说明](https://img-ask.csdn.net/upload/201902/27/1551275224_56405.png) 求大神指点,谢谢!

求教如何通过python抓取网页中表格信息

刚刚开始学习python 不清楚如何通过python抓取网页中的表格信息 比如给定一个student.html 里面有学号、姓名、性别等信息 怎么样写才能够输入学号 读出其他信息?

请问如何用python实现PC端QQ的基本功能?可以用爬虫来爬取网页版QQ吗?

想写一个用python实现QQ各种功能的程序,主要有:登录;收发消息(不是自动回复,是即时会话);查找联系人等等。 在网上查找了很多,发现python中用于QQ的库似乎只有qqbot,但它是自动聊天机器人,不是我想要功能。 请问有什么方法可以实现这些功能? 像微信有itchat,wxpy这样的库可以使用,QQ怎样实现类似的效果? 我不懂爬虫,可不可以用爬虫的方式实现?比较急,十分感谢!

java通过jsoup怎么爬取动态加载的 内容

要爬取的url:http://www.zdic.net/c/cipy/ci/?z=啊 要爬取的标签:![图片说明](https://img-ask.csdn.net/upload/201804/10/1523348192_354488.png) 但是在控制台的Elements里可以看到,如![图片说明](https://img-ask.csdn.net/upload/201804/10/1523348522_783648.png) 后来发现 这些数据来源于一个url请求:![图片说明](https://img-ask.csdn.net/upload/201804/10/1523348564_102493.png) 该怎么爬取这个zdiv这个标签的内容,,,

页面刷新问题,页面缓存问题

项目是使用hibernate和struts2开发的,我进行更新数据库操作的时候,据库内容更改了,但是网页页面上的数据还是原来旧数据,没有和数据库同步。F5刷新也没有用,我按照网上查询了 清除缓存的解决方法(如下图)加了上也没有用,还有什么解决办法吗,求解答 ![图片说明](https://img-ask.csdn.net/upload/201802/27/1519747005_147404.png)

如何用Java爬虫获取网页中的文本内容?

如何用Java爬虫获取一个网页中的文本内容(不是源代码,是内容)? 求代码!!!!

用web-harvest爬取数据,爬取结果为空

本人初次使用爬虫软件web-harvest ,写好了配置文件,运行的时候语法没报错 但是就是读取不到内容 <file action="write" path="douban/catalog.xml" charset="utf-8"> <![CDATA[ <catalog> ]]> <loop item="item" index="i"> <list> <var name="hotactivity" /> </list> <body> <xquery> <xq-param name="item" type="node()"> <var name="item" /> </xq-param> <xq-expression><![CDATA[ declare variable $item as node() external; let $url := data($item/a) return <activity> <name>{normalize-space($tittle)}</name> <url>{normalize-space($href)}</url> </activity> ]]></xq-expression> </xquery> </body> </loop> <![CDATA[ </catalog> ]]> </file> 个人认为读取到的数据没有写入xml文件中,不知到对不对,求大神指导。

python3 网页抓取转码问题,求赐教

用chardet返回网页类型,当返回 ascii、 windows-1254 None 的时候转码utf-8不成功,输出中文出现乱码,请问要怎么实现转码?谢谢大神赐教!

如何用python爬取video标签中的音频文件?

例如要爬取http://dict.youdao.com/dictvoice?audio=boy中的音频文件,但看到是在video标签中,如何用python程序爬取?

大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了

大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...

在中国程序员是青春饭吗?

今年,我也32了 ,为了不给大家误导,咨询了猎头、圈内好友,以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助,记得帮我点赞哦。 目录: 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时,拿着傲人的工资,想着好好干,以为我们的人生是这样的: 等真到了那一天,你会发现,你的人生很可能是这样的: ...

程序员请照顾好自己,周末病魔差点一套带走我。

程序员在一个周末的时间,得了重病,差点当场去世,还好及时挽救回来了。

技术大佬:我去,你写的 switch 语句也太老土了吧

昨天早上通过远程的方式 review 了两名新来同事的代码,大部分代码都写得很漂亮,严谨的同时注释也很到位,这令我非常满意。但当我看到他们当中有一个人写的 switch 语句时,还是忍不住破口大骂:“我擦,小王,你丫写的 switch 语句也太老土了吧!” 来看看小王写的代码吧,看完不要骂我装逼啊。 private static String createPlayer(PlayerTypes p...

上班一个月,后悔当初着急入职的选择了

最近有个老铁,告诉我说,上班一个月,后悔当初着急入职现在公司了。他之前在美图做手机研发,今年美图那边今年也有一波组织优化调整,他是其中一个,在协商离职后,当时捉急找工作上班,因为有房贷供着,不能没有收入来源。所以匆忙选了一家公司,实际上是一个大型外包公司,主要派遣给其他手机厂商做外包项目。**当时承诺待遇还不错,所以就立马入职去上班了。但是后面入职后,发现薪酬待遇这块并不是HR所说那样,那个HR自...

女程序员,为什么比男程序员少???

昨天看到一档综艺节目,讨论了两个话题:(1)中国学生的数学成绩,平均下来看,会比国外好?为什么?(2)男生的数学成绩,平均下来看,会比女生好?为什么?同时,我又联想到了一个技术圈经常讨...

为什么本科以上学历的人只占中国人口的5%,但感觉遍地都是大学生?

中国大学生占总人口不到5% 2017年,中国整体的本科率仅有5.9%;如果算上研究生,这一比例可以进一步上升到6.5% 为什么在国家统计局推出的这份年鉴中,学历的最高一阶就是到研究生,而没有进一步再统计博士生的数量的。 原因其实并不难理解,相比全国和各省整体人口体量,博士生的占比非常之低,属于绝对意义上的小概率样本。 这一点,我们从上表中的各省研究生占比情况也可以看出端倪。除北京、天津、上海三...

副业收入是我做程序媛的3倍,工作外的B面人生是怎样的?

提到“程序员”,多数人脑海里首先想到的大约是:为人木讷、薪水超高、工作枯燥…… 然而,当离开工作岗位,撕去层层标签,脱下“程序员”这身外套,有的人生动又有趣,马上展现出了完全不同的A/B面人生! 不论是简单的爱好,还是正经的副业,他们都干得同样出色。偶尔,还能和程序员的特质结合,产生奇妙的“化学反应”。 @Charlotte:平日素颜示人,周末美妆博主 大家都以为程序媛也个个不修边幅,但我们也许...

MySQL数据库面试题(2020最新版)

文章目录数据库基础知识为什么要使用数据库什么是SQL?什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式?分别有什么区别?数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别?InnoDB引擎的4大特性存储引擎选择索引什么是索引?索引有哪些优缺点?索引使用场景(重点)...

如果你是老板,你会不会踢了这样的员工?

有个好朋友ZS,是技术总监,昨天问我:“有一个老下属,跟了我很多年,做事勤勤恳恳,主动性也很好。但随着公司的发展,他的进步速度,跟不上团队的步伐了,有点...

我入职阿里后,才知道原来简历这么写

私下里,有不少读者问我:“二哥,如何才能写出一份专业的技术简历呢?我总感觉自己写的简历太烂了,所以投了无数份,都石沉大海了。”说实话,我自己好多年没有写过简历了,但我认识的一个同行,他在阿里,给我说了一些他当年写简历的方法论,我感觉太牛逼了,实在是忍不住,就分享了出来,希望能够帮助到你。 01、简历的本质 作为简历的撰写者,你必须要搞清楚一点,简历的本质是什么,它就是为了来销售你的价值主张的。往深...

程序员写出这样的代码,能不挨骂吗?

当你换槽填坑时,面对一个新的环境。能够快速熟练,上手实现业务需求是关键。但是,哪些因素会影响你快速上手呢?是原有代码写的不够好?还是注释写的不够好?昨夜...

外包程序员的幸福生活

今天给你们讲述一个外包程序员的幸福生活。男主是Z哥,不是在外包公司上班的那种,是一名自由职业者,接外包项目自己干。接下来讲的都是真人真事。 先给大家介绍一下男主,Z哥,老程序员,是我十多年前的老同事,技术大牛,当过CTO,也创过业。因为我俩都爱好喝酒、踢球,再加上住的距离不算远,所以一直也断断续续的联系着,我对Z哥的状况也有大概了解。 Z哥几年前创业失败,后来他开始干起了外包,利用自己的技术能...

带了6个月的徒弟当了面试官,而身为高级工程师的我天天修Bug......

即将毕业的应届毕业生一枚,现在只拿到了两家offer,但最近听到一些消息,其中一个offer,我这个组据说客户很少,很有可能整组被裁掉。 想问大家: 如果我刚入职这个组就被裁了怎么办呢? 大家都是什么时候知道自己要被裁了的? 面试软技能指导: BQ/Project/Resume 试听内容: 除了刷题,还有哪些技能是拿到offer不可或缺的要素 如何提升面试软实力:简历, 行为面试,沟通能...

优雅的替换if-else语句

场景 日常开发,if-else语句写的不少吧??当逻辑分支非常多的时候,if-else套了一层又一层,虽然业务功能倒是实现了,但是看起来是真的很不优雅,尤其是对于我这种有强迫症的程序"猿",看到这么多if-else,脑袋瓜子就嗡嗡的,总想着解锁新姿势:干掉过多的if-else!!!本文将介绍三板斧手段: 优先判断条件,条件不满足的,逻辑及时中断返回; 采用策略模式+工厂模式; 结合注解,锦...

离职半年了,老东家又发 offer,回不回?

有小伙伴问松哥这个问题,他在上海某公司,在离职了几个月后,前公司的领导联系到他,希望他能够返聘回去,他很纠结要不要回去? 俗话说好马不吃回头草,但是这个小伙伴既然感到纠结了,我觉得至少说明了两个问题:1.曾经的公司还不错;2.现在的日子也不是很如意。否则应该就不会纠结了。 老实说,松哥之前也有过类似的经历,今天就来和小伙伴们聊聊回头草到底吃不吃。 首先一个基本观点,就是离职了也没必要和老东家弄的苦...

记录下入职中软一个月(外包华为)

我在年前从上一家公司离职,没想到过年期间疫情爆发,我也被困在家里,在家呆着的日子让人很焦躁,于是我疯狂的投简历,看面试题,希望可以进大公司去看看。 我也有幸面试了我觉得还挺大的公司的(虽然不是bat之类的大厂,但是作为一名二本计算机专业刚毕业的大学生bat那些大厂我连投简历的勇气都没有),最后选择了中软,我知道这是一家外包公司,待遇各方面甚至不如我的上一家公司,但是对我而言这可是外包华为,能...

为什么程序员做外包会被瞧不起?

二哥,有个事想询问下您的意见,您觉得应届生值得去外包吗?公司虽然挺大的,中xx,但待遇感觉挺低,马上要报到,挺纠结的。

当HR压你价,说你只值7K,你该怎么回答?

当HR压你价,说你只值7K时,你可以流畅地回答,记住,是流畅,不能犹豫。 礼貌地说:“7K是吗?了解了。嗯~其实我对贵司的面试官印象很好。只不过,现在我的手头上已经有一份11K的offer。来面试,主要也是自己对贵司挺有兴趣的,所以过来看看……”(未完) 这段话主要是陪HR互诈的同时,从公司兴趣,公司职员印象上,都给予对方正面的肯定,既能提升HR的好感度,又能让谈判气氛融洽,为后面的发挥留足空间。...

面试:第十六章:Java中级开发

HashMap底层实现原理,红黑树,B+树,B树的结构原理 Spring的AOP和IOC是什么?它们常见的使用场景有哪些?Spring事务,事务的属性,传播行为,数据库隔离级别 Spring和SpringMVC,MyBatis以及SpringBoot的注解分别有哪些?SpringMVC的工作原理,SpringBoot框架的优点,MyBatis框架的优点 SpringCould组件有哪些,他们...

面试阿里p7,被按在地上摩擦,鬼知道我经历了什么?

面试阿里p7被问到的问题(当时我只知道第一个):@Conditional是做什么的?@Conditional多个条件是什么逻辑关系?条件判断在什么时候执...

Python爬虫,高清美图我全都要(彼岸桌面壁纸)

爬取彼岸桌面网站较为简单,用到了requests、lxml、Beautiful Soup4

无代码时代来临,程序员如何保住饭碗?

编程语言层出不穷,从最初的机器语言到如今2500种以上的高级语言,程序员们大呼“学到头秃”。程序员一边面临编程语言不断推陈出新,一边面临由于许多代码已存在,程序员编写新应用程序时存在重复“搬砖”的现象。 无代码/低代码编程应运而生。无代码/低代码是一种创建应用的方法,它可以让开发者使用最少的编码知识来快速开发应用程序。开发者通过图形界面中,可视化建模来组装和配置应用程序。这样一来,开发者直...

面试了一个 31 岁程序员,让我有所触动,30岁以上的程序员该何去何从?

最近面试了一个31岁8年经验的程序猿,让我有点感慨,大龄程序猿该何去何从。

6年开发经验女程序员,面试京东Java岗要求薪资28K

写在开头: 上周面试了一位女程序员,上午10::30来我们部门面试,2B哥接待了她.来看看她的简历: 个人简历 个人技能: ● 熟悉spring mvc 、spring、mybatis 等框架 ● 熟悉 redis 、rocketmq、dubbo、zookeeper、netty 、nginx、tomcat、mysql。 ● 阅读过juc 中的线程池、锁的源...

大三实习生,字节跳动面经分享,已拿Offer

说实话,自己的算法,我一个不会,太难了吧

程序员垃圾简历长什么样?

已经连续五年参加大厂校招、社招的技术面试工作,简历看的不下于万份 这篇文章会用实例告诉你,什么是差的程序员简历! 疫情快要结束了,各个公司也都开始春招了,作为即将红遍大江南北的新晋UP主,那当然要为小伙伴们做点事(手动狗头)。 就在公众号里公开征简历,义务帮大家看,并一一点评。《启舰:春招在即,义务帮大家看看简历吧》 一石激起千层浪,三天收到两百多封简历。 花光了两个星期的所有空闲时...

Java岗开发3年,公司临时抽查算法,离职后这几题我记一辈子

前几天我们公司做了一件蠢事,非常非常愚蠢的事情。我原以为从学校出来之后,除了找工作有测试外,不会有任何与考试有关的事儿。 但是,天有不测风云,公司技术总监、人事总监两位大佬突然降临到我们事业线,叫上我老大,给我们组织了一场别开生面的“考试”。 那是一个风和日丽的下午,我翘着二郎腿,左手端着一杯卡布奇诺,右手抓着我的罗技鼠标,滚动着轮轴,穿梭在头条热点之间。 “淡黄的长裙~蓬松的头发...

大牛都会用的IDEA调试技巧!!!

导读 前天面试了一个985高校的实习生,问了他平时用什么开发工具,他想也没想的说IDEA,于是我抛砖引玉的问了一下IDEA的调试用过吧,你说说怎么设置断点...

都前后端分离了,咱就别做页面跳转了!统统 JSON 交互

文章目录1. 无状态登录1.1 什么是有状态1.2 什么是无状态1.3 如何实现无状态1.4 各自优缺点2. 登录交互2.1 前后端分离的数据交互2.2 登录成功2.3 登录失败3. 未认证处理方案4. 注销登录 这是本系列的第四篇,有小伙伴找不到之前文章,松哥给大家列一个索引出来: 挖一个大坑,Spring Security 开搞! 松哥手把手带你入门 Spring Security,别再问密...

立即提问
相关内容推荐