python 在用selenium的时候 使用driver.page_source

首先请问这个page_source 得到的是页面的源代码吗? 为什么我打印出啦只有一部分,不是全部的源码呢

1个回答

我这里是
只要是肉眼能看到的
代码都能打印出来

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
请问这个python里selenium获取异步加载的问题
我是新手,请问个小白的问题: 用selenium提取异步加载页面,结果也找不到浏览器里的显示内容是怎么回事? 比如下面这个页面,要获取页面里的关注数量,粉丝数量等资料 ``` from selenium import webdriver driver = webdriver.Chrome() driver.get('https://h5.weishi.qq.com/weishi/personal/1546312839098426/wspersonal?_proxy=1&_wv=1&id=1546312839098426') driver.implicitly_wait(8) # ttt = driver.find_element_by_css_selector('//div').text # text = driver.find_element_by_id('app').text # driver.implicitly_wait(3) print('结果::::::::::::' + driver.page_source) ```
Python selenium 打开chrome error【10054】被强行关闭,请问如何解决?
``` from selenium import webdriver import sys sys.path.insert(0,'F:\浏览器\chome\Google\Chrome\Application') options = webdriver.ChromeOptions() options.add_experimental_option("excludeSwitches", ["ignore-certificate-errors"]) driver = webdriver.Chrome(chrome_options=options) driver.get('https://www.baidu.com') driver.find_element_by_id('kw').send_keys('selenium') driver.find_element_by_id('su').click() with open('9.html','wb') as f: f.write(driver.page_source.encode('utf-8')) f.close() driver.close() ``` 运行后出现浏览器:这样的情况 ![图片说明](https://img-ask.csdn.net/upload/201707/17/1500264595_668338.png) 后代码报错: ``` Traceback (most recent call last): File "28baidu.py", line 12, in <module> driver.get('https://www.baidu.com') File "C:\Users\linqing\AppData\Local\Programs\Python\Python36-32\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 268, in get self.execute(Command.GET, {'url': url}) File "C:\Users\linqing\AppData\Local\Programs\Python\Python36-32\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 254, in execute response = self.command_executor.execute(driver_command, params) File "C:\Users\linqing\AppData\Local\Programs\Python\Python36-32\lib\site-packages\selenium\webdriver\remote\remote_connection.py", line 464, in execute return self._request(command_info[0], url, body=data) File "C:\Users\linqing\AppData\Local\Programs\Python\Python36-32\lib\site-packages\selenium\webdriver\remote\remote_connection.py", line 488, in _request resp = self._conn.getresponse() File "C:\Users\linqing\AppData\Local\Programs\Python\Python36-32\lib\http\client.py", line 1331, in getresponse response.begin() File "C:\Users\linqing\AppData\Local\Programs\Python\Python36-32\lib\http\client.py", line 297, in begin version, status, reason = self._read_status() File "C:\Users\linqing\AppData\Local\Programs\Python\Python36-32\lib\http\client.py", line 258, in _read_status line = str(self.fp.readline(_MAXLINE + 1), "iso-8859-1") File "C:\Users\linqing\AppData\Local\Programs\Python\Python36-32\lib\socket.py", line 586, in readinto return self._sock.recv_into(b) ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接。 ``` 没想到在此入坑,折腾一天无果,请大神帮帮忙
使用WebDriver中的click操作无法关闭天猫弹出的登陆界面
1.老师留的作业是用scrapy爬动态网页天猫商品的价格,但是用Chrome每次点开网页的时候都会弹出登录界面,虽然不影响爬取价格,但是想把这个页面关闭 网页:https://detail.tmall.com/item.htm?id=555358967936 2.代码: ``` def process_request(self, request, spider): # Called for each request that goes through the downloader # middleware. driver = spider.drive driver.get(request.url) # driver.switch_to.frame("sufei-dialog-content") #因为网页需要时间渲染,在这里确定目标元素 locator = (By.XPATH, '//span[@class="tm-price"]') close_btn = (By.XPATH,'//div[@class="sufei-dialog-content"]/div[@id="sufei-dialog-close"]') # driver.switch_to.frame("sufei-dialog-content") WebDriverWait(driver, 3,1).until(EC.presence_of_element_located(close_btn)) # driver.switch_to.frame("sufei-dialog-content") click = driver.find_element_by_xpath('//div[@class="sufei-dialog-close"]') actionchain = action_chains.ActionChains(driver) actionchain.click(click) actionchain.perform() print('点击已结束') driver.switch_to.default_content() # driver.switch_to.parent_frame() #等待网页渲染,最多等待15s,并且每1s查看一次是否出现目标元素 WebDriverWait(driver, 15, 1).until(EC.presence_of_element_located(locator)) # Must either: # - return None: continue processing this request # - or return a Response object # - or return a Request object # - or raise IgnoreRequest: process_exception() methods of # installed downloader middleware will be called #返回请求网页后得到的源代码 return HtmlResponse(url=request.url,body=driver.page_source,request=request,encoding='utf-8',status=200) ``` _3.我尝试过分析可能是iframe的问题,但是尝试过后总是提醒 selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"xpath","selector":"//div[@class="sufei-dialog-close"]"} (Session info: chrome=75.0.3770.80) ![图片说明](https://img-ask.csdn.net/upload/201908/09/1565339432_653568.jpg) 蓝色的就是想要关闭的标签 感谢帮助(●'◡'●)
使用Selenium和PhantomJS解析网页遇到异常时的操作?
本人小白一枚,在使用Selenium和PhantomJS解析网页时,发现当遇到异常(比如短时网络异常或者解析的网页本身出现问题),会直接退出整个程序。请问怎么操作才能在异常出现后继续执行程序的其他部分呢?先谢过各位大大。贴上部分代码: try: driver = webdriver.PhantomJS() driver.get(url) c = driver.page_source driver.quit() except: logger.error('-----------Can Not Open The Homepage---------')
python能成功爬取天气 不知道怎么加循环
现在能爬去数据, 但需要手动一个一个换城市和时间, 希望能加个循环,一次性爬玩选定城市所有时间的天气。 网站来自 天气网->历史天气。 网站特点:http://lishi.tianqi.com/'+position+'/'+date+'.html 我不知道怎么加循环 代码现在如下: ``` from selenium import webdriver from bs4 import BeautifulSoup import time import csv import os from openpyxl import workbook # 写入Excel表所用 chrome_options = webdriver.ChromeOptions() prefs = {"profile.managed_default_content_setting.images": 2} chrome_options.add_experimental_option("prefs", prefs) driver = webdriver.Chrome(chrome_options=chrome_options) driver.set_page_load_timeout(60) driver.set_script_timeout(60) def getId(): position = 'wulumuqi' #这里填写地方的缩拼音例如:安泽 date = '201901' #这里填写日期例如:2011年的2月 query_url = 'http://lishi.tianqi.com/'+position+'/'+date+'.html' wb = os.path.join('C:\\Users\\w4376\\OneDrive\\Desktop\\weather collecting\\') #指定路径打开 wb = workbook.Workbook() # 创建Excel对象 ws = wb.active # 获取当前正在操作的表对象 ws.append(['日期', '最高气温', '最低气温', '天气', '风向', '风力']) try: driver.get('http://tianqi.com/') time.sleep(2) driver.get(query_url) js = "window.scrollTo(0, 1800000);" driver.execute_script(js) time.sleep(2) res = driver.page_source soup = BeautifulSoup(res, 'html.parser') box = soup.find('div',class_='tqtongji2').find_all('ul')[1:] for item in box: date_detail = item.find_all('li')[0].get_text() #日期 print(date_detail) max_temperature =item.find_all('li')[1].get_text() #最高气温 print(max_temperature) min_temperature = item.find_all('li')[2].get_text() # 最低气温 print(min_temperature) temperature = item.find_all('li')[3].get_text() # 天气 print(temperature) wind_direction = item.find_all('li')[4].get_text() #风向 print( wind_direction) wind_power = item.find_all('li')[5].get_text() # 风力 if wind_power == ('微风'): wf=('0级') wind_power=wf print(wf) else: print(wind_power) if wind_direction == ('无持续风向'): wd=('无') wind_direction=wd print(wd) ws.append([date_detail, max_temperature,min_temperature, temperature, wind_direction,wind_power]) # spamwriter = csv.writer(csvfile, dialect='excel') # spamwriter.writerow([date_detail, max_temperature,min_temperature, temperature, wind_direction,wind_power]) wb.save(position+date+'.xlsx') # 存入所有信息后,保存为filename.xlsx except Exception as e: print(e) getId() ```
python环境,利用selenium爬取京东手机“每种套餐”价格问题
本人零基础,大龄搬砖男自学python,所以请忽略各种拼写,命名等小细节。而且目前还不会正则表达式,所以用了xpath的方法,循环点击各套餐,然后读取价格标签的text来获取价格。但是因为不同的产品,套餐种类可能不同,例如有点手机品牌有颜色、容量、运行商,版本等套餐。为了考虑多产品的兼容性,折磨了半天时间,想到用递归的思路进行实现 目前,遇到一个问题,就是递归的终止条件问题,目前总是卡在最后一个套餐,没有读取完就结束了。请前辈支招: ``` from bs4 import BeautifulSoup from selenium import webdriver driver = webdriver.Chrome() driver.get("https://item.jd.com/100000287115.html#crumb-wrap") driver.maximize_window() html = driver.page_source soup=BeautifulSoup(html,'lxml') select = soup.find("div",id="choose-attrs") #查找选择框 selectstyle = select.find_all("div",class_="li p-choose") #选择的类型有多少种,比如颜色,型号,容量等 selectstyletotal = len(selectstyle) #大类数量 print(selectstyletotal) def sonnum(n): #n为大类编号从1开始 '''求当前大类下面有多少个型号''' selectsun = selectstyle[n-1].find_all("div", class_="item") countsun = len(selectsun) # 查找当前类下,有多少个型号 return countsun for i in range(1,selectstyletotal+1): print("当前为第{}类,改类有{}个型号".format(i,sonnum(i))) def showprice(n): '''递归选择,并显示价格''' if n == 1: for a in range(1, sonnum(n) + 1): driver.find_element_by_xpath( '//*[@id="choose-attr-' + str(n) + '"]/div[2]/div[' + str(a) + ']').click() select_txt = driver.find_element_by_xpath( '//*[@id="choose-attr-' + str(n) + '"]/div[2]/div[' + str(a) + ']').text price = driver.find_element_by_xpath( "/html/body/div[8]/div/div[2]/div[4]/div/div[1]/div[2]/span[1]/span[2]").text # price_data.append(select_txt+"价格为"+price) print("选中{},价格为{}".format(select_txt, price)) for i in range(1,sonnum(n)+1): try: driver.find_element_by_xpath( '//*[@id="choose-attr-' + str(n) + '"]/div[2]/div[' + str(i) + ']').click() select_txt = driver.find_element_by_xpath( '//*[@id="choose-attr-' + str(n) + '"]/div[2]/div[' + str(i) + ']').text print("选中{}".format(select_txt)) showprice(n-1) price = driver.find_element_by_xpath( "/html/body/div[8]/div/div[2]/div[4]/div/div[1]/div[2]/span[1]/span[2]").text except: continue print("价格为{}".format(price)) showprice(selectstyletotal) ``` 运行结果如下:始终有1个套餐未点击完毕,大神支招啊, ''' ![图片说明](https://img-ask.csdn.net/upload/201811/04/1541340185_122754.png) 谢谢?
刚学习用scrapy + selenium爬动态网页,但是不知道为什么就是不行,下面是代码,求大神指点!!!
MySpider里面是这样的: ``` class MySpider(scrapy.Spider): name = 'BAIScrapy' def start_requests(self): print('开始') url = 'https://www.bilibili.com/' request = scrapy.Request(url=url, callback=self.parse, dont_filter=True) request.meta['PhantomJS'] = True yield request def parse(self, response): print('Emmm...') item = BilibiliAnimeInfoScrapyItem() item['links'] = response.css('a::attr("href")').re("www.bilibili.com/bangumi/play/") ``` middlewares里面是这样的: ``` def process_reqeust(self, request, spider): print('进入selenium') driver = webdriver.PhantomJS() driver.get(request.url) element = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID,'bili_bangumi'))) driver.quit() yield HtmlResponse(url=request.url, encoding='utf-8', body=driver.page_source, request=request) ``` settings里面是这样的: ``` USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1' ROBOTSTXT_OBEY = False DOWNLOADER_MIDDLEWARES = { 'bilibili_anime_info_scrapy.middlewares.BilibiliAnimeInfoScrapyDownloaderMiddleware': 543, } ```
没有进行筛选,scrapy-Request callback不调用,跪求大神指点!!!
Spider的代码是这样的: ``` def parse(self, response): url_list = response.xpath('//a/@href').extract()[0] for single_url in url_list: url = 'https:' + single_url.xpath('./@href').extract()[0] name = single_url.xpath('./text()').extract()[0] yield scrapy.Request(url=url, callback=self.parse_get, meta={'url':url, 'name':name}) def parse_get(self, response): print(1) item = MySpiderItem() item['name'] = response.mate['name'] item['url'] = response.mate['url'] yield item ``` middlewares的代码是这样的: ``` def process_request(self, request, spider): self.driver = webdriver.Chrome() self.driver.get(request.url) if 'anime' in request.meta: element = WebDriverWait(self.driver, 10).until(EC.presence_of_element_located((By.ID, 'header'))) else: element = WebDriverWait(self.driver, 10).until(EC.presence_of_element_located((By.ID, 'header'))) html = self.driver.page_source self.driver.quit() return scrapy.http.HtmlResponse(url=request.url, body=html, request=request, encoding='utf-8') ``` 我是用Chrome来运行的,Request里面的url是一个一个地打开了,但是一直没有调用parse_get。一直都没有加allowed_domains,也尝试过在Request中加dont_filter=True,但是网站能打开,证明应该不是网站被过滤了的问题。实在是没有想法了,求大神指导!!!!
求大神指教下 我这个程序怎么爬不下来数据
# -*- coding: utf-8 -*- import urllib, sys, os, re from selenium import webdriver from bs4 import BeautifulSoup reload(sys) sys.setdefaultencoding('utf-8') def mkdir(path): if not os.path.exists(path): os.makedirs(path) def save(driver, html, parentpath): driver.get(html) content = driver.page_source print content soup = BeautifulSoup(content, 'lxml') alist = soup.select("li.tit") print alist for i in alist: path = parentpath a = i.select('a')[0] text = a.text title = text.strip().replace(" ", "") path = path + "/" + title # (文件夹名字) try: mkdir(path) except Exception, e: print '创建文件夹出错' continue url = 'http://www.cqzj.gov.cn/' + i.attrs['href'] driver.get(url) content = driver.page_source soup = BeautifulSoup(content, 'lxml') title = soup.select('span[id="Contentontrol_lblTitle"]')[0].text.replace("\n", "") #title1 = title + "1" # print title # time = soup.select('td.articletddate3')[0].text.replace("\n", "") # print time content = soup.select('div.con')[0].text.strip() try: fileName = (path + '/' + title + '.txt').replace("\n", "").replace(" ", "").replace("<", "").replace(">", "").replace( "《", "").replace("》", "").replace("|", "").decode("utf-8") #filename1 = (path + '/' + title1 + '.txt').replace("\n", "").replace(" ", "").replace("<", "").replace( # ">","").replace("《", "").replace("》", "").replace("|", "").decode("utf-8") file = open(fileName, 'w') file.write(title + '\n\n' + content) file.flush() file.close() except Exception, e: print 0 continue for i in alist: downlName = i.text href = a.attrs['href'] if href != '' and i.text != '': href="http://www.cqzj.gov.cn/"+a.attrs['href'][3:] fm = href.rfind('.') downlName = re.sub('.*/|\..*', '', downlName) + href[fm:] name = path + '/' + downlName try: urllib.urlretrieve(href, unicode(name)) except Exception, e: continue def getMaxPage(content): soup = BeautifulSoup(content) pagenum = soup.select("td") pagenum = 23 return pagenum root_html = 'http://www.cqzj.gov.cn/ZJ_Page/List.aspx?levelid=324&dh=1' driver = webdriver.PhantomJS(executable_path='E:/work/PyCharm/phantomjs-2.1.1-windows/bin/phantomjs.exe') # 改这里 driver.get(root_html) content = driver.page_source page_num = getMaxPage(content) htmls = [root_html] for html in htmls: print html save(driver, html, 'D:/数据采集/重庆/质检') # 改这里 跑出来结果 爬不到我需要的列表![图片说明](https://img-ask.csdn.net/upload/201710/31/1509418184_968916.png) 总是为空 ![图片说明](https://img-ask.csdn.net/upload/201710/31/1509418233_721785.png)这些我爬不到 我也不太会这个 程序是别人给的 我改了改哪些路径 求大神指点
爬虫时光网出现load104问题
* * ![图片说明](https://img-ask.csdn.net/upload/201905/10/1557419531_244442.png)![图片说明](https://img-ask.csdn.net/upload/201905/10/1557419538_802557.png)![图片说明](https://img-ask.csdn.net/upload/201905/10/1557419546_91491.png) 爬虫新手,爬取时光网热映电影想要爬取该电影的上映电影时间,价格,影院,但是不论是直接用request爬取还是PhantomJS爬取,都出现图片中问题,即load104,求大神帮帮忙 爬取网址:http://theater.mtime.com/China_Jiangsu_Province_Nanjing/movie/235701/ 第一个图是我爬下来的内容 代码如下 import requests import codecs from bs4 import BeautifulSoup from requests.exceptions import RequestException headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36', 'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8', 'accept-encoding': 'gzip, deflate', 'accept-language': 'zh-CN,zh;q=0.9', 'referer': 'http://theater.mtime.com/China_Jiangsu_Province_Nanjing/', 'Host': 'theater.mtime.com', } def get_one_page(url,headers): try: response = requests.get(url,headers=headers) if response.status_code == 200: return response.text return None except RequestException: return None def get_detail_onemovie(movid,date,headers): url='http://theater.mtime.com/China_Jiangsu_Province_Nanjing/movie/'+movid+'/'+date+'/' print(url) html=get_one_page(url,headers) soup = BeautifulSoup(html, 'lxml') with codecs.open('one_page.txt', 'w', encoding='utf-8') as f: f.write(soup.prettify()) get_detail_onemovie('235701','20190510',headers) 下面是模拟浏览器的代码 from selenium import webdriver import codecs driver = webdriver.PhantomJS() driver.get('http://theater.mtime.com/China_Jiangsu_Province_Nanjing/movie/256175/20190509/') with codecs.open('one_page.txt', 'w', encoding='utf-8') as f: f.write(driver.page_source) driver.close()
终于明白阿里百度这样的大公司,为什么面试经常拿ThreadLocal考验求职者了
点击上面↑「爱开发」关注我们每晚10点,捕获技术思考和创业资源洞察什么是ThreadLocalThreadLocal是一个本地线程副本变量工具类,各个线程都拥有一份线程私有的数
程序员必须掌握的核心算法有哪些?
由于我之前一直强调数据结构以及算法学习的重要性,所以就有一些读者经常问我,数据结构与算法应该要学习到哪个程度呢?,说实话,这个问题我不知道要怎么回答你,主要取决于你想学习到哪些程度,不过针对这个问题,我稍微总结一下我学过的算法知识点,以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的,并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构,当然,我也会整理一些看过...
《奇巧淫技》系列-python!!每天早上八点自动发送天气预报邮件到QQ邮箱
此博客仅为我业余记录文章所用,发布到此,仅供网友阅读参考,如有侵权,请通知我,我会删掉。 补充 有不少读者留言说本文章没有用,因为天气预报直接打开手机就可以收到了,为何要多此一举发送到邮箱呢!!!那我在这里只能说:因为你没用,所以你没用!!! 这里主要介绍的是思路,不是天气预报!不是天气预报!!不是天气预报!!!天气预报只是用于举例。请各位不要再刚了!!! 下面是我会用到的两个场景: 每日下
面试官问我:什么是消息队列?什么场景需要他?用了会出现什么问题?
你知道的越多,你不知道的越多 点赞再看,养成习惯 GitHub上已经开源 https://github.com/JavaFamily 有一线大厂面试点脑图、个人联系方式,欢迎Star和完善 前言 消息队列在互联网技术存储方面使用如此广泛,几乎所有的后端技术面试官都要在消息队列的使用和原理方面对小伙伴们进行360°的刁难。 作为一个在互联网公司面一次拿一次Offer的面霸,打败了无数
8年经验面试官详解 Java 面试秘诀
    作者 | 胡书敏 责编 | 刘静 出品 | CSDN(ID:CSDNnews) 本人目前在一家知名外企担任架构师,而且最近八年来,在多家外企和互联网公司担任Java技术面试官,前后累计面试了有两三百位候选人。在本文里,就将结合本人的面试经验,针对Java初学者、Java初级开发和Java开发,给出若干准备简历和准备面试的建议。   Java程序员准备和投递简历的实
究竟你适不适合买Mac?
我清晰的记得,刚买的macbook pro回到家,开机后第一件事情,就是上了淘宝网,花了500元钱,找了一个上门维修电脑的师傅,上门给我装了一个windows系统。。。。。。 表砍我。。。 当时买mac的初衷,只是想要个固态硬盘的笔记本,用来运行一些复杂的扑克软件。而看了当时所有的SSD笔记本后,最终决定,还是买个好(xiong)看(da)的。 已经有好几个朋友问我mba怎么样了,所以今天尽量客观
程序员一般通过什么途径接私活?
二哥,你好,我想知道一般程序猿都如何接私活,我也想接,能告诉我一些方法吗? 上面是一个读者“烦不烦”问我的一个问题。其实不止是“烦不烦”,还有很多读者问过我类似这样的问题。 我接的私活不算多,挣到的钱也没有多少,加起来不到 20W。说实话,这个数目说出来我是有点心虚的,毕竟太少了,大家轻喷。但我想,恰好配得上“一般程序员”这个称号啊。毕竟苍蝇再小也是肉,我也算是有经验的人了。 唾弃接私活、做外
大学四年自学走来,这些珍藏的「实用工具/学习网站」我全贡献出来了
知乎高赞:文中列举了互联网一线大厂程序员都在用的工具集合,涉及面非常广,小白和老手都可以进来看看,或许有新收获。
《阿里巴巴开发手册》读书笔记-编程规约
Java编程规约命名风格 命名风格 类名使用UpperCamelCase风格 方法名,参数名,成员变量,局部变量都统一使用lowerCamelcase风格 常量命名全部大写,单词间用下划线隔开, 力求语义表达完整清楚,不要嫌名字长 ...
Python爬虫爬取淘宝,京东商品信息
小编是一个理科生,不善长说一些废话。简单介绍下原理然后直接上代码。 使用的工具(Python+pycharm2019.3+selenium+xpath+chromedriver)其中要使用pycharm也可以私聊我selenium是一个框架可以通过pip下载 pip install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple/ 
阿里程序员写了一个新手都写不出的低级bug,被骂惨了。
你知道的越多,你不知道的越多 点赞再看,养成习惯 本文 GitHub https://github.com/JavaFamily 已收录,有一线大厂面试点思维导图,也整理了很多我的文档,欢迎Star和完善,大家面试可以参照考点复习,希望我们一起有点东西。 前前言 为啥今天有个前前言呢? 因为你们的丙丙啊,昨天有牌面了哟,直接被微信官方推荐,知乎推荐,也就仅仅是还行吧(心里乐开花)
Java工作4年来应聘要16K最后没要,细节如下。。。
前奏: 今天2B哥和大家分享一位前几天面试的一位应聘者,工作4年26岁,统招本科。 以下就是他的简历和面试情况。 基本情况: 专业技能: 1、&nbsp;熟悉Sping了解SpringMVC、SpringBoot、Mybatis等框架、了解SpringCloud微服务 2、&nbsp;熟悉常用项目管理工具:SVN、GIT、MAVEN、Jenkins 3、&nbsp;熟悉Nginx、tomca
Python爬虫精简步骤1 获取数据
爬虫的工作分为四步: 1.获取数据。爬虫程序会根据我们提供的网址,向服务器发起请求,然后返回数据。 2.解析数据。爬虫程序会把服务器返回的数据解析成我们能读懂的格式。 3.提取数据。爬虫程序再从中提取出我们需要的数据。 4.储存数据。爬虫程序把这些有用的数据保存起来,便于你日后的使用和分析。 这一篇的内容就是:获取数据。 首先,我们将会利用一个强大的库——requests来获取数据。 在电脑上安装
Python绘图,圣诞树,花,爱心 | Turtle篇
1.画圣诞树 import turtle screen = turtle.Screen() screen.setup(800,600) circle = turtle.Turtle() circle.shape('circle') circle.color('red') circle.speed('fastest') circle.up() square = turtle.Turtle()
作为一个程序员,CPU的这些硬核知识你必须会!
CPU对每个程序员来说,是个既熟悉又陌生的东西? 如果你只知道CPU是中央处理器的话,那可能对你并没有什么用,那么作为程序员的我们,必须要搞懂的就是CPU这家伙是如何运行的,尤其要搞懂它里面的寄存器是怎么一回事,因为这将让你从底层明白程序的运行机制。 随我一起,来好好认识下CPU这货吧 把CPU掰开来看 对于CPU来说,我们首先就要搞明白它是怎么回事,也就是它的内部构造,当然,CPU那么牛的一个东
破14亿,Python分析我国存在哪些人口危机!
2020年1月17日,国家统计局发布了2019年国民经济报告,报告中指出我国人口突破14亿。 猪哥的朋友圈被14亿人口刷屏,但是很多人并没有看到我国复杂的人口问题:老龄化、男女比例失衡、生育率下降、人口红利下降等。 今天我们就来分析一下我们国家的人口数据吧! 更多有趣分析教程,扫描下方二维码关注vx公号「裸睡的猪」 即可查看! 一、背景 1.人口突破14亿 2020年1月17日,国家统计局发布
听说想当黑客的都玩过这个Monyer游戏(1~14攻略)
第零关 进入传送门开始第0关(游戏链接) 请点击链接进入第1关: 连接在左边→ ←连接在右边 看不到啊。。。。(只能看到一堆大佬做完的留名,也能看到菜鸡的我,在后面~~) 直接fn+f12吧 &lt;span&gt;连接在左边→&lt;/span&gt; &lt;a href="first.php"&gt;&lt;/a&gt; &lt;span&gt;←连接在右边&lt;/span&gt; o
在家远程办公效率低?那你一定要收好这个「在家办公」神器!
相信大家都已经收到国务院延长春节假期的消息,接下来,在家远程办公可能将会持续一段时间。 但是问题来了。远程办公不是人在电脑前就当坐班了,相反,对于沟通效率,文件协作,以及信息安全都有着极高的要求。有着非常多的挑战,比如: 1在异地互相不见面的会议上,如何提高沟通效率? 2文件之间的来往反馈如何做到及时性?如何保证信息安全? 3如何规划安排每天工作,以及如何进行成果验收? ......
作为一个程序员,内存和磁盘的这些事情,你不得不知道啊!!!
截止目前,我已经分享了如下几篇文章: 一个程序在计算机中是如何运行的?超级干货!!! 作为一个程序员,CPU的这些硬核知识你必须会! 作为一个程序员,内存的这些硬核知识你必须懂! 这些知识可以说是我们之前都不太重视的基础知识,可能大家在上大学的时候都学习过了,但是嘞,当时由于老师讲解的没那么有趣,又加上这些知识本身就比较枯燥,所以嘞,大家当初几乎等于没学。 再说啦,学习这些,也看不出来有什么用啊!
别低估自己的直觉,也别高估自己的智商
所有群全部吵翻天,朋友圈全部沦陷,公众号疯狂转发。这两周没怎么发原创,只发新闻,可能有人注意到了。我不是懒,是文章写了却没发,因为大家的关注力始终在这次的疫情上面,发了也没人看。当然,我...
这个世界上人真的分三六九等,你信吗?
偶然间,在知乎上看到一个问题 一时间,勾起了我深深的回忆。 以前在厂里打过两次工,做过家教,干过辅导班,做过中介。零下几度的晚上,贴过广告,满脸、满手地长冻疮。   再回首那段岁月,虽然苦,但让我学会了坚持和忍耐。让我明白了,在这个世界上,无论环境多么的恶劣,只要心存希望,星星之火,亦可燎原。   下文是原回答,希望能对你能有所启发。   如果我说,这个世界上人真的分三六九等,
为什么听过很多道理,依然过不好这一生?
记录学习笔记是一个重要的习惯,不希望学习过的东西成为过眼云烟。做总结的同时也是一次复盘思考的过程。 本文是根据阅读得到 App上《万维钢·精英日课》部分文章后所做的一点笔记和思考。学习是一个系统的过程,思维模型的建立需要相对完整的学习和思考过程。以下观点是在碎片化阅读后总结的一点心得总结。
B 站上有哪些很好的学习资源?
哇说起B站,在小九眼里就是宝藏般的存在,放年假宅在家时一天刷6、7个小时不在话下,更别提今年的跨年晚会,我简直是跪着看完的!! 最早大家聚在在B站是为了追番,再后来我在上面刷欧美新歌和漂亮小姐姐的舞蹈视频,最近两年我和周围的朋友们已经把B站当作学习教室了,而且学习成本还免费,真是个励志的好平台ヽ(.◕ฺˇд ˇ◕ฺ;)ノ 下面我们就来盘点一下B站上优质的学习资源: 综合类 Oeasy: 综合
如何优雅地打印一个Java对象?
你好呀,我是沉默王二,一个和黄家驹一样身高,和刘德华一样颜值的程序员。虽然已经写了十多年的 Java 代码,但仍然觉得自己是个菜鸟(请允许我惭愧一下)。 在一个月黑风高的夜晚,我思前想后,觉得再也不能这么蹉跎下去了。于是痛下决心,准备通过输出的方式倒逼输入,以此来修炼自己的内功,从而进阶成为一名真正意义上的大神。与此同时,希望这些文章能够帮助到更多的读者,让大家在学习的路上不再寂寞、空虚和冷。 ...
雷火神山直播超两亿,Web播放器事件监听是怎么实现的?
Web播放器解决了在手机浏览器和PC浏览器上播放音视频数据的问题,让视音频内容可以不依赖用户安装App,就能进行播放以及在社交平台进行传播。在视频业务大数据平台中,播放数据的统计分析非常重要,所以Web播放器在使用过程中,需要对其内部的数据进行收集并上报至服务端,此时,就需要对发生在其内部的一些播放行为进行事件监听。 那么Web播放器事件监听是怎么实现的呢? 01 监听事件明细表 名
3万字总结,Mysql优化之精髓
本文知识点较多,篇幅较长,请耐心学习 MySQL已经成为时下关系型数据库产品的中坚力量,备受互联网大厂的青睐,出门面试想进BAT,想拿高工资,不会点MySQL优化知识,拿offer的成功率会大大下降。 为什么要优化 系统的吞吐量瓶颈往往出现在数据库的访问速度上 随着应用程序的运行,数据库的中的数据会越来越多,处理时间会相应变慢 数据是存放在磁盘上的,读写速度无法和内存相比 如何优化 设计
Linux 命令(122)—— watch 命令
1.命令简介 2.命令格式 3.选项说明 4.常用示例 参考文献 [1] watch(1) manual
Linux 命令(121)—— cal 命令
1.命令简介 2.命令格式 3.选项说明 4.常用示例 参考文献 [1] cal(1) manual
记jsp+servlet+jdbc实现的新闻管理系统
1.工具:eclipse+SQLyog 2.介绍:实现的内容就是显示新闻的基本信息,然后一个增删改查的操作。 3.数据库表设计 列名 中文名称 数据类型 长度 非空 newsId 文章ID int 11 √ newsTitle 文章标题 varchar 20 √ newsContent 文章内容 text newsStatus 是否审核 varchar 10 news...
Python新型冠状病毒疫情数据自动爬取+统计+发送报告+数据屏幕(三)发送篇
今天介绍的项目是使用 Itchat 发送统计报告 项目功能设计: 定时爬取疫情数据存入Mysql 进行数据分析制作疫情报告 使用itchat给亲人朋友发送分析报告(本文) 基于Django做数据屏幕 使用Tableau做数据分析 来看看最终效果 目前已经完成,预计2月12日前更新 使用 itchat 发送数据统计报告 itchat 是一个基于 web微信的一个框架,但微信官方并不允
作为程序员的我,大学四年一直自学,全靠这些实用工具和学习网站!
我本人因为高中沉迷于爱情,导致学业荒废,后来高考,毫无疑问进入了一所普普通通的大学,实在惭愧...... 我又是那么好强,现在学历不行,没办法改变的事情了,所以,进入大学开始,我就下定决心,一定要让自己掌握更多的技能,尤其选择了计算机这个行业,一定要多学习技术。 在进入大学学习不久后,我就认清了一个现实:我这个大学的整体教学质量和学习风气,真的一言难尽,懂的人自然知道怎么回事? 怎么办?我该如何更好的提升
新来个技术总监,禁止我们使用Lombok!
我有个学弟,在一家小型互联网公司做Java后端开发,最近他们公司新来了一个技术总监,这位技术总监对技术细节很看重,一来公司之后就推出了很多"政策",比如定义了很多开发规范、日志规范、甚至是要求大家统一使用某一款IDE。 但是这些都不是我这个学弟和我吐槽的点,他真正和我吐槽的是,他很不能理解,这位新来的技术总监竟然禁止公司内部所有开发使用Lombok。但是又没给出十分明确的,可以让人信服的理由。 于...
前端JS初级面试题二 (。•ˇ‸ˇ•。)老铁们!快来瞧瞧自己都会了么
1. 传统事件绑定和符合W3C标准的事件绑定有什么区别? 传统事件绑定 &lt;div onclick=""&gt;123&lt;/div&gt; div1.onclick = function(){}; &lt;button onmouseover=""&gt;&lt;/button&gt; 注意: 如果给同一个元素绑定了两次或多次相同类型的事件,那么后面的绑定会覆盖前面的绑定 (不支持DOM事...
2020金三银四,一篇文章教你如何征服面试官,拿到offer
2020年,跳槽面试就靠它们了,现在每天刷题,看源码文档,最近看的这些题目还是有些难度,有一部分我都要好好想一想才能回答出来,或者回答不出来,总的来说知识宽度够了深度还跟不上。所以要重点突破下底层的东西。这篇文章我总结了很久,希望对正在准备面试的同仁们有点帮助。没错我就是传说中的面霸!! 一. 面试准备 首先,是笔试题,这点是初级程序员绕不过去的坎。 笔试题一般的公司都会出的,除非你是大牛,可以选...
用Python开发实用程序 – 计算器
作者:隋顺意 一段时间前,自己制作了一个库 “sui-math”。这其实是math的翻版。做完后,python既然可以轻易的完成任何的数学计算,何不用python开发一个小程序专门用以计算呢? 现在我们越来越依赖于计算器,很多复杂的计算都离不开它。我们使用过各式各样的计算器,无论是电脑自带的,还是网也上的计算器,却都没有自己动手编写属于自己计算器。今天就让我们走进计算器的世界,用python来编写...
Python学习笔记(语法篇)
本篇博客大部分内容摘自埃里克·马瑟斯所著的《Python编程:从入门到实战》(入门类书籍),采用举例的方式进行知识点提要 关于Python学习书籍推荐文章 《学习Python必备的8本书》 Python语法特点: 通过缩进进行语句组织 不需要变量或参数的声明 冒号 1 变量和简单数据结构 1.1 变量命名 只能包含字母、数字和下划线,且不能以数字打头。 1.2 字符串 在Python中,用引号...
小白也会用的情人节表白神器
鉴于情人节女朋友总说直男,上网找了个模板,改了一下,发现效果还不错。然后又录了一个视频,发现凑合,能用。现在免费分享给程序员,去表白去吧。​​​​​​。当然比较low因为考研没时间优化,懒着优化了。 先看一下效果吧:页面太多了,这里我只放几个页面里面有音乐,还凑合不是太单调。 所有页面最后的合成效果: 接下来教大家如何使用: 新建文件夹:love 然后建立这几个...
论如何用python发qq消息轰炸虐狗好友
因为我的某个好友在情人节的时候秀恩爱,所以我灵光一闪制作了qq消息轰炸并记录了下来。 首先 我的编程环境是: windows 10系统 python3.6 记得要下载win32 pip install win32 思路介绍 其实也非常简单 将要发出去的句子储存在列表中 然后用随机模块调用 将随机出来的元素储存在剪贴板中 连接QQ 找到指定对象 疯狂输出 怎么样,简单吧 开始打代码吧 imp...
Python爬取冠状病毒“谣言”新闻进行数据分析
一、前言 今天给大家介绍的爬虫项目是爬取冠状病毒谣言数据,因为最近网络上有很多关于冠状病毒的谣言,官方也积极的出来辟谣,作为一名数据爱好者,我也想尽自己一份微薄之力,分享一些有用的数据分享,希望大家在特殊情况下能明辨是非,保护好自己和家人! 二、爬取数据 话不多说了,直接上代码( copy即可用 ) import requests import pandas as pd class Sp...
相关热词 c# 识别回车 c#生成条形码ean13 c#子控制器调用父控制器 c# 写大文件 c# 浏览pdf c#获取桌面图标的句柄 c# list反射 c# 句柄 进程 c# 倒计时 线程 c# 窗体背景色
立即提问

相似问题