求教如何通过python抓取网页中表格信息

刚刚开始学习python 不清楚如何通过python抓取网页中的表格信息 比如给定一个student.html 里面有学号、姓名、性别等信息 怎么样写才能够输入学号 读出其他信息？

python抓取网页，网页源码无法解码

抓取的网页：http://esf.nanjing.fang.com/ 浏览器查看源码显示content="text/html; charset=gb2312" python chardet 结果显示{'confidence': 0.0, 'encoding': None} 通过page=page.decode('gb2312','ignore').encode('utf-8'),解码后print为乱码 求问应该如何对这个网页的源代码进行解码从而抓取需要的信息？

如何使用Python抓取翻页网页的数据

我想使用Python抓取一个需要翻页的网页所有数据，但换页时URL不变，我想找到换页 的接口，通过接口访问下一页的数据。请问怎样分析？ [http://www.szairport.com/frontapp/HbxxServlet?iscookie=C](http://www.szairport.com/frontapp/HbxxServlet?iscookie=C "")

使用Python抓取下一页网页数据

怎么抓取一个无论怎么跳转其url都不变的网页？通过Requests和BeautifulSoup能实现吗？ [http://www.szairport.com/frontapp/HbxxServlet?iscookie=C](http://www.szairport.com/frontapp/HbxxServlet?iscookie=C "") 另外其下一页的跳转指令是js写的，我该怎么通过这条指令跳转下一页，命令如下： ``` [<a href="javascript:void(0);" onclick="page.moveNext()">下一页</a>] ``` 另附上我修改的代码; ``` import requests import re import BeautifulSoup import json a={"start":150,"limit":20} r=requests.post("http://www.szairport.com/frontapp/HbxxServlet",data=json.dumps(a)) soup=BeautifulSoup.BeautifulSoup(r.text) print soup ```

请问python如何抓取for循环的所有结果？

我抓取了一个txt文档，处理完一行得到一个名为line的数组。想知道如何抓取全部的数组放进一个list的集合内。

模拟登录post数据抓取不到

想用python写的爬虫模拟登录知乎，但是登录的时候用chrome抓取post数据的页面一 闪而过，看不到需要post的数据，请问各位大神这是怎么回事，要怎么才能抓取到 post的数据

python 抓取POST 网页失败，求大神帮忙看下代码哪里有问题

图片说明](https://img-ask.csdn.net/upload/201504/02/1427958897_886192.png) 这是网站请求的是Request Header 和携带的参数 import urllib import urllib2 def GetFormDate( pageNum , catId ): retValue = {} retValue["module"] = "product" retValue["from"] = "category" retValue["page"] = "%d" % pageNum paramJson = {"mobile" : False , "catalog" : "coo8Store" , "siteId" : "coo8Site" , "shopId" : "" , "regionId" : "31010100" , "pageName" : "list" , "et" : "" , "XSearch" : False , "startDate" : 0 , "endDate" : 0 , "pageSize" : 48 , "state" : 4 , "weight" : 0 , "more" : 0 , "sale" : 0 , "instock" : 1 , "filterReqFacets" : None , "rewriteTag" : False , "userId" : "" , "priceTag" : 0} paramJson["catId"] = catId retValue["paramJson"] = paramJson return retValue body=urllib.urlencode(GetFormDate(2,"cat15965738")) request = urllib2.Request("http://www.gome.com.cn/p/asynSearch" ) request.add_header("Referer", "http://www.gome.com.cn/category/cat15965738.html") request.add_header('Content-Type','application/json') request.add_header('X-Requested-With','XMLHttpRequest') request.add_header('HOST','www.gome.com.cn') request.add_header('Accept-Language','zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3') request.add_header('Accept','application/json, text/javascript, */*; q=0.01') f = urllib2.urlopen(request , json.dumps(GetFormDate(2,"cat15965738"))) content = f.read() print content 这样写的话，获得的Content 一直是空，有哪位大神知道为什么吗，求解啊

请问python中，如何抓取dataframe的列数和第n列的数据？

我以前用的都是 data['AttributeName']抓取某列的数据，想求个抓取列数第n列数据方法。

求助：python爬取12306车票信息总是出现错误

最近初学python，进展到网络爬虫部分，尝试自己写一下查票，结果遇到了麻烦 ``` import requests url = 'https://kyfw.12306.cn/otn/leftTicket/queryZ?' \ 'leftTicketDTO.train_date=2020-02-01&' \ 'leftTicketDTO.from_station=SHH&' \ 'leftTicketDTO.to_station=BJP&purpose_codes=ADULT' result=requests.get(url) print(result.json()) ``` 出现的问题如下： ``` Traceback (most recent call last): File "D:/Files/check tickets/123.py", line 7, in <module> print(result.json()) File "D:\Files\python3\lib\site-packages\requests\models.py", line 897, in json return complexjson.loads(self.text, **kwargs) File "D:\Files\python3\lib\json\__init__.py", line 357, in loads return _default_decoder.decode(s) File "D:\Files\python3\lib\json\decoder.py", line 337, in decode obj, end = self.raw_decode(s, idx=_w(s, 0).end()) File "D:\Files\python3\lib\json\decoder.py", line 355, in raw_decode raise JSONDecodeError("Expecting value", s, err.value) from None json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0) ``` 不知如何解决，求解答，谢谢！

Python 多进程比单进程更慢问题求助

背景：初学Python的菜鸟，没有任何语言基础。目前需求是希望通过Python+Selenium3使用多个账号实现自动操作网页。由于账号数比较多，需要借助多线程/多进程协助。 但是在使用了多进程代码后速度并没有提升，经过检测发现确实是不同进程在操作。经过简化的代码块如下（将网页操作简化为一个简单的系统计算），请各位大大帮忙看看。可以看出，单线程比多线程执行速度更快。 # 子进程，所需要执行的任务 def MainProcess(i): a = i*i*i*i*i*i*i*i*i*i*i*i*i*i*i*i name = multiprocessing.current_process().name print(name,'starting',a) # 主程序 if __name__=='__main__': # 定义最大进程 pool = Pool(processes=4) # 记录开始时间 start_time = time.time() print('等待程序进行中') for i in range(10): pool.apply(MainProcess,(i,)) pool.close() pool.join() end_time = time.time() print('多线程耗时',(end_time - start_time),'秒') # 单进程操作 start_time = time.time() for i in range (10): name = multiprocessing.current_process().name print(name,'starting') print(i*i*i*i*i*i*i*i*i*i*i*i*i*i*i*i) end_time = time.time() print('单线程耗时',(end_time - start_time),'秒') 输出结果如下： ForkPoolWorker-37 starting 0 ForkPoolWorker-38 starting 1 ForkPoolWorker-39 starting 65536 ForkPoolWorker-40 starting 43046721 ForkPoolWorker-37 starting 4294967296 ForkPoolWorker-38 starting 152587890625 ForkPoolWorker-39 starting 2821109907456 ForkPoolWorker-40 starting 33232930569601 ForkPoolWorker-37 starting 281474976710656 ForkPoolWorker-38 starting 1853020188851841 等待程序进行中 多线程耗时 0.10775995254516602 秒 MainProcess starting 0 MainProcess starting 1 MainProcess starting 65536 MainProcess starting 43046721 MainProcess starting 4294967296 MainProcess starting 152587890625 MainProcess starting 2821109907456 MainProcess starting 33232930569601 MainProcess starting 281474976710656 MainProcess starting 1853020188851841 单线程耗时 0.0017528533935546875 秒

python scrapy 爬虫图片新手求助

求问大神 我这个data她怎么了 报错： 2020-02-07 09:24:55 [scrapy.utils.log] INFO: Scrapy 1.8.0 started (bot: meizitu) 2020-02-07 09:24:55 [scrapy.utils.log] INFO: Versions: lxml 4.5.0.0, libxml2 2.9.5, cssselect 1.1.0, parsel 1.5.2, w3lib 1.21.0, Twisted 19.10.0, Python 3.7.3 (v3.7.3:ef4ec6ed12, Mar 25 2019, 22:22:05) [MSC v.1916 64 bit (AMD64)], pyOpenSSL 19.1.0 (OpenSSL 1.1.1d 10 Sep 2019), cryptography 2.8, Platform Windows-10-10.0.17763-SP0 2020-02-07 09:24:55 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'meizitu', 'NEWSPIDER_MODULE': 'meizitu.spiders', 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['meizitu.spiders']} 2020-02-07 09:24:55 [scrapy.extensions.telnet] INFO: Telnet Password: 0936097982b9bcc8 2020-02-07 09:24:55 [scrapy.middleware] INFO: Enabled extensions: ['scrapy.extensions.corestats.CoreStats', 'scrapy.extensions.telnet.TelnetConsole', 'scrapy.extensions.logstats.LogStats'] 2020-02-07 09:24:56 [scrapy.middleware] INFO: Enabled downloader middlewares: ['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware', 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware', 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware', 'scrapy.downloadermiddlewares.retry.RetryMiddleware', 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware', 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware', 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware', 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware', 'scrapy.downloadermiddlewares.stats.DownloaderStats'] 2020-02-07 09:24:56 [scrapy.middleware] INFO: Enabled spider middlewares: ['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware', 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware', 'scrapy.spidermiddlewares.referer.RefererMiddleware', 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware', 'scrapy.spidermiddlewares.depth.DepthMiddleware'] Unhandled error in Deferred: 2020-02-07 09:24:56 [twisted] CRITICAL: Unhandled error in Deferred: Traceback (most recent call last): File "e:\python3.7\lib\site-packages\scrapy\crawler.py", line 184, in crawl return self._crawl(crawler, *args, **kwargs) File "e:\python3.7\lib\site-packages\scrapy\crawler.py", line 188, in _crawl d = crawler.crawl(*args, **kwargs) File "e:\python3.7\lib\site-packages\twisted\internet\defer.py", line 1613, in unwindGenerator return _cancellableInlineCallbacks(gen) File "e:\python3.7\lib\site-packages\twisted\internet\defer.py", line 1529, in _cancellableInlineCallbacks _inlineCallbacks(None, g, status) --- <exception caught here> --- File "e:\python3.7\lib\site-packages\twisted\internet\defer.py", line 1418, in _inlineCallbacks result = g.send(result) File "e:\python3.7\lib\site-packages\scrapy\crawler.py", line 86, in crawl self.engine = self._create_engine() File "e:\python3.7\lib\site-packages\scrapy\crawler.py", line 111, in _create_engine return ExecutionEngine(self, lambda _: self.stop()) File "e:\python3.7\lib\site-packages\scrapy\core\engine.py", line 70, in __init__ self.scraper = Scraper(crawler) File "e:\python3.7\lib\site-packages\scrapy\core\scraper.py", line 71, in __init__ self.itemproc = itemproc_cls.from_crawler(crawler) File "e:\python3.7\lib\site-packages\scrapy\middleware.py", line 53, in from_crawler return cls.from_settings(crawler.settings, crawler) File "e:\python3.7\lib\site-packages\scrapy\middleware.py", line 34, in from_settings mwcls = load_object(clspath) File "e:\python3.7\lib\site-packages\scrapy\utils\misc.py", line 46, in load_object mod = import_module(module) File "e:\python3.7\lib\importlib\__init__.py", line 127, in import_module return _bootstrap._gcd_import(name[level:], package, level) File "<frozen importlib._bootstrap>", line 1006, in _gcd_import File "<frozen importlib._bootstrap>", line 983, in _find_and_load File "<frozen importlib._bootstrap>", line 967, in _find_and_load_unlocked File "<frozen importlib._bootstrap>", line 677, in _load_unlocked File "<frozen importlib._bootstrap_external>", line 724, in exec_module File "<frozen importlib._bootstrap_external>", line 860, in get_code File "<frozen importlib._bootstrap_external>", line 791, in source_to_code File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed builtins.SyntaxError: unexpected EOF while parsing (pipelines.py, line 22) 2020-02-07 09:24:56 [twisted] CRITICAL: Traceback (most recent call last): File "e:\python3.7\lib\site-packages\twisted\internet\defer.py", line 1418, in _inlineCallbacks result = g.send(result) File "e:\python3.7\lib\site-packages\scrapy\crawler.py", line 86, in crawl self.engine = self._create_engine() File "e:\python3.7\lib\site-packages\scrapy\crawler.py", line 111, in _create_engine return ExecutionEngine(self, lambda _: self.stop()) File "e:\python3.7\lib\site-packages\scrapy\core\engine.py", line 70, in __init__ self.scraper = Scraper(crawler) File "e:\python3.7\lib\site-packages\scrapy\core\scraper.py", line 71, in __init__ self.itemproc = itemproc_cls.from_crawler(crawler) File "e:\python3.7\lib\site-packages\scrapy\middleware.py", line 53, in from_crawler return cls.from_settings(crawler.settings, crawler) File "e:\python3.7\lib\site-packages\scrapy\middleware.py", line 34, in from_settings mwcls = load_object(clspath) File "e:\python3.7\lib\site-packages\scrapy\utils\misc.py", line 46, in load_object mod = import_module(module) File "e:\python3.7\lib\importlib\__init__.py", line 127, in import_module return _bootstrap._gcd_import(name[level:], package, level) File "<frozen importlib._bootstrap>", line 1006, in _gcd_import File "<frozen importlib._bootstrap>", line 983, in _find_and_load File "<frozen importlib._bootstrap>", line 967, in _find_and_load_unlocked File "<frozen importlib._bootstrap>", line 677, in _load_unlocked File "<frozen importlib._bootstrap_external>", line 724, in exec_module File "<frozen importlib._bootstrap_external>", line 860, in get_code File "<frozen importlib._bootstrap_external>", line 791, in source_to_code File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed File "E:\python_work\爬虫\meizitu\meizitu\pipelines.py", line 22 f.write(data) ^ SyntaxError: unexpected EOF while parsing 代码如下： pipeline ``` import requests class MeizituPipeline(object): def process_item(self, item, spider): print("main_title:",item['main_title']) print("main_image:", item['main_image']) print("main_tags:", item['main_tags']) print("main_meta:", item['main_meta']) print("page:", item['main_pagenavi']) url = requests.get(item['main_image']) print(url) try: with open(item['main_pagenavi'] +'.jpg','wb') as f: data = url.read() f.write(data) ``` image.py ``` import scrapy from scrapy.http import response from ..items import MeizituItem class ImageSpider(scrapy.Spider): #定义Spider的名字scrapy crawl meiaitu name = 'SpiderMain' #允许爬虫的域名 allowed_domains = ['www.mzitu.com/203554'] #爬取的首页列表 start_urls = ['https://www.mzitu.com/203554'] #负责提取response的信息 #response代表下载器从start_urls中的url的到的回应 #提取的信息 def parse(self,response): #遍历所有节点 for Main in response.xpath('//div[@class = "main"]'): item = MeizituItem() #匹配所有节点元素/html/body/div[2]/div[1]/div[3]/p/a content = Main.xpath('//div[@class = "content"]') item['main_title'] = content.xpath('./h2/text()') item['main_image'] = content.xpath('./div[@class="main-image"]/p/a/img') item['main_meta'] = content.xpath('./div[@class="main-meta"]/span/text()').extract() item['main_tags'] = content.xpath('./div[@class="main-tags"]/a/text()').extract() item['main_pagenavi'] = content.xpath('./div[@class="main_pagenavi"]/span/text()').extract_first() yield item new_links = response.xpath('.//div[@class="pagenavi"]/a/@href').extract() new_link =new_links[-1] yield scrapy.Request(new_link,callback=self.parse) ``` setting ``` BOT_NAME = 'meizitu' SPIDER_MODULES = ['meizitu.spiders'] NEWSPIDER_MODULE = 'meizitu.spiders' ROBOTSTXT_OBEY = True #配置默认请求头 DEFAULT_REQUEST_HEADERS = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36", 'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8' } ITEM_PIPELINES = { 'meizitu.pipelines.MeizituPipeline':300, } IMAGES_STORE = 'E:\python_work\爬虫\meizitu' IMAGES_MIN_HEIGHT = 1050 IMAGES_MIN_WIDTH = 700 ```

python抓取web表单内容

现有一个web档案管理系统，在输入框内输入号码，在输入框下面自动查询数据库现实号码对应的企业名称，要用py制作一个小程序按快捷键自动抓取输入的号码和企业名称并保存到Excel中，跪求如何抓取到这两个信息，URLlib 和urllib2貌似都是抓取静态页面的数据，或者我理解的不对？？？麻烦各位大神！

scrapy能够实现先登录再抓取吗

想用python中的scrapy框架抓取网页，但是需要先登录才能显示抓取内容，登录即为一个post操作，但是scrapy中直接通过spider模块的start_url中的url在调度器中生成request，如果需添加post参数是在调试器里添加吗，另外在哪里可以打开并编辑调试器代码？ 求用过scrapy的高手解答？_

python+selenium自动化，怎么获取到网页提示的元素？？？

python+selenium自动化，怎么获取到网页提示的元素？？？

python 用pdfkit导出网页的pdf空白，应该如何设置wkhtmltopdf的cookie？

用pdfkit和 wkhtmltopdf 需要导出的网页是需要登录才可以打开的，如果不登录，直接访问URL，就是空白页，我怀疑是wkhtmltopdf导出的就是没有登录的内容。 应该如何设置wkhtmltopdf的cookie？ 代码如下： pdfconfg = pdfkit.configuration(wkhtmltopdf='C:\Python35\wkhtmltopdf.exe') driver.switch_to_window(driver.window_handles[1]) sleep(1) print (driver.current_url) pdfkit.from_url(driver.current_url, 'test.pdf',configuration=pdfconfg) print的URL和网页URL是一致的 

请问Python中如何用groupby抓取指定列指定值的数据？

role=travel.groupby("Age")可根据年龄抓数据，如何抓指定年龄的数据呢？

python操作excel问题求助

本人小白，求助个问题： excel文件原来只有一个sheet1页， 打开后插入sheet2， 把sheet1中某两行数据拷贝到sheet2中， 请问，用openpyxl怎么实现？

正在学习Python抓取网站信息，网页中关键字的url（省份和城市的url）怎么找到的，求大师指导！！！


python3 网页抓取转码问题，求赐教

用chardet返回网页类型，当返回 ascii、 windows-1254 None 的时候转码utf-8不成功，输出中文出现乱码，请问要怎么实现转码？谢谢大神赐教！

动态规划入门到熟悉，看不懂来打我啊

持续更新。。。。。。 2.1斐波那契系列问题 2.2矩阵系列问题 2.3跳跃系列问题 3.1 01背包 3.2 完全背包 3.3多重背包 3.4 一些变形选讲 2.1斐波那契系列问题 在数学上，斐波纳契数列以如下被以递归的方法定义：F(0)=0，F(1)=1, F(n)=F(n-1)+F(n-2)（n&gt;=2，n∈N*）根据定义，前十项为1, 1, 2, 3...

130 个相见恨晚的超实用网站，一次性分享出来

相见恨晚的超实用网站 持续更新中。。。

Java学习的正确打开方式

在博主认为，对于入门级学习java的最佳学习方法莫过于视频+博客+书籍+总结，前三者博主将淋漓尽致地挥毫于这篇博客文章中，至于总结在于个人，实际上越到后面你会发现学习的最好方式就是阅读参考官方文档其次就是国内的书籍，博客次之，这又是一个层次了，这里暂时不提后面再谈。博主将为各位入门java保驾护航，各位只管冲鸭！！！上天是公平的，只要不辜负时间，时间自然不会辜负你。 何谓学习？博主所理解的学习，它是一个过程，是一个不断累积、不断沉淀、不断总结、善于传达自己的个人见解以及乐于分享的过程。

程序员必须掌握的核心算法有哪些？

由于我之前一直强调数据结构以及算法学习的重要性，所以就有一些读者经常问我，数据结构与算法应该要学习到哪个程度呢？，说实话，这个问题我不知道要怎么回答你，主要取决于你想学习到哪些程度，不过针对这个问题，我稍微总结一下我学过的算法知识点，以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的，并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构，当然，我也会整理一些看过...

Python——画一棵漂亮的樱花树（不同种樱花+玫瑰+圣诞树喔）

最近翻到一篇知乎，上面有不少用Python（大多是turtle库）绘制的树图，感觉很漂亮，我整理了一下，挑了一些我觉得不错的代码分享给大家（这些我都测试过，确实可以生成） one 樱花树 动态生成樱花 效果图（这个是动态的）： 实现代码 import turtle as T import random import time # 画樱花的躯干(60,t) def Tree(branch, ...

大学四年自学走来，这些私藏的实用工具/学习网站我贡献出来了

大学四年，看课本是不可能一直看课本的了，对于学习，特别是自学，善于搜索网上的一些资源来辅助，还是非常有必要的，下面我就把这几年私藏的各种资源，网站贡献出来给你们。主要有：电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意：文中提到的所有资源，文末我都给你整理好了，你们只管拿去，如果觉得不错，转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...

为啥国人偏爱Mybatis，而老外喜欢Hibernate/JPA呢？

关于SQL和ORM的争论，永远都不会终止，我也一直在思考这个问题。昨天又跟群里的小伙伴进行了一番讨论，感触还是有一些，于是就有了今天这篇文。 声明：本文不会下关于Mybatis和JPA两个持久层框架哪个更好这样的结论。只是摆事实，讲道理，所以，请各位看官勿喷。 一、事件起因 关于Mybatis和JPA孰优孰劣的问题，争论已经很多年了。一直也没有结论，毕竟每个人的喜好和习惯是大不相同的。我也看...

我在支付宝花了1分钟，查到了女朋友的开房记录！

在大数据时代下，不管你做什么都会留下蛛丝马迹，只要学会把各种软件运用到极致，捉奸简直轻而易举。今天就来给大家分享一下，什么叫大数据抓出轨。据史料证明，马爸爸年轻时曾被...

shell脚本：备份数据库、代码上线

备份MySQL数据库 场景： 一台MySQL服务器，跑着5个数据库，在没有做主从的情况下，需要对这5个库进行备份 需求： 1）每天备份一次，需要备份所有的库 2）把备份数据存放到/data/backup/下 3）备份文件名称格式示例：dbname-2019-11-23.sql 4）需要对1天以前的所有sql文件压缩，格式为gzip 5）本地数据保留1周 6）需要把备份的数据同步到远程备份中心，假如...

聊聊C语言和指针的本质

坐着绿皮车上海到杭州，24块钱，很宽敞，在火车上非正式地聊几句。 很多编程语言都以 “没有指针” 作为自己的优势来宣传，然而，对于C语言，指针却是与生俱来的。 那么，什么是指针，为什么大家都想避开指针。 很简单， 指针就是地址，当一个地址作为一个变量存在时，它就被叫做指针，该变量的类型，自然就是指针类型。 指针的作用就是，给出一个指针，取出该指针指向地址处的值。为了理解本质，我们从计算机模型说起...

为什么你学不过动态规划？告别动态规划，谈谈我的经验

动态规划难吗？说实话，我觉得很难，特别是对于初学者来说，我当时入门动态规划的时候，是看 0-1 背包问题，当时真的是一脸懵逼。后来，我遇到动态规划的题，看的懂答案，但就是自己不会做，不知道怎么下手。就像做递归的题，看的懂答案，但下不了手，关于递归的，我之前也写过一篇套路的文章，如果对递归不大懂的，强烈建议看一看：为什么你学不会递归，告别递归，谈谈我的经验 对于动态规划，春招秋招时好多题都会用到动态...

程序员一般通过什么途径接私活？

二哥，你好，我想知道一般程序猿都如何接私活，我也想接，能告诉我一些方法吗？ 上面是一个读者“烦不烦”问我的一个问题。其实不止是“烦不烦”，还有很多读者问过我类似这样的问题。 我接的私活不算多，挣到的钱也没有多少，加起来不到 20W。说实话，这个数目说出来我是有点心虚的，毕竟太少了，大家轻喷。但我想，恰好配得上“一般程序员”这个称号啊。毕竟苍蝇再小也是肉，我也算是有经验的人了。 唾弃接私活、做外...

字节跳动面试官这样问消息队列：分布式事务、重复消费、顺序消费，我整理了一下

你知道的越多，你不知道的越多 点赞再看，养成习惯 GitHub上已经开源 https://github.com/JavaFamily 有一线大厂面试点脑图、个人联系方式和人才交流群，欢迎Star和完善 前言 消息队列在互联网技术存储方面使用如此广泛，几乎所有的后端技术面试官都要在消息队列的使用和原理方面对小伙伴们进行360°的刁难。 作为一个在互联网公司面一次拿一次Offer的面霸...

2020年大前端发展趋势

迅速发展的前端开发，在每⼀年，都为开发者带来了新的关键词。2019 年已步⼊尾声，2020 年前端发展的关键词⼜将有哪些呢？发展的方向又会是什么呢？参考2019年大前端的发展，不出意外，前端依旧会围绕⼩程序、超级APP、跨端开发、前端⼯程化以及新技术运用等几个方面进行展开（可以参考2019年大前端技术趋势深度解读）。 小程序 在⼩程序⽅⾯，今年仍然是⼩程序突⻜猛进的⼀年，各⼤主流的 App 都上线...

如何安装 IntelliJ IDEA 最新版本——详细教程

IntelliJ IDEA 简称 IDEA，被业界公认为最好的 Java 集成开发工具，尤其在智能代码助手、代码自动提示、代码重构、代码版本管理(Git、SVN、Maven)、单元测试、代码分析等方面有着亮眼的发挥。IDEA 产于捷克，开发人员以严谨著称的东欧程序员为主。IDEA 分为社区版和付费版两个版本。 我呢，一直是 Eclipse 的忠实粉丝，差不多十年的老用户了。很早就接触到了 IDEA...

1个月时间整理了2019年上千道Java面试题，近500页文档！

Spring 面试题 1、一般问题 1.1、不同版本的 spring Framework 有哪些主要功能？ 1.2、什么是 spring Framework？ 1.3、列举 spring Framework 的优点。 1.4、spring Framework 有哪些不同的功能？ 1.5、spring Framework 中有多少个模块，它们分别是什么？ 1.6、什么是 spring ...

面试还搞不懂redis，快看看这40道面试题（含答案和思维导图）

Redis 面试题 1、什么是 Redis?. 2、Redis 的数据类型？ 3、使用 Redis 有哪些好处？ 4、Redis 相比 Memcached 有哪些优势？ 5、Memcache 与 Redis 的区别都有哪些？ 6、Redis 是单进程单线程的？ 7、一个字符串类型的值能存储最大容量是多少？ 8、Redis 的持久化机制是什么？各自的优缺点？ 9、Redis 常见性...

为什么要推荐大家学习字节码？

配套视频： 为什么推荐大家学习Java字节码 https://www.bilibili.com/video/av77600176/ 一、背景 本文主要探讨：为什么要学习 JVM 字节码？ 可能很多人会觉得没必要，因为平时开发用不到，而且不学这个也没耽误学习。 但是这里分享一点感悟，即人总是根据自己已经掌握的知识和技能来解决问题的。 这里有个悖论，有时候你觉得有些技术没用恰恰是...

在阿里，40岁的奋斗姿势

在阿里，40岁的奋斗姿势 在阿里，什么样的年纪可以称为老呢？35岁？ 在云网络，有这样一群人，他们的平均年龄接近40，却刚刚开辟职业生涯的第二战场。 他们的奋斗姿势是什么样的呢？ 洛神赋 “翩若惊鸿，婉若游龙。荣曜秋菊，华茂春松。髣髴兮若轻云之蔽月，飘飖兮若流风之回雪。远而望之，皎若太阳升朝霞；迫而察之，灼若芙蕖出渌波。” 爱洛神，爱阿里云 2018年，阿里云网络产品部门启动洛神2.0升...

【超详细分析】关于三次握手与四次挥手面试官想考我们什么？

在面试中，三次握手和四次挥手可以说是问的最频繁的一个知识点了，我相信大家也都看过很多关于三次握手与四次挥手的文章，今天的这篇文章，重点是围绕着面试，我们应该掌握哪些比较重要的点，哪些是比较被面试官给问到的，我觉得如果你能把我下面列举的一些点都记住、理解，我想就差不多了。 三次握手 当面试官问你为什么需要有三次握手、三次握手的作用、讲讲三次三次握手的时候，我想很多人会这样回答： 首先很多人会先讲下握...

压测学习总结（1）——高并发性能指标：QPS、TPS、RT、吞吐量详解

一、QPS，每秒查询 QPS：Queries Per Second意思是“每秒查询率”，是一台服务器每秒能够相应的查询次数，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。互联网中，作为域名系统服务器的机器的性能经常用每秒查询率来衡量。 二、TPS，每秒事务 TPS：是TransactionsPerSecond的缩写，也就是事务数/秒。它是软件测试结果的测量单位。一个事务是指一...

新程序员七宗罪

当我发表这篇文章《为什么每个工程师都应该开始考虑开发中的分析和编程技能呢?》时，我从未想到它会对读者产生如此积极的影响。那些想要开始探索编程和数据科学领域的人向我寻求建议;还有一些人问我下一篇文章的发布日期;还有许多人询问如何顺利过渡到这个职业。我非常鼓励大家继续分享我在这个旅程的经验，学习，成功和失败，以帮助尽可能多的人过渡到一个充满无数好处和机会的职业生涯。亲爱的读者，谢谢你。 -罗伯特。 ...

活到老，学到老，程序员也该如此

全文共2763字，预计学习时长8分钟 图片来源：Pixabay 此前，“网传阿里巴巴要求尽快实现P8全员35周岁以内”的消息闹得沸沸扬扬。虽然很快被阿里辟谣，但苍蝇不叮无缝的蛋，无蜜不招彩蝶蜂。消息从何而来？真相究竟怎样？我们无从而知。我们只知道一个事实：不知从何时开始，程序猿也被划在了“吃青春饭”行业之列。 饱受“996ICU”摧残后，好不容易“头秃了变强了”，即将步入为“高...

Vue快速实现通用表单验证

本文开篇第一句话，想引用鲁迅先生《祝福》里的一句话，那便是：“我真傻，真的，我单单知道后端整天都是CRUD，我没想到前端整天都是Form表单”。这句话要从哪里说起呢？大概要从最近半个月的“全栈工程师”说起。项目上需要做一个城市配载的功能，顾名思义，就是通过框选和拖拽的方式在地图上完成配载。博主选择了前后端分离的方式，在这个过程中发现：首先，只要有依赖jQuery的组件，譬如Kendoui，即使使用...

2019年Spring Boot面试都问了什么？快看看这22道面试题！

Spring Boot 面试题 1、什么是 Spring Boot？ 2、Spring Boot 有哪些优点？ 3、什么是 JavaConfig？ 4、如何重新加载 Spring Boot 上的更改，而无需重新启动服务器？ 5、Spring Boot 中的监视器是什么？ 6、如何在 Spring Boot 中禁用 Actuator 端点安全性？ 7、如何在自定义端口上运行 Sprin...

Unity项目在pc和ios设备上黑屏的原因探究

0x00 由于项目上线了windows平台的项目（别问我为什么，咱也不敢说，咱也不敢问），由Unity5.4.6升级到Unity2018的过程中，遇到了各种各样的坑，本文为避坑指南1。本项目没有使用HDR和抗锯齿，由于查这几个问题查到吐血，前后用了3天的时间，本文充满了怨气，行文非常啰嗦，需要快速解决问题的，可以直接拉到最后看结论。 0x01 法线贴图 项目在unity2018出了新的androi...

关于裁员几点看法及建议

最近网易裁员事件引起广泛关注，昨天网易针对此事，也发了声明，到底谁对谁错，孰是孰非？我们作为吃瓜观众实在是知之甚少，所以不敢妄下定论。身处软件开发这个行业，近一两年来，对...

面试官：关于Java性能优化，你有什么技巧

通过使用一些辅助性工具来找到程序中的瓶颈，然后就可以对瓶颈部分的代码进行优化。 一般有两种方案：即优化代码或更改设计方法。我们一般会选择后者，因为不去调用以下代码要比调用一些优化的代码更能提高程序的性能。而一个设计良好的程序能够精简代码，从而提高性能。 下面将提供一些在JAVA程序的设计和编码中，为了能够提高JAVA程序的性能，而经常采用的一些方法和技巧。 1．对象的生成和大小的调整。 J...

【图解算法面试】记一次面试：说说游戏中的敏感词过滤是如何实现的？

版权声明：本文为苦逼的码农原创。未经同意禁止任何形式转载，特别是那些复制粘贴到别的平台的，否则，必定追究。欢迎大家多多转发，谢谢。 小秋今天去面试了，面试官问了一个与敏感词过滤算法相关的问题，然而小秋对敏感词过滤算法一点也没听说过。于是，有了下下事情的发生… 面试官开怼 面试官：玩过王者荣耀吧？了解过敏感词过滤吗？，例如在游戏里，如果我们发送“你在干嘛？麻痹演员啊你？”，由于“麻痹”是一个敏感词，...

相关热词 c#判断数字不得为负数 c#帧和帧协议 c#算偏移值 c# 在枚举中 c#6 字符串 插值 c#程序中的占位符标签 c#监听数组变化 c# vlc c#索引实现 c# 局域网广播通信