Pyspider爬虫框架使用Docker部署分布式连接redis数据库,连不上?

问题是这样的,使用docker布置分布式爬虫,框架采用pyspider,消息队列使用redis数据库,但是却无法在数据库中显示消息信息,
消息队列中无信息
求解!

代码如下:
单点redis 虚拟机上命令行部署:ip 192.168.0.137

 docker run --name mysql -d -p 192.168.0.137:3306:3306 -e MYSQL_ROOT_PASSWORD=root1234 mysql:latest

docker run -d --name redis -p 192.168.0.137:6379:6379 --restart=always redis:latest

docker run --name phantomjs -m 512m -d -e EXCLUDE_PORTS=5000,23333,24444 -p 192.168.0.137:25555:5000 --restart=always cecil/pyspider:add_mysql

docker run --name phantomjs-lb -d --link phantomjs --restart=always dockercloud/haproxy:latest

docker run --name fetcher  -m 128m -d --link phantomjs-lb:phantomjs -e EXCLUDE_PORTS=5000,25555,23333 --restart=always cecil/pyspider:add_mysql \
 **--message-queue "redis://192.168.0.137:6379/1"** \
 --phantomjs-proxy "phantomjs:80" \
 fetcher --xmlrpc

docker run --name fetcher-lb -d --link fetcher --restart=always dockercloud/haproxy:latest

docker run --name processor -m 256m -d --restart=always cecil/pyspider:add_mysql \
 --projectdb "mysql+projectdb://root:root1234@192.168.0.137:3306/projectdb" \
 --message-queue "redis://192.168.0.137:6379/2"

docker run --name processor-lb -d --link processor --restart=always dockercloud/haproxy:latest

docker run --name scheduler -d -p 192.168.0.137:23333:23333 --restart=always cecil/pyspider:add_mysql \
 --taskdb "mysql+taskdb://root:root1234@192.168.0.137:3306/taskdb" \
 --resultdb "mysql+resultdb://root:root1234@192.168.0.137:3306/resultdb" \
 --projectdb "mysql+projectdb://root:root1234@192.168.0.137:3306/projectdb" \
 --message-queue "redis://192.168.0.137:6379/3" \
 scheduler --inqueue-limit 5000 --delete-time 43200

docker run --name result_worker -m 256m -d --restart=always cecil/pyspider:add_mysql \
 --taskdb "mysql+taskdb://root:root1234@192.168.0.137:3306/taskdb" \
 --resultdb "mysql+resultdb://root:root1234@192.168.0.137:3306/resultdb" \
 --projectdb "mysql+projectdb://root:root1234@192.168.0.137:3306/projectdb" \
 --message-queue "redis://192.168.0.137:6379/4"

docker run --name webui -m 256m -d -p 192.168.0.137:5000:5000 -e EXCLUDE_PORTS=24444,25555,23333 --link fetcher-lb:fetcher --restart=always cecil/pyspider:add_mysql \
 --taskdb "mysql+taskdb://root:root1234@192.168.0.137:3306/taskdb" \
 --resultdb "mysql+resultdb://root:root1234@192.168.0.137:3306/resultdb" \
 --projectdb "mysql+projectdb://root:root1234@192.168.0.137:3306/projectdb" \
 --message-queue "redis://192.168.0.137:6379/5" \
 webui --username "root" --password "123456" --need-auth --max-rate 0.2 --max-burst 2 --scheduler-rpc "http://192.168.0.137:23333/" --fetcher-rpc http://fetcher/

其中重点是若干redis数据库语句,

 --message-queue "redis://192.168.0.137:6379/4" 

是否有误?

1个回答

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
python 爬虫 pyspider遇到的问题

pyspider on_start函数中 如果url改变,写个循环判断之类的会自动在左面生成所有分页路径,但我这个是ajax请求,url不变,只是参数中的分页参数在变,我该如何写才能让左面生成分页请求

pyspider无法爬取下一页js中的内容

使用pyspidert爬取[股票](http://quote.eastmoney.com/center/gridlist.html#hs_a_board "")中的内容,在点击下一页后url链接并不改变,只改变了js渲染中的内容,所以无法使用网上的教程。 在使用pyspider内嵌JavaScript时,也只能爬取第一页,无法爬取之后的内容。 ``` def index_page(self, response): for each in response.doc('#main-table > tbody > tr > td.listview-col-Code > a').items(): self.crawl(each.attr.href, callback=self.list_page) #翻页 self.crawl(response.url, callback=self.index_page, fetch_type='js',js_script='''function() {setTimeout("$('.next').click()", 5000);}''') ``` 第一次爬取后,20支股票和自己页面链接 ![图片说明](https://img-ask.csdn.net/upload/201903/26/1553588941_160766.png) 第二次爬取本链接,希望得到第二页内容 ![图片说明](https://img-ask.csdn.net/upload/201903/26/1553589004_342989.png) 结果还是第一页, ![图片说明](https://img-ask.csdn.net/upload/201903/26/1553589033_975030.png)

python 爬虫提交 request payload 数据问题

![图片说明](https://img-ask.csdn.net/upload/201601/11/1452481895_800072.png) 上图是谷歌显示 post 提交时候的数据。 登录以后,请求此POST链接时,没有数据只有一个错误:dwr.engine._remoteHandleException('0','0',{javaClassName:"com.netease.edu.commons.exceptions.FrontNotifiableRuntimeException",message:"not_auth"}); 我的目的是拿到这个dwr里面的数据。 还有这个Content-Type:"text/plain; charset=UTF-8"。是不是有关系。 求大神支招。万分感激

pyspider all为什么有时候启动成功,有时启动失败?

RT,运行pyspider后一直卡在result_worker starting... python版本3.7.4,pyspider版本0.3.10,WsgiDAV版本3.0, pycurl版本7.43.0.5。 电脑已安装mysql, mongodb, redis,phatomjs也在python目录里并加入环境变量。 已经排除async重名、wsgidav也修改过相关语句。也参照网上改过process_time_out参数了。 运行过程中无报错,仅仅是卡在result_worker starting...中。并且大约尝试10次能成功启动一次。 我在run.py中插入一些打印语句,如下: ``` def processor(ctx, processor_cls, process_time_limit, enable_stdout_capture=True, get_object=False): """ Run Processor. """ g = ctx.obj print("pass31") Processor = load_cls(None, None, processor_cls) print("pass32") ``` 下图是启动失败与成功的截图 ![图片说明](https://img-ask.csdn.net/upload/202005/26/1590507406_783546.png) scheduler与fetcher函数也是如此,当成功启动webui时,可以打印出pass32,当卡住时则只会打印出pass31. 目前只发现这3 个函数内Scheduler=load...与Fetcher=load... Processor=load...是否执行是我这个Pyspider能否成功启动的差别。 有没有大佬解惑一下,我这个是什么情况,折腾好几天了,每尝试启动个十来次才能成功一次太秃头了。

大神请看,在cmd输入pyspider无法正常启动,细节见图

pyspider问题! ![图片说明](https://img-ask.csdn.net/upload/201903/24/1553410644_750471.png) 显示phantomjs加载失败,然后其他也跟着失败了 ![图片说明](https://img-ask.csdn.net/upload/201903/24/1553410685_769654.png)

启动pyspider时,一直卡在result_worker starting...,应该怎么解决

**启动pyspider,一直卡在result__worker starting不往下运行** ``` Microsoft Windows [版本 10.0.17763.678] (c) 2018 Microsoft Corporation。保留所有权利。 C:\Users\zhihe>pyspider all c:\users\zhihe\appdata\local\programs\python\python37\lib\site-packages\pyspider\libs\utils.py:196: FutureWarning: timeout is not supported on your platform. warnings.warn("timeout is not supported on your platform.", FutureWarning) phantomjs fetcher running on port 25555 [I 190821 00:46:03 result_worker:49] result_worker starting... ``` 网上找的到的解决方法都是:关闭防火墙。但是我关闭了防火墙仍然没有效果。 **我的Python版本:** ``` Python 3.7.4 (tags/v3.7.4:e09359112e, Jul 8 2019, 20:34:20) [MSC v.1916 64 bit (AMD64)] on win32 ``` **Pyspider版本:** ``` C:\Users\zhihe>pip3 show pyspider Name: pyspider Version: 0.3.10 Summary: A Powerful Spider System in Python Home-page: https://github.com/binux/pyspider Author: Roy Binux Author-email: roy@binux.me License: Apache License, Version 2.0 Location: c:\users\zhihe\appdata\local\programs\python\python37\lib\site-packages Requires: chardet, Jinja2, tblib, u-msgpack-python, six, click, tornado, lxml, pycurl, requests, wsgidav, Flask, cssselect, pyquery, Flask-Login ``` **Pycurl版本:** ``` C:\Users\zhihe>pip3 show pycurl Name: pycurl Version: 7.43.0.3 Summary: PycURL -- A Python Interface To The cURL library Home-page: http://pycurl.io/ Author: Kjetil Jacobsen, Markus F.X.J. Oberhumer, Oleg Pudeyev Author-email: kjetilja at gmail.com, markus at oberhumer.com, oleg at bsdpower.com License: LGPL/MIT Location: c:\users\zhihe\appdata\local\programs\python\python37\lib\site-packages Requires: Required-by: pyspider ``` 替换关键字的三个文件都进行替换了,忘各位大拿老师解惑

为何pyspider运行成功后Results为空?

from pyspider.libs.base_handler import * import re class Handler(BaseHandler): crawl_config = { } def __init__(self): self.urls=[ "www.wego.cn/airports/airport-name/a", "www.wego.cn/airports/airport-name/b", "www.wego.cn/airports/airport-name/c", "www.wego.cn/airports/airport-name/d", "www.wego.cn/airports/airport-name/e", ] @every(minutes=24*60) def on_start(self): for url in self.urls: self.crawl(url, callback=self.index_page,validate_cert=False) @config(age=10*24*60*60) def index_page(self, response): url_list=re.findall('<li\sclass="extra-item\sis-hidden">\s+<a\shref="([\s+\S+]*?)"> \s+\S+',response.text) for item in url_list: url="http://www.wego.cn"+item self.crawl(url,callback=self.detail_page,validate_cert=False) @config(priority=2) def detail_page(self, response): print("------enter matching--------") AirportName=re.findall('<tr>\s+<td\swidth="200">全名</td>\s+<td>([\s+\S+]*?)</td>\s+</tr>',response.text) IATA=re.findall('<tr>\s+<td\swidth="200">IATA\s 代码</td>\s+<td>([\s+\S+]*?)</td>\s+</tr>',response.text) Latitude=re.findall('<tr>\s+<td\swidth="200">纬度</td>\s+<td>([\s+\S+]*?)</td>\s+</tr>',response.text) Longtitude=re.findall('<tr>\s+<td\swidth="200">经度</td>\s+<td>([\s+\S+]*?)</td>\s+</tr>',response.text) return { "url": response.url, "AirportName":AirportName[0] if AirportName else "无", "IATA":IATA[0] if IATA else "无", "Longtitude":Longtitude[0] if Longtitude else "无", "Latitude":Latitude[0] if Latitude else "无" }

pyspider 项目如何retry failed的网页

pyspider 项目如何retry failed的网页,而不重跑已经成功的网页

cmd 运行 pyspider all 时出现如下错误,该怎么解决?

[I 160902 23:03:21 result_worker:49] result_worker starting... Web server running on port 25555 [I 160902 23:03:28 processor:208] processor starting... c:\python27\lib\site-packages\flask\exthook.py:71: ExtDeprecationWarning: Importing flask.ext.login is deprecated, use flask_login instead. .format(x=modname), ExtDeprecationWarning [I 160902 23:03:32 scheduler:569] scheduler starting... [I 160902 23:03:33 scheduler:508] in 5m: new:0,success:0,retry:0,failed:0 Exception in thread Thread-4: Traceback (most recent call last): File "c:\python27\lib\threading.py", line 801, in __bootstrap_inner self.run() File "c:\python27\lib\threading.py", line 754, in run self.__target(*self.__args, **self.__kwargs) File "c:\python27\lib\site-packages\click\core.py", line 534, in invoke return callback(*args, **kwargs) File "c:\python27\lib\site-packages\click\decorators.py", line 17, in new_func return f(get_current_context(), *args, **kwargs) File "c:\python27\lib\site-packages\pyspider\run.py", line 240, in fetcher poolsize=poolsize, proxy=proxy, async=async) File "c:\python27\lib\site-packages\pyspider\fetcher\tornado_fetcher.py", line 85, in __init__ self.ioloop = tornado.ioloop.IOLoop() File "c:\python27\lib\site-packages\tornado\util.py", line 278, in __new__ instance.initialize(*args, **init_kwargs) File "c:\python27\lib\site-packages\tornado\platform\select.py", line 76, in initialize super(SelectIOLoop, self).initialize(impl=_Select(), **kwargs) File "c:\python27\lib\site-packages\tornado\ioloop.py", line 705, in initialize self._waker = Waker() File "c:\python27\lib\site-packages\tornado\platform\common.py", line 44, in __init__ self.writer.connect(connect_address) File "c:\python27\lib\socket.py", line 228, in meth return getattr(self._sock,name)(*args) error: [Errno 10060]

哪位大神能帮忙解决一下pyspider 启动的问题啊!!!

![图片说明](https://img-ask.csdn.net/upload/201909/02/1567423802_277387.png) 启动到这里就没有反应了。async我替换了,替换了14个。不知道还有哪些地方有问题。

pyspider写入数据库报错 MySQLdb._exceptions.OperationalError: (2006, '')

问题背景: 因为要将爬取的内容写入到数据库,所以在navicat内创建了新的数据表, 并设置好字段。在pyspider的调试页面的时候数据可以正常写入到mysql内。 但是已在pyspider的webui页面点击running后就会报错。 调试页面的代码: try: cursor = self.db.cursor() #data= sql = "insert into zpxx(jobtitle,Jobnature, workplace,Experiences,major,lan,wages,ProfessionalTitle,Number,dates,renzhiyaoqiu,companyjianjie,companysize,companyxingzhi,companytel,companyurl,companyemail) values ('%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s')"%(title,Nature,Place,exp,major,Lan,wages,Zc,num,date,Req,company_profile,company_size,company_nature,tel,url,email) cursor.execute(sql) cursor.close() self.db.commit() self.db.close() except Exception as e: print (e) self.db.rollback() 只放了写入数据库部分的代码。 在调试页面的时候一切正常,而且数据库也有信息。 但是一运行就会报错: (2006, '') [E 190417 08:57:22 base_handler:203] (2006, '') Traceback (most recent call last): File "c:\py36_virtualenv\lib\site-packages\pyspider\libs\base_handler.py", line 196, in run_task result = self._run_task(task, response) File "c:\py36_virtualenv\lib\site-packages\pyspider\libs\base_handler.py", line 176, in _run_task return self._run_func(function, response, task) File "c:\py36_virtualenv\lib\site-packages\pyspider\libs\base_handler.py", line 155, in _run_func ret = function(*arguments[:len(args) - 1]) File "<1>", line 63, in detail_page File "c:\py36_virtualenv\lib\site-packages\MySQLdb\cursors.py", line 183, in execute while self.nextset(): File "c:\py36_virtualenv\lib\site-packages\MySQLdb\cursors.py", line 136, in nextset nr = db.next_result() MySQLdb._exceptions.OperationalError: (2006, '') 上网查了很多,要么是说最大写入数不对等等,可是试了都没有用 求指教

pyspider在爬取网站是一直提示error,后台就自动停止了,这个是什么原因

![图片说明](https://img-ask.csdn.net/upload/201904/13/1555140483_799714.png)![图片说明](https://img-ask.csdn.net/upload/201904/13/1555140490_879261.png) 今天第一次用pyspider,在爬取网站是一直提示error,后台就自动停止了,这个是什么原因

python 如何爬取url翻页不变的网址

http://mzj.beijing.gov.cn/wssbweb/wssb/dc/searchOrgList.do?action=searchOrgList 我需要爬取这个网站每一家公司的详细信息,我的思路是通过这个主页面爬取所有详情页面的网址,然后再打开详情页面(公司详细信息页面)爬取需要的数据。我现在面临的问题是,这个网址翻页时网址没有发生变化,在网上查了很多方法都没有用,总是重复爬取第一页内容。 求各位大神赐教!! 这是我的代码: import requests import os import re ww='http://mzj.beijing.gov.cn' web=[] def get_page(url,page_num): pageList =[] for i in range(1,page_num +1): formdata ={'type':'index' , 'paged': i}##从网上找的方法,也用了requests.post,也试过把paged改成current_page都无效 try: r = requests.post(url,data =formdata) r.raise_for_status() r.encoding = r.apparent_encoding p = re.compile('<a href="(.*?)"\starget') tempList = re.findall(p,r.text) for each in tempList: site=ww+each pageList.append(site) tempList = [] except: print('链接失败') return pageList url='http://mzj.beijing.gov.cn/wssbweb/wssb/dc/searchOrgList.do?action=searchOrgList' web=get_page(url,763) len(web)

求教如何通过python抓取网页中表格信息

刚刚开始学习python 不清楚如何通过python抓取网页中的表格信息 比如给定一个student.html 里面有学号、姓名、性别等信息 怎么样写才能够输入学号 读出其他信息?

使用 androcsign.py 遇到问题,求高手指导

impossible to find Lcom/plankton/device/android/service/AndroidMDKService; onStart (Landroid/content/Intent; I)V Traceback (most recent call last): File "./androcsign.py", line 67, in <module> main(options, arguments) File "./androcsign.py", line 42, in main ret = s.add_file( open( options.input, "rb" ).read() ) File "./elsim/elsim/elsign/dalvik_elsign.py", line 506, in add_file return self.pcs.add_file(srules) File "./elsim/elsim/elsign/dalvik_elsign.py", line 420, in add_file raise("ooo") TypeError: exceptions must be old-style classes or derived from BaseException, not str

jupyter notebook打开后网页空白

jupyter notebook从前天起打开后一直只能显示空白网页,目前已经尝试了更改浏览器和重装anaconda,然而没有任何改变,人在墙外所以应该也不是代理问题,跪求大佬帮忙。 ![图片说明](https://img-ask.csdn.net/upload/201903/17/1552821028_214545.png) ``` ```[I 18:52:12.434 NotebookApp] JupyterLab extension loaded from D:\program\Anaconda\lib\site-packages\jupyterlab [I 18:52:12.434 NotebookApp] JupyterLab application directory is D:\program\Anaconda\share\jupyter\lab [I 18:52:12.436 NotebookApp] Serving notebooks from local directory: C:\Users\John [I 18:52:12.436 NotebookApp] The Jupyter Notebook is running at: [I 18:52:12.436 NotebookApp] http://localhost:8888/?token=183a1c0d2fc20a05599130f0d75cdc7dda84ba1d2b89fc97 [I 18:52:12.436 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation). [C 18:52:12.441 NotebookApp] To access the notebook, open this file in a browser: file:///C:/Users/John/AppData/Roaming/jupyter/runtime/nbserver-6988-open.html Or copy and paste one of these URLs: http://localhost:8888/?token=183a1c0d2fc20a05599130f0d75cdc7dda84ba1d2b89fc97 ```

哪位大神帮忙指点一下猎聘网模拟登陆的问题

当前的form action为http://www.liepin.com/webUser/login4c.json,必要的参数都填写了,但是无法成功登陆。 我的代码如下: HttpClient httpClient = new HttpClient(); httpClient.getHostConfiguration().setHost("211.151.18.66", 80); PostMethod postMethod = new PostMethod("http://www.liepin.com/webUser/login4c.json"); postMethod.setRequestBody(new NameValuePair[]{ new NameValuePair("layer_from","wwwindex_rightbox_new"), new NameValuePair("user_login","XXX"), new NameValuePair("user_pwd", "XXX") }); System.out.println(httpClient.executeMethod(postMethod)); System.out.println(postMethod.getResponseBodyAsString());

python安装出现0x8007002-找不到系统文件

![![图片说明](https://img-ask.csdn.net/upload/201708/10/1502343478_716537.png)图片说明](https://img-ask.csdn.net/upload/201708/10/1502343472_248395.png)

selenium 初学 环境搭建时遇到的一些问题

ubantu版本:16.04 python:2.7 (ubantu自带的) chromedriver:2.9 selenium:最新版本 环境变量: PATH=$PATH:/usr/bin/chromedriver 以下是错误报告:还请大神帮忙纠错,谢谢~ ![图片说明](https://img-ask.csdn.net/upload/201804/09/1523246732_72915.png) 同样在windows操作系统下运行,应该报的是同样的错误: ![图片说明](https://img-ask.csdn.net/upload/201804/09/1523248542_133422.png)

程序员的兼职技能课

获取讲师答疑方式: 在付费视频第一节(触摸命令_ALL)片头有二维码及加群流程介绍 限时福利 原价99元,今日仅需39元!购课添加小助手(微信号:csdn590)按提示还可领取价值800元的编程大礼包! 讲师介绍: 苏奕嘉&nbsp;前阿里UC项目工程师 脚本开发平台官方认证满级(六级)开发者。 我将如何教会你通过【定制脚本】赚到你人生的第一桶金? 零基础程序定制脚本开发课程,是完全针对零脚本开发经验的小白而设计,课程内容共分为3大阶段: ①前期将带你掌握Q开发语言和界面交互开发能力; ②中期通过实战来制作有具体需求的定制脚本; ③后期将解锁脚本的更高阶玩法,打通任督二脉; ④应用定制脚本合法赚取额外收入的完整经验分享,带你通过程序定制脚本开发这项副业,赚取到你的第一桶金!

Windows版YOLOv4目标检测实战:训练自己的数据集

课程演示环境:Windows10; cuda 10.2; cudnn7.6.5; Python3.7; VisualStudio2019; OpenCV3.4 需要学习ubuntu系统上YOLOv4的同学请前往:《YOLOv4目标检测实战:训练自己的数据集》 课程链接:https://edu.csdn.net/course/detail/28745 YOLOv4来了!速度和精度双提升! 与 YOLOv3 相比,新版本的 AP (精度)和 FPS (每秒帧率)分别提高了 10% 和 12%。 YOLO系列是基于深度学习的端到端实时目标检测方法。本课程将手把手地教大家使用labelImg标注和使用YOLOv4训练自己的数据集。课程实战分为两个项目:单目标检测(足球目标检测)和多目标检测(足球和梅西同时检测)。 本课程的YOLOv4使用AlexyAB/darknet,在Windows系统上做项目演示。包括:安装软件环境、安装YOLOv4、标注自己的数据集、整理自己的数据集、修改配置文件、训练自己的数据集、测试训练出的网络模型、性能统计(mAP计算)和先验框聚类分析。还将介绍改善YOLOv4目标检测性能的技巧。 除本课程《Windows版YOLOv4目标检测实战:训练自己的数据集》外,本人将推出有关YOLOv4目标检测的系列课程。请持续关注该系列的其它视频课程,包括: 《Windows版YOLOv4目标检测实战:人脸口罩佩戴检测》 《Windows版YOLOv4目标检测实战:中国交通标志识别》 《Windows版YOLOv4目标检测:原理与源码解析》

lena全身原图(非256*256版本,而是全身原图)

lena全身原图(非256*256版本,而是全身原图) lena原图很有意思,我们通常所用的256*256图片是在lena原图上截取了头部部分的256*256正方形得到的. 原图是花花公子杂志上的一个

快速入门Android开发 视频 教程 android studio

这是一门快速入门Android开发课程,顾名思义是让大家能快速入门Android开发。 学完能让你学会如下知识点: Android的发展历程 搭建Java开发环境 搭建Android开发环境 Android Studio基础使用方法 Android Studio创建项目 项目运行到模拟器 项目运行到真实手机 Android中常用控件 排查开发中的错误 Android中请求网络 常用Android开发命令 快速入门Gradle构建系统 项目实战:看美图 常用Android Studio使用技巧 项目签名打包 如何上架市场

Java调用微信支付

Java 使用微信支付 一. 准备工作 1.

汽车租赁管理系统需求分析规格说明书

汽车租赁管理系统需求分析规格说明书,这只是一个模板,如果有不会的可以借鉴一下,还是蛮详细的。。。。

C/C++跨平台研发从基础到高阶实战系列套餐

一 专题从基础的C语言核心到c++ 和stl完成基础强化; 二 再到数据结构,设计模式完成专业计算机技能强化; 三 通过跨平台网络编程,linux编程,qt界面编程,mfc编程,windows编程,c++与lua联合编程来完成应用强化 四 最后通过基于ffmpeg的音视频播放器,直播推流,屏幕录像,

程序员的算法通关课:知己知彼(第一季)

【超实用课程内容】 程序员对于算法一直又爱又恨!特别是在求职面试时,算法类问题绝对是不可逃避的提问点!本门课程作为算法面试系列的第一季,会从“知己知彼”的角度,聊聊关于算法面试的那些事~ 【哪些人适合学习这门课程?】 求职中的开发者,对于面试算法阶段缺少经验 想了解实际工作中算法相关知识 在职程序员,算法基础薄弱,急需充电 【超人气讲师】 孙秀洋&nbsp;| 服务器端工程师 硕士毕业于哈工大计算机科学与技术专业,ACM亚洲区赛铜奖获得者,先后在腾讯和百度从事一线技术研发,对算法和后端技术有深刻见解。 【课程如何观看?】 PC端:https://edu.csdn.net/course/detail/27272 移动端:CSDN 学院APP(注意不是CSDN APP哦) 本课程为录播课,课程无限观看时长,但是大家可以抓紧时间学习后一起讨论哦~

机器学习初学者必会的案例精讲

通过六个实际的编码项目,带领同学入门人工智能。这些项目涉及机器学习(回归,分类,聚类),深度学习(神经网络),底层数学算法,Weka数据挖掘,利用Git开源项目实战等。

Python入门视频精讲

Python入门视频培训课程以通俗易懂的方式讲解Python核心技术,Python基础,Python入门。适合初学者的教程,让你少走弯路! 课程内容包括:1.Python简介和安装 、2.第一个Python程序、PyCharm的使用 、3.Python基础、4.函数、5.高级特性、6.面向对象、7.模块、8.异常处理和IO操作、9.访问数据库MySQL。教学全程采用笔记+代码案例的形式讲解,通俗易懂!!!

我以为我对Mysql事务很熟,直到我遇到了阿里面试官

太惨了,面试又被吊打

深度学习原理+项目实战+算法详解+主流框架(套餐)

深度学习系列课程从深度学习基础知识点开始讲解一步步进入神经网络的世界再到卷积和递归神经网络,详解各大经典网络架构。实战部分选择当下最火爆深度学习框架PyTorch与Tensorflow/Keras,全程实战演示框架核心使用与建模方法。项目实战部分选择计算机视觉与自然语言处理领域经典项目,从零开始详解算法原理,debug模式逐行代码解读。适合准备就业和转行的同学们加入学习! 建议按照下列课程顺序来进行学习 (1)掌握深度学习必备经典网络架构 (2)深度框架实战方法 (3)计算机视觉与自然语言处理项目实战。(按照课程排列顺序即可)

Java62数据提取代码

利用苹果手机微信下面的wx.data文件提取出62数据,通过62可以实现不同设备直接登陆,可以通过文件流的方式用脚本上传到服务器进行解析

Python代码实现飞机大战

文章目录经典飞机大战一.游戏设定二.我方飞机三.敌方飞机四.发射子弹五.发放补给包六.主模块 经典飞机大战 源代码以及素材资料(图片,音频)可从下面的github中下载: 飞机大战源代码以及素材资料github项目地址链接 ————————————————————————————————————————————————————————— 不知道大家有没有打过飞机,喜不喜欢打飞机。当我第一次接触这个东西的时候,我的内心是被震撼到的。第一次接触打飞机的时候作者本人是身心愉悦的,因为周边的朋友都在打飞机, 每

2018年全国大学生计算机技能应用大赛决赛 大题

2018年全国大学生计算机技能应用大赛决赛大题,程序填空和程序设计(侵删)

Lena图像处理测试专业用图,高清完整全身原图

Lena图像处理测试专业用图,高清完整全身原图,该图片很好的包含了平坦区域、阴影和纹理等细节,这些都有益于测试各种不同的图像处理算法。它是一幅很好的测试照片!其次,由于这是一个非常有魅力女人的照片。

MySQL数据库面试题(2020最新版)

文章目录数据库基础知识为什么要使用数据库什么是SQL?什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式?分别有什么区别?数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别?InnoDB引擎的4大特性存储引擎选择索引什么是索引?索引有哪些优缺点?索引使用场景(重点)...

verilog实现地铁系统售票

使用 verilog 实现地铁售票

Python+OpenCV计算机视觉

Python+OpenCV计算机视觉系统全面的介绍。

Python可以这样学(第四季:数据分析与科学计算可视化)

董付国老师系列教材《Python程序设计(第2版)》(ISBN:9787302436515)、《Python可以这样学》(ISBN:9787302456469)配套视频,在教材基础上又增加了大量内容,通过实例讲解numpy、scipy、pandas、statistics、matplotlib等标准库和扩展库用法。

150讲轻松搞定Python网络爬虫

【为什么学爬虫?】 &nbsp; &nbsp; &nbsp; &nbsp;1、爬虫入手容易,但是深入较难,如何写出高效率的爬虫,如何写出灵活性高可扩展的爬虫都是一项技术活。另外在爬虫过程中,经常容易遇到被反爬虫,比如字体反爬、IP识别、验证码等,如何层层攻克难点拿到想要的数据,这门课程,你都能学到! &nbsp; &nbsp; &nbsp; &nbsp;2、如果是作为一个其他行业的开发者,比如app开发,web开发,学习爬虫能让你加强对技术的认知,能够开发出更加安全的软件和网站 【课程设计】 一个完整的爬虫程序,无论大小,总体来说可以分成三个步骤,分别是: 网络请求:模拟浏览器的行为从网上抓取数据。 数据解析:将请求下来的数据进行过滤,提取我们想要的数据。 数据存储:将提取到的数据存储到硬盘或者内存中。比如用mysql数据库或者redis等。 那么本课程也是按照这几个步骤循序渐进的进行讲解,带领学生完整的掌握每个步骤的技术。另外,因为爬虫的多样性,在爬取的过程中可能会发生被反爬、效率低下等。因此我们又增加了两个章节用来提高爬虫程序的灵活性,分别是: 爬虫进阶:包括IP代理,多线程爬虫,图形验证码识别、JS加密解密、动态网页爬虫、字体反爬识别等。 Scrapy和分布式爬虫:Scrapy框架、Scrapy-redis组件、分布式爬虫等。 通过爬虫进阶的知识点我们能应付大量的反爬网站,而Scrapy框架作为一个专业的爬虫框架,使用他可以快速提高我们编写爬虫程序的效率和速度。另外如果一台机器不能满足你的需求,我们可以用分布式爬虫让多台机器帮助你快速爬取数据。 &nbsp; 从基础爬虫到商业化应用爬虫,本套课程满足您的所有需求! 【课程服务】 专属付费社群+每周三讨论会+1v1答疑

获取Linux下Ftp目录树并逐步绑定到treeview

在linux下抓取目录树,双击后获取该节点子节点(逐步生成)。另外有两个类,一个是windows下的(一次性获取目录树),一个是linux下的(足部获取目录树)

YOLOv3目标检测实战系列课程

《YOLOv3目标检测实战系列课程》旨在帮助大家掌握YOLOv3目标检测的训练、原理、源码与网络模型改进方法。 本课程的YOLOv3使用原作darknet(c语言编写),在Ubuntu系统上做项目演示。 本系列课程包括三门课: (1)《YOLOv3目标检测实战:训练自己的数据集》 包括:安装darknet、给自己的数据集打标签、整理自己的数据集、修改配置文件、训练自己的数据集、测试训练出的网络模型、性能统计(mAP计算和画出PR曲线)和先验框聚类。 (2)《YOLOv3目标检测:原理与源码解析》讲解YOLOv1、YOLOv2、YOLOv3的原理、程序流程并解析各层的源码。 (3)《YOLOv3目标检测:网络模型改进方法》讲解YOLOv3的改进方法,包括改进1:不显示指定类别目标的方法 (增加功能) ;改进2:合并BN层到卷积层 (加快推理速度) ; 改进3:使用GIoU指标和损失函数 (提高检测精度) ;改进4:tiny YOLOv3 (简化网络模型)并介绍 AlexeyAB/darknet项目。

手把手实现Java图书管理系统(附源码)

【超实用课程内容】 本课程演示的是一套基于Java的SSM框架实现的图书管理系统,主要针对计算机相关专业的正在做毕设的学生与需要项目实战练习的java人群。详细介绍了图书管理系统的实现,包括:环境搭建、系统业务、技术实现、项目运行、功能演示、系统扩展等,以通俗易懂的方式,手把手的带你从零开始运行本套图书管理系统,该项目附带全部源码可作为毕设使用。 【课程如何观看?】 PC端:https://edu.csdn.net/course/detail/27513 移动端:CSDN 学院APP(注意不是CSDN APP哦) 本课程为录播课,课程2年有效观看时长,大家可以抓紧时间学习后一起讨论哦~ 【学员专享增值服务】 源码开放 课件、课程案例代码完全开放给你,你可以根据所学知识,自行修改、优化

微信小程序开发实战之番茄时钟开发

微信小程序番茄时钟视频教程,本课程将带着各位学员开发一个小程序初级实战类项目,针对只看过官方文档而又无从下手的开发者来说,可以作为一个较好的练手项目,对于有小程序开发经验的开发者而言,可以更好加深对小程序各类组件和API 的理解,为更深层次高难度的项目做铺垫。

Java 最常见的 200+ 面试题:面试必备

这份面试清单是从我 2015 年做了 TeamLeader 之后开始收集的,一方面是给公司招聘用,另一方面是想用它来挖掘在 Java 技术栈中,还有那些知识点是我不知道的,我想找到这些技术盲点,然后修复它,以此来提高自己的技术水平。虽然我是从 2009 年就开始参加编程工作了,但我依旧觉得自己现在要学的东西很多,并且学习这些知识,让我很有成就感和满足感,那所以何乐而不为呢? 说回面试的事,这份面试...

Java基础知识面试题(2020最新版)

文章目录Java概述何为编程什么是Javajdk1.5之后的三大版本JVM、JRE和JDK的关系什么是跨平台性?原理是什么Java语言有哪些特点什么是字节码?采用字节码的最大好处是什么什么是Java程序的主类?应用程序和小程序的主类有何不同?Java应用程序与小程序之间有那些差别?Java和C++的区别Oracle JDK 和 OpenJDK 的对比基础语法数据类型Java有哪些数据类型switc...

三个项目玩转深度学习(附1G源码)

从事大数据与人工智能开发与实践约十年,钱老师亲自见证了大数据行业的发展与人工智能的从冷到热。事实证明,计算机技术的发展,算力突破,海量数据,机器人技术等,开启了第四次工业革命的序章。深度学习图像分类一直是人工智能的经典任务,是智慧零售、安防、无人驾驶等机器视觉应用领域的核心技术之一,掌握图像分类技术是机器视觉学习的重中之重。针对现有线上学习的特点与实际需求,我们开发了人工智能案例实战系列课程。打造:以项目案例实践为驱动的课程学习方式,覆盖了智能零售,智慧交通等常见领域,通过基础学习、项目案例实践、社群答疑,三维立体的方式,打造最好的学习效果。

微信小程序 实例汇总 完整项目源代码

微信小程序 实例汇总 完整项目源代码

基于西门子S7—1200的单部六层电梯设计程序,1部6层电梯

基于西门子S7—1200的单部六层电梯设计程序,1部6层电梯。 本系统控制六层电梯, 采用集选控制方式。 为了完成设定的控制任务, 主要根据电梯输入/输出点数确定PLC 的机型。 根据电梯控制的要求,

相关热词 c#对文件改写权限 c#中tostring c#支付宝回掉 c#转换成数字 c#判断除法是否有模 c# 横向chart c#控件选择多个 c#报表如何锁定表头 c#分级显示数据 c# 不区分大小写替换
立即提问
相关内容推荐