使用 Python 协程多并发下载 任务数卡住不动 10C

在使用 python 协程下载图片中,最终协程的任务数 卡在 97 一直循环,不知道哪里出了问题,有大佬知道什么情况吗,困扰我好久
下图是我运行结果,附上代码。
图片说明

# -*- coding: utf-8 -*-
import requests
from lxml import etree
import time
import os
import pandas as pd
import asyncio
import aiohttp
import aiomysql
from random import randint
import cchardet
import aiofiles
import logging


class sikupicture_Spider(object):
    def __init__(self):
        # self.seens_url = []
        self.loop = asyncio.get_event_loop()
        self.queue = asyncio.PriorityQueue()
        self._workers = 0  # 当前工作数
        self._max_workers = 150  # 最大工作数
        self.overtime = {}  # {url: times,} 记录失败的URL的次数
        self.overtime_threshold = 4
        self.headers = {
            "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36",
        }
        self.list_content = []

    async def init_url(self):
        info = pd.read_excel(r"{}".format(os.path.abspath('moban.xlsx'))).fillna('')
        for ite in info.itertuples():
            await self.queue.put((randint(1, 5), getattr(ite, 'url')))

    async def fetch(self, session, url, timeout, headers=None, binary=False, proxy=None):
        _headers = self.headers
        if headers:
            _headers = headers
        try:
            async with session.get(url, headers=_headers, timeout=timeout, proxy=proxy, allow_redirects=False) as resp:
                status_code = resp.status
                if status_code == 403:
                    print("url-403", url)
                    if url in self.overtime:
                        self.overtime[url] += 1
                        if self.overtime[url] > self.overtime_threshold:
                            pass
                        await self.queue.put((randint(1, 5), url))
                    else:
                        self.overtime[url] = 1
                        await self.queue.put((randint(1, 5), url))
                    status_code = 0
                    html = None
                if binary:
                    text = await resp.read()
                    encoding = cchardet.detect(text)
                    html = text.encode(encoding, errors='ignore')
                else:
                    html = await resp.text()

        except TimeoutError:
            print("url-overtime", url)
            if url in self.overtime:
                self.overtime[url] += 1
                if self.overtime[url] > self.overtime_threshold:
                    pass
                await self.queue.put((randint(1, 5), url))
            else:
                self.overtime[url] = 1
                await self.queue.put((randint(1, 5), url))
            status_code = 0
            html = None
        return status_code, html

    async def download_img(self, session, img_url, timeout, url, headers=None, binary=True, proxy=None):
        _headers = self.headers
        if headers:
            _headers = headers
        try:
            async with session.get(img_url, headers=_headers, timeout=timeout, proxy=proxy, allow_redirects=False) as resp:
                status_code = resp.status
                if binary:
                    html = await resp.read()
                else:
                    html = await resp.text()
        except TimeoutError:
            print("url-overtime", img_url)
            if url in self.overtime:
                self.overtime[url] += 1
                if self.overtime[url] > self.overtime_threshold:
                    pass
                else:
                    await self.queue.put((randint(1, 5), url))
            else:
                self.overtime[url] = 1
                await self.queue.put((randint(1, 5), url))
            status_code = 0
            html = None
        return status_code, html

    def parse_source(self, source):
        try:
            response_1 = etree.HTML(source)
        except Exception as err:
            logging.error(f'parse error:{err}')
            url = ""
        else:
            img_url = response_1.xpath("//a[@href='javascript:;']/@supsrc")[0] if len(
                response_1.xpath("//a[@href='javascript:;']/@supsrc")[0]) else ""
        return img_url

    async def process(self, session, url, timeout):
        status, source = await self.fetch(session, url, timeout)
        file_name = url.replace("http://item.secoo.com/", "").replace(".shtml", "")
        if status == 200:
            img_url = self.parse_source(source)
            img_status, img_source = await self.download_img(session, img_url, timeout, url)
            if img_status == 200:
                async with aiofiles.open("F:\\dawnzhu\\picture\\"+file_name+".jpg", "wb") as f:
                    await f.write(img_source)
            self._workers -= 1
            print("任务完成", self._workers, "url_status", status, "img_status", img_status)
        else:
            self._workers -= 1
            print("任务完成", self._workers, "url_status", status,)

    async def loop_crawl(self):
        await self.init_url()
        timeout = aiohttp.ClientTimeout(total=20)
        conn = aiohttp.TCPConnector(loop=self.loop, limit=50, force_close=True, enable_cleanup_closed=True)
        session = aiohttp.ClientSession(connector=conn, timeout=timeout)
        while True:
            if self._workers >= self._max_workers:
                print("work 的判断")
                await asyncio.sleep(5)
                continue
            if self.queue.empty():
                print("队列是否为空....", self._workers)
                await asyncio.sleep(5)
                if self._workers == 0:
                    break
                continue
            _, url = await self.queue.get()
            asyncio.ensure_future(self.process(session, url, timeout))
            self._workers += 1
            print("队列剩余数量", self.queue.qsize(), self._workers)
        await session.close()

    def run(self):
        try:
            self.loop.run_until_complete(self.loop_crawl())
        except KeyboardInterrupt:
            self.loop.close()

if __name__ == '__main__':
    sp = sikupicture_Spider()
    sp.run()

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
python ftp 并发下载问题

我想问一下python ftp并发下载是利用多线程吗,我现在需要做的是下载ftp服务器下所有文件,文件数量非常多,所以需要并发,那么并发是不是要异步呢,谁能来指导我一下

Python出现了一个异常卡在那里不动了

我是在win8上面操作,运行一个Python项目 Python:2.7 node:0.12 npm:2.11 vs:2012 输入run all(这个是自己定义的命令,用于启动项目) 后出现: ``` 2015-08-25 22:13:47 [24784] [WARNING] Your terminal is not configured to receive UTF-8 encoded text. Please adjust your locale settings or force UTF-8 output by setting PYTHONIOENCODING="utf-8". Traceback (most recent call last): File "<string>", line 1, in <module> File "C:\Python27\Lib\multiprocessing\forking.py", line 380, in main prepare(preparation_data) File "C:\Python27\Lib\multiprocessing\forking.py", line 488, in prepare assert main_name not in sys.modules, main_name AssertionError: __main__ Traceback (most recent call last): File "<string>", line 1, in <module> File "C:\Python27\Lib\multiprocessing\forking.py", line 380, in main prepare(preparation_data) File "C:\Python27\Lib\multiprocessing\forking.py", line 488, in prepare assert main_name not in sys.modules, main_name AssertionError: __main__ ``` 然后就一直卡在这里, 请各位老师指点一下,已经困扰好几天了,不胜感激

python使用requests大批量请求卡住怎么解决?

我用python的request抓取别人网站抓了几100条左右就卡死了是什么情况? ``` page=request.GET.get('page') for pages in range(1,int(page)+1): data = requests.get("http://okokzy.cc/?m=vod-type-id-1-pg-"+str(pages)+".html") data.encoding = "utf-8" data = data.text data = etree.HTML(data) name = data.xpath("//div[@class='xing_vb']/ul/li/span[@class='xing_vb4']/a/text()") link = data.xpath("//div[@class='xing_vb']/ul/li/span[@class='xing_vb4']/a/@href") listcode = 0 print(link) ``` 没有任何报错也没有发现任何异常就是打印出来的东西打印到某一条到时候就不动了

Python selenium+firefox运行一段时间后卡住不动是什么原因

我用的版本是selenium2.53和firefox30 的经典搭配。。 部分代码如下: self.driver = webdriver.Firefox() self.driver.set_page_load_timeout(5) self.driver.implicitly_wait(5) try: self.driver.get(response.url) except Exception as e: print e pass else: 开始解析。。。 为啥运行了一段时间后,火狐浏览器就开始在那打转然后程序就不往下运行了?求大神解答。。万分感谢

python多进程多队列问题

![图片说明](https://img-ask.csdn.net/upload/201807/31/1533029929_662018.jpg) 例如:有三个队列,一个任务分为三个小任务,A-B-C,A执行完了才能执行B,B执行完了才能执行C,C执行完了才算结束。A进入第一个队列,B进入第二个队列,C进入第三个队列。第二个任务也分成三个小任务,同第一个任务,以此类推。若是有一个任务的执行时间过长,其他有这个任务为前置要求的任务需要等待。如图所示。 python代码怎么写。

python多线程操作实现使用多个CPU

用python写了个小脚本,但是在服务器上只用了1个cpu,希望能够使用多个cpu,请问诸位大大该怎么改脚本才能实现?

python多进程队列问题

有三个队列,假设有任务,任务分为A-B-C,执行完A才能执行B,执行完B才能执行C。现在把任务的ABC放入三个队列中并发运行。用Python写,设计思路是什么,谢谢!

为啥python代码突然卡住,然后按ctrl+c后又可以继续运行?

最近在做一个测试,往oracle数据库中塞20W的数据。 同时每塞1W条数据就打印一个日志到控制台。 代码如下: ``` import cx_Oracle import time consql = 'user/passwd@192.168.0.3/orcl' oracon = cx_Oracle.connect(consql) oracur = oracon.cursor() laststamp = time.time() for i in range(200000): if i % 10000 == 0: curstamp = time.time() print 'commit count :', i, 'cost:',curstamp - laststamp laststamp = curstamp sqlstr = "insert into T_ZB_TEST (xh, xm) values ('%d','%d')"%(i,i) oracur.execute(sqlstr) oracon.commit() oracon.close() ``` 结果在跑的时候,跑到5W条的时候就卡住了,在数据库中搜索一直是5W条数据,程序也没有异常也没有停止,我按了一下ctrl+c,程序又继续往下执行写数据了。 打印如下,可以很明显的看出写入一万条数据花费的时间在140秒左右,而那么明显超过140秒的就是我发现了异常,然后按了ctrl+c后的结果。 ``` commit count : 0 cost: 0.0150001049042 commit count : 10000 cost: 141.917999983 commit count : 20000 cost: 142.936999798 commit count : 30000 cost: 146.870000124 commit count : 40000 cost: 135.5 commit count : 50000 cost: 143.559000015 commit count : 60000 cost: 870.066999912 commit count : 70000 cost: 205.25 commit count : 80000 cost: 157.353000164 commit count : 90000 cost: 138.504999876 commit count : 100000 cost: 139.806999922 commit count : 110000 cost: 141.4150002 commit count : 120000 cost: 436.0849998 commit count : 130000 cost: 143.148000002 commit count : 140000 cost: 139.263000011 commit count : 150000 cost: 135.034000158 commit count : 160000 cost: 137.210999966 ``` 不知道这个是否是python语言本身的问题。 使用的python版本是2.7.13.

Python3 多进程 向子进程传参数Queue,子进程无法运行

``` #!/usr/bin/python from multiprocessing import Pool, Queue import time def Foo(i, q): print("sub", i) if __name__ == "__main__": q = Queue() pool = Pool(5) for i in range(10): pool.apply_async(func = Foo, args = (i, q, )) pool.close() pool.join() print('end') ``` 向子进程传了一个队列,子进程就全部无法运行。如果传一个list,传一个数都没问题。请大神指点指点。 ![图片说明](https://img-ask.csdn.net/upload/201812/28/1545996695_326091.png)

在vscode搭建Python环境,我已经下载了Python3.8,为啥vscode里面却显示我没有安装

![图片说明](https://img-ask.csdn.net/upload/202002/11/1581390447_103947.png)![图片说明](https://img-ask.csdn.net/upload/202002/11/1581390453_435419.png) 我已经安装完Python了,但是在vscode命令里面选择Python解释器的时候却搜索不到Python。

python多线程导致python已停止

问题签名: 问题事件名称: APPCRASH 应用程序名: python.exe 应用程序版本: 0.0.0.0 应用程序时间戳: 58583522 故障模块名称: MSVCR90.dll 故障模块版本: 9.0.30729.6161 故障模块时间戳: 4dace4e7 异常代码: c0000005 异常偏移: 000000000001e25c OS 版本: 6.1.7601.2.1.0.256.1 区域设置 ID: 2052 其他信息 1: b0fc 其他信息 2: b0fc637196bdd5b70224d3626137a6ab 其他信息 3: 3579 其他信息 4: 35797d1db39c6ec6b5c9510af7c4bfff

python脚本通过wmi在window2012R2上获取CPU使用率和任务管理器显示的不一样?

尝试了直接用网上的,发现获取到的数据和我获取到的是一样的。与任务管理器显示的不一样。 代码: #!/usr/bin/env python # -*- coding: utf-8 -*- import wmi import os import sys import platform import time def cpu_use(): #5s取一次CPU的使用率 c = wmi.WMI() while True: for cpu in c.Win32_Processor(): timestamp = time.strftime('%a, %d %b %Y %H:%M:%S', time.localtime()) print '%s | Utilization: %s: %d %%' % (timestamp, cpu.DeviceID, cpu.LoadPercentage) time.sleep(5) if __name__ == '__main__': cpu_use() 结果显示 : C:\Users\Administrator\Desktop>python test.py Mon, 14 Nov 2016 17:13:34 | Utilization: CPU0: 1 % Mon, 14 Nov 2016 17:13:39 | Utilization: CPU1: 100 % Mon, 14 Nov 2016 17:13:46 | Utilization: CPU0: 1 % Mon, 14 Nov 2016 17:13:51 | Utilization: CPU1: 100 % Mon, 14 Nov 2016 17:13:58 | Utilization: CPU0: 1 % Mon, 14 Nov 2016 17:14:03 | Utilization: CPU1: 100 % Mon, 14 Nov 2016 17:14:10 | Utilization: CPU0: 1 % Mon, 14 Nov 2016 17:14:15 | Utilization: CPU1: 100 % Mon, 14 Nov 2016 17:14:23 | Utilization: CPU0: 1 % 任务管理器显示CPU 使用率在3%-4%跳动

python multiprocessing特殊问题~ 无法使用

最基础的pool无法使用 我进去看了下好像是threading时 timeout 一直无法出来 windows任务管理器 有出进程 但是就是不执行.. from multiprocessing import Pool def f(x): return x*x if __name__ == '__main__': with Pool(5) as p: print(p.map(f, [1, 2, 3])) 或者p.apply_async也不行 里面选用的函数中 print都无法输出 就是没进入到函数里面 连这个.都没有办法输出 唯一特殊 电脑是2个cpu..合起来的工作站 一共20核心 其他软件里面调用过多线程没问题(测试数据) 但是python这个代码却执行不了...

请问如何用Python求一个四位数?

请问如何用Python求一个四位数,其中这个四位数正好是一个数的平方,前两位数字是相同的,后两位数字也是相同的,但与前两位数字不同,用Python求这个四位数?

使用python3的asyncio写的网页不显示,会直接变成下载文件,是什么原因?

用python 3.5.2写的网页,但是运行起来后浏览器访问网址不会显示页面,而是直接把网页文件下载下来,下载下来的文件是可以使用浏览器打开的。 使用chrome和firefox都是这样的。 代码: ```python import asyncio from aiohttp import web def index(request): return web.Response(body=b'<h1>Awesome</h1>') @asyncio.coroutine def init(loop): app = web.Application(loop=loop) app.router.add_route('GET', '/', index) srv = yield from loop.create_server(app.make_handler(), '127.0.0.1', 9000) print('server started at http://127.0.0.1:9000...') return srv loop = asyncio.get_event_loop() loop.run_until_complete(init(loop)) loop.run_forever() ``` 访问网址后下载下来的文件如下图,内容是 ``` <h1>Awesome</h1> ``` ![图片说明](https://img-ask.csdn.net/upload/201609/22/1474506659_562489.png) ![图片说明](https://img-ask.csdn.net/upload/201609/22/1474506689_690166.png) 双击文件可以在浏览器中打开,如下图: ![图片说明](https://img-ask.csdn.net/upload/201609/22/1474506723_984721.png)

python多进程中队列不空时阻塞,求解为什么?

rt,我用python的multiprocessing模块写一个多进程生产消费程序, 消费者将消息放入 queue, 生产者从queue中get。运行时发现生产者可以put进queue, 打印queue.qsize() 正常, 消费者进程打印queue.qsize()和生产者相同,但是从队列中get()的时候就阻塞了住了, 判断empty()时也显示队列为空, 这是为什么, 跪求大神指导

cmd中执行adb命令卡住如何解决

我执行adb kill-server 或者 adb start-server 时有很多时候都是卡住不动,这是为什么![图片说明](https://img-ask.csdn.net/upload/201710/17/1508204359_768280.png) 不是adb 配置问题,因为有时是可以运行的,请问怎么解决

python读取文件提取数字问题

现有一多行数字组成的txt文件,数字之间由空格隔开,如何使用python将数字提取到一个【】形式的list中,我只能用readline()和split将数字存到【【】,【】,【】】这种形式的list中,求解。。

Python:字符串中数字求和

1.输入一个字符串,取出这个字符串中所有的数字并求和。每个数字都是*独立的,*不连续。 现在只知道如何提取字符串中的数字 例:s=‘Abc34g8’ for I in s: I.isdigit() 或者 for I in s if I in [1,2,3,4,5,6,7,8,9] 但是如何让提取出来的数字按照要求相加呢? 按照这种方法结果应是:15 2.输入一个字符串,取出这个字符串中所有的数字并求和。其中相邻的数字是*连续*的的。 按照这种方法结果应是:42 问如何求和?

Python多进程访问Redis时如何避免两个进程同时处理一同一个任务

如题所述,python多进程访问Redis数据库时,发现多个进程处理同一个任务,如何能避免这种问题呢?

定量遥感中文版 梁顺林著 范闻捷译

这是梁顺林的定量遥感的中文版,由范闻捷等翻译的,是电子版PDF,解决了大家看英文费时费事的问题,希望大家下载看看,一定会有帮助的

Java 最常见的 200+ 面试题:面试必备

这份面试清单是从我 2015 年做了 TeamLeader 之后开始收集的,一方面是给公司招聘用,另一方面是想用它来挖掘在 Java 技术栈中,还有那些知识点是我不知道的,我想找到这些技术盲点,然后修复它,以此来提高自己的技术水平。虽然我是从 2009 年就开始参加编程工作了,但我依旧觉得自己现在要学的东西很多,并且学习这些知识,让我很有成就感和满足感,那所以何乐而不为呢? 说回面试的事,这份面试...

机器学习初学者必会的案例精讲

通过六个实际的编码项目,带领同学入门人工智能。这些项目涉及机器学习(回归,分类,聚类),深度学习(神经网络),底层数学算法,Weka数据挖掘,利用Git开源项目实战等。

远程工具,免费

远程工具,免费

java jdk 8 帮助文档 中文 文档 chm 谷歌翻译

JDK1.8 API 中文谷歌翻译版 java帮助文档 JDK API java 帮助文档 谷歌翻译 JDK1.8 API 中文 谷歌翻译版 java帮助文档 Java最新帮助文档 本帮助文档是使用谷

csma/ca和csma/cd的matlab仿真源代码带有详细的注释

csma/ca和csma/cd的matlab仿真源代码带有详细的注释,载波侦听,随意设置节点数,带有炫酷的图形展示效果。

Java基础知识面试题(2020最新版)

文章目录Java概述何为编程什么是Javajdk1.5之后的三大版本JVM、JRE和JDK的关系什么是跨平台性?原理是什么Java语言有哪些特点什么是字节码?采用字节码的最大好处是什么什么是Java程序的主类?应用程序和小程序的主类有何不同?Java应用程序与小程序之间有那些差别?Java和C++的区别Oracle JDK 和 OpenJDK 的对比基础语法数据类型Java有哪些数据类型switc...

软件测试入门、SQL、性能测试、测试管理工具

软件测试2小时入门,让您快速了解软件测试基本知识,有系统的了解; SQL一小时,让您快速理解和掌握SQL基本语法 jmeter性能测试 ,让您快速了解主流来源性能测试工具jmeter 测试管理工具-禅道,让您快速学会禅道的使用,学会测试项目、用例、缺陷的管理、

pokemmo的资源

pokemmo必须的4个rom 分别为绿宝石 火红 心金 黑白 还有汉化补丁 资源不错哦 记得下载

三个项目玩转深度学习(附1G源码)

从事大数据与人工智能开发与实践约十年,钱老师亲自见证了大数据行业的发展与人工智能的从冷到热。事实证明,计算机技术的发展,算力突破,海量数据,机器人技术等,开启了第四次工业革命的序章。深度学习图像分类一直是人工智能的经典任务,是智慧零售、安防、无人驾驶等机器视觉应用领域的核心技术之一,掌握图像分类技术是机器视觉学习的重中之重。针对现有线上学习的特点与实际需求,我们开发了人工智能案例实战系列课程。打造:以项目案例实践为驱动的课程学习方式,覆盖了智能零售,智慧交通等常见领域,通过基础学习、项目案例实践、社群答疑,三维立体的方式,打造最好的学习效果。

无线通信中的智能天线:IS-95和第3代CDMA应用_.pdf

无线通信中的智能天线:IS-95和第3代CDMA应用_.pdf

设计模式(JAVA语言实现)--20种设计模式附带源码

课程亮点: 课程培训详细的笔记以及实例代码,让学员开始掌握设计模式知识点 课程内容: 工厂模式、桥接模式、组合模式、装饰器模式、外观模式、享元模式、原型模型、代理模式、单例模式、适配器模式 策略模式、模板方法模式、观察者模式、迭代器模式、责任链模式、命令模式、备忘录模式、状态模式、访问者模式 课程特色: 笔记设计模式,用笔记串连所有知识点,让学员从一点一滴积累,学习过程无压力 笔记标题采用关键字标识法,帮助学员更加容易记住知识点 笔记以超链接形式让知识点关联起来,形式知识体系 采用先概念后实例再应用方式,知识点深入浅出 提供授课内容笔记作为课后复习以及工作备查工具 部分图表(电脑PC端查看):

Java8零基础入门视频教程

这门课程基于主流的java8平台,由浅入深的详细讲解了java SE的开发技术,可以使java方向的入门学员,快速扎实的掌握java开发技术!

玩转Linux:常用命令实例指南

人工智能、物联网、大数据时代,Linux正有着一统天下的趋势,几乎每个程序员岗位,都要求掌握Linux。本课程零基础也能轻松入门。 本课程以简洁易懂的语言手把手教你系统掌握日常所需的Linux知识,每个知识点都会配合案例实战让你融汇贯通。课程通俗易懂,简洁流畅,适合0基础以及对Linux掌握不熟练的人学习; 【限时福利】 1)购课后按提示添加小助手,进答疑群,还可获得价值300元的编程大礼包! 2)本月购买此套餐加入老师答疑交流群,可参加老师的免费分享活动,学习最新技术项目经验。 --------------------------------------------------------------- 29元=掌握Linux必修知识+社群答疑+讲师社群分享会+700元编程礼包。 &nbsp;

极简JAVA学习营第四期(报名以后加助教微信:eduxy-1)

想学好JAVA必须要报两万的培训班吗? Java大神勿入 如果你: 零基础想学JAVA却不知道从何入手 看了一堆书和视频却还是连JAVA的环境都搭建不起来 囊中羞涩面对两万起的JAVA培训班不忍直视 在职没有每天大块的时间专门学习JAVA 那么恭喜你找到组织了,在这里有: 1. 一群志同道合立志学好JAVA的同学一起学习讨论JAVA 2. 灵活机动的学习时间完成特定学习任务+每日编程实战练习 3. 热心助人的助教和讲师及时帮你解决问题,不按时完成作业小心助教老师的家访哦 上一张图看看前辈的感悟: &nbsp; &nbsp; 大家一定迫不及待想知道什么是极简JAVA学习营了吧,下面就来给大家说道说道: 什么是极简JAVA学习营? 1. 针对Java小白或者初级Java学习者; 2. 利用9天时间,每天1个小时时间; 3.通过 每日作业 / 组队PK / 助教答疑 / 实战编程 / 项目答辩 / 社群讨论 / 趣味知识抢答等方式让学员爱上学习编程 , 最终实现能独立开发一个基于控制台的‘库存管理系统’ 的学习模式 极简JAVA学习营是怎么学习的? &nbsp; 如何报名? 只要购买了极简JAVA一:JAVA入门就算报名成功! &nbsp;本期为第四期极简JAVA学习营,我们来看看往期学员的学习状态: 作业看这里~ &nbsp; 助教的作业报告是不是很专业 不交作业打屁屁 助教答疑是不是很用心 &nbsp; 有奖抢答大家玩的很嗨啊 &nbsp; &nbsp; 项目答辩终于开始啦 &nbsp; 优秀者的获奖感言 &nbsp; 这是答辩项目的效果 &nbsp; &nbsp; 这么细致的服务,这么好的氛围,这样的学习效果,需要多少钱呢? 不要1999,不要199,不要99,只要9.9 是的你没听错,只要9.9以上所有就都属于你了 如果你: 1、&nbsp;想学JAVA没有基础 2、&nbsp;想学JAVA没有整块的时间 3、&nbsp;想学JAVA没有足够的预算 还等什么?赶紧报名吧,抓紧抢位,本期只招300人,错过只有等时间待定的下一期了 &nbsp; 报名请加小助手微信:eduxy-1 &nbsp; &nbsp;

Python数据清洗实战入门

本次课程主要以真实的电商数据为基础,通过Python详细的介绍了数据分析中的数据清洗阶段各种技巧和方法。

董付国老师Python全栈学习优惠套餐

购买套餐的朋友可以关注微信公众号“Python小屋”,上传付款截图,然后领取董老师任意图书1本。

linux下利用/proc进行进程树的打印

在linux下利用c语言实现的进程树的打印,主要通过/proc下的目录中的进程文件,获取status中的进程信息内容,然后利用递归实现进程树的打印

MySQL数据库面试题(2020最新版)

文章目录数据库基础知识为什么要使用数据库什么是SQL?什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式?分别有什么区别?数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别?InnoDB引擎的4大特性存储引擎选择索引什么是索引?索引有哪些优缺点?索引使用场景(重点)...

HoloLens2开发入门教程

本课程为HoloLens2开发入门教程,讲解部署开发环境,安装VS2019,Unity版本,Windows SDK,创建Unity项目,讲解如何使用MRTK,编辑器模拟手势交互,打包VS工程并编译部署应用到HoloLens上等。

150讲轻松搞定Python网络爬虫

【为什么学爬虫?】 &nbsp; &nbsp; &nbsp; &nbsp;1、爬虫入手容易,但是深入较难,如何写出高效率的爬虫,如何写出灵活性高可扩展的爬虫都是一项技术活。另外在爬虫过程中,经常容易遇到被反爬虫,比如字体反爬、IP识别、验证码等,如何层层攻克难点拿到想要的数据,这门课程,你都能学到! &nbsp; &nbsp; &nbsp; &nbsp;2、如果是作为一个其他行业的开发者,比如app开发,web开发,学习爬虫能让你加强对技术的认知,能够开发出更加安全的软件和网站 【课程设计】 一个完整的爬虫程序,无论大小,总体来说可以分成三个步骤,分别是: 网络请求:模拟浏览器的行为从网上抓取数据。 数据解析:将请求下来的数据进行过滤,提取我们想要的数据。 数据存储:将提取到的数据存储到硬盘或者内存中。比如用mysql数据库或者redis等。 那么本课程也是按照这几个步骤循序渐进的进行讲解,带领学生完整的掌握每个步骤的技术。另外,因为爬虫的多样性,在爬取的过程中可能会发生被反爬、效率低下等。因此我们又增加了两个章节用来提高爬虫程序的灵活性,分别是: 爬虫进阶:包括IP代理,多线程爬虫,图形验证码识别、JS加密解密、动态网页爬虫、字体反爬识别等。 Scrapy和分布式爬虫:Scrapy框架、Scrapy-redis组件、分布式爬虫等。 通过爬虫进阶的知识点我们能应付大量的反爬网站,而Scrapy框架作为一个专业的爬虫框架,使用他可以快速提高我们编写爬虫程序的效率和速度。另外如果一台机器不能满足你的需求,我们可以用分布式爬虫让多台机器帮助你快速爬取数据。 &nbsp; 从基础爬虫到商业化应用爬虫,本套课程满足您的所有需求! 【课程服务】 专属付费社群+每周三讨论会+1v1答疑

MySQL 8.0.19安装教程(windows 64位)

话不多说直接开干 目录 1-先去官网下载点击的MySQL的下载​ 2-配置初始化的my.ini文件的文件 3-初始化MySQL 4-安装MySQL服务 + 启动MySQL 服务 5-连接MySQL + 修改密码 先去官网下载点击的MySQL的下载 下载完成后解压 解压完是这个样子 配置初始化的my.ini文件的文件 ...

Python数据挖掘简易入门

&nbsp; &nbsp; &nbsp; &nbsp; 本课程为Python数据挖掘方向的入门课程,课程主要以真实数据为基础,详细介绍数据挖掘入门的流程和使用Python实现pandas与numpy在数据挖掘方向的运用,并深入学习如何运用scikit-learn调用常用的数据挖掘算法解决数据挖掘问题,为进一步深入学习数据挖掘打下扎实的基础。

深度学习原理+项目实战+算法详解+主流框架(套餐)

深度学习系列课程从深度学习基础知识点开始讲解一步步进入神经网络的世界再到卷积和递归神经网络,详解各大经典网络架构。实战部分选择当下最火爆深度学习框架PyTorch与Tensorflow/Keras,全程实战演示框架核心使用与建模方法。项目实战部分选择计算机视觉与自然语言处理领域经典项目,从零开始详解算法原理,debug模式逐行代码解读。适合准备就业和转行的同学们加入学习! 建议按照下列课程顺序来进行学习 (1)掌握深度学习必备经典网络架构 (2)深度框架实战方法 (3)计算机视觉与自然语言处理项目实战。(按照课程排列顺序即可)

网络工程师小白入门--【思科CCNA、华为HCNA等网络工程师认证】

本课程适合CCNA或HCNA网络小白同志,高手请绕道,可以直接学习进价课程。通过本预科课程的学习,为学习网络工程师、思科CCNA、华为HCNA这些认证打下坚实的基础! 重要!思科认证2020年2月24日起,已启用新版认证和考试,包括题库都会更新,由于疫情原因,请关注官网和本地考点信息。题库网络上很容易下载到。

Ubuntu18.04安装教程

Ubuntu18.04.1安装一、准备工作1.下载Ubuntu18.04.1 LTS2.制作U盘启动盘3.准备 Ubuntu18.04.1 的硬盘空间二、安装Ubuntu18.04.1三、安装后的一些工作1.安装输入法2.更换软件源四、双系统如何卸载Ubuntu18.04.1新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列...

sql语句 异常 Err] 1064 - You have an error in your SQL syntax; check the manual that corresponds to your

在我们开发的工程中,有时候会报 [Err] 1064 - You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ------ 这种异常 不用多想,肯定是我们的sql语句出现问题,下面...

西南交通大学新秀杯数学建模试题

题目比较难,如果符合大家的口味欢迎大家下载哈,提高你的思维想象能力

Windows版YOLOv4目标检测实战:训练自己的数据集

课程演示环境:Windows10; cuda 10.2; cudnn7.6.5; Python3.7; VisualStudio2019; OpenCV3.4 需要学习ubuntu系统上YOLOv4的同学请前往:《YOLOv4目标检测实战:训练自己的数据集》 课程链接:https://edu.csdn.net/course/detail/28745 YOLOv4来了!速度和精度双提升! 与 YOLOv3 相比,新版本的 AP (精度)和 FPS (每秒帧率)分别提高了 10% 和 12%。 YOLO系列是基于深度学习的端到端实时目标检测方法。本课程将手把手地教大家使用labelImg标注和使用YOLOv4训练自己的数据集。课程实战分为两个项目:单目标检测(足球目标检测)和多目标检测(足球和梅西同时检测)。 本课程的YOLOv4使用AlexyAB/darknet,在Windows系统上做项目演示。包括:安装软件环境、安装YOLOv4、标注自己的数据集、整理自己的数据集、修改配置文件、训练自己的数据集、测试训练出的网络模型、性能统计(mAP计算)和先验框聚类分析。还将介绍改善YOLOv4目标检测性能的技巧。 除本课程《Windows版YOLOv4目标检测实战:训练自己的数据集》外,本人将推出有关YOLOv4目标检测的系列课程。请持续关注该系列的其它视频课程,包括: 《Windows版YOLOv4目标检测实战:人脸口罩佩戴检测》 《Windows版YOLOv4目标检测实战:中国交通标志识别》 《Windows版YOLOv4目标检测:原理与源码解析》

Spring Boot -01- 快速入门篇(图文教程)

Spring Boot -01- 快速入门篇 今天开始不断整理 Spring Boot 2.0 版本学习笔记,大家可以在博客看到我的笔记,然后大家想看视频课程也可以到【慕课网】手机 app,去找【Spring Boot 2.0 深度实践】的课程,令人开心的是,课程完全免费! 什么是 Spring Boot? Spring Boot 是由 Pivotal 团队提供的全新框架。Spring Boot...

相关热词 c# 不能序列化继承类 c# char* 调用 c# 开发dll模板 c#添加控件到工具箱 c#控制台组合数 编程计算猴子吃桃问题c# c# wpf 背景透明 随机抽取号码软件c# c# 开发环境 c# 属性和字段
立即提问