关注
码龄
粉丝数
原力等级 --
被采纳
被点赞
采纳率
木目-
2016-03-03 11:28
采纳率: 0%
浏览 3661
首页
爬虫一般一分钟应该爬多少链接,他的效率要看什么了
爬虫
爬虫一般一分钟应该爬多少链接,他的效率要看什么标准了,提高效率除了用多线程还有什么别的方法吗
收起
写回答
好问题
0
提建议
关注问题
微信扫一扫
点击复制链接
分享
邀请回答
编辑
收藏
删除
结题
收藏
举报
4
条回答
默认
最新
关注
码龄
粉丝数
原力等级 --
被采纳
被点赞
采纳率
毕小宝
领域专家: 后端开发技术领域
2016-03-03 12:14
关注
看看这篇文章:
http://drops.wooyun.org/tips/5462
本回答被题主选为最佳回答
, 对您是否有帮助呢?
本回答被专家选为最佳回答
, 对您是否有帮助呢?
本回答被题主和专家选为最佳回答
, 对您是否有帮助呢?
解决
无用
评论
打赏
微信扫一扫
点击复制链接
分享
举报
评论
按下Enter换行,Ctrl+Enter发表内容
查看更多回答(3条)
向“C知道”追问
报告相同问题?
提交
关注问题
后端
领域
爬虫
在电商平台竞品数据采集中的策略
2025-07-08 23:26
大厂资深架构师的博客
竞争对手的新款手机定价...这时候,
后端
爬虫
就成了"自动收集数据的小助手",它能模拟人类浏览网页的行为,批量抓取所需信息,为竞品分析提供数据支撑。本文的范围是:聚焦
后端
爬虫
技术在电商竞品数据采集中的核心策略。
后端
领域
爬虫
的定时
爬虫
任务设计
2025-04-30 18:02
大厂资深架构师的博客
爬虫
作为一种重要的工具,可以帮助我们从各种网站上采集所需的数据。然而,很多时候我们需要定期获取最新的数据,例如每天获取股票价格、每周收集新闻资讯等。这就需要设计
后端
领域的定时
爬虫
任务,以确保数据的实时...
后端
领域
爬虫
的分布式计算框架选型
2025-06-11 10:12
大厂资深架构师的博客
如果只派1个人,他得跑断腿;但如果派100个人,每人负责10家店,半天就能搞定——这就是分布式的核心价值。数据量爆炸:某电商大促期间,商品页面可能达百万级反
爬
限制:单IP频繁请求会被封,需要多IP协作实时性要求...
爬虫
是什么?
2025-11-03 09:25
雪碧聊技术的博客
Python
爬虫
的简单介绍。
Python
爬虫
有什么用,网友纷纷给出自己的答案,
爬虫
能做的还是很多的
2021-08-29 17:46
梦魇java的博客
爬虫
可以从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它
链接
地址,然后通过这些
链接
地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。 难道
爬虫
真的只是这样...
Gerapy
爬虫
管理框架深度解析:企业级分布式
爬虫
管控平台
2025-07-06 14:20
Python×CATIA工业智造的博客
Gerapy
爬虫
管理框架深度解析:企业级分布式
爬虫
管控平台
走向AI工程师的第一步?
爬虫
,传统编程与提示词工程的碰撞!
2024-08-11 17:00
AGI大模型学习的博客
作为一个新手得到的感悟与总结,AIGC在智能问答领域的应用不仅提高了
效率
和用户体验,还降低了成本,增强了系统的灵活性和学习能力,这些都是与传统工程师工作方式相比所展现出的明显优势。
效率
提升:AIGC能够迅速...
谈谈对Python
爬虫
的理解
2022-09-20 14:08
、烟雨楼的博客
爬虫
是一个程序,这个程序的目的就是为了抓取万维网信息资源,比如你日常使用的谷歌等搜索引擎,搜索结果就全都依赖
爬虫
来定时获取看上述搜索结果,除了wiki相关介绍外,
爬虫
有关的搜索结果全都带上了Python,前人说...
Python
爬虫
入门教程:超级简单的Python
爬虫
教程
2021-09-14 17:01
梦魇java的博客
这是一篇详细介绍 [Python]
爬虫
入门的教程,从实战出发,适合初学者。读者只需在阅读过程紧跟文章思路,理清相应的实现代码,30 分钟即可学会编写简单的 Python
爬虫
。 这篇 Python
爬虫
教程主要讲解以下...
爬虫
与反
爬虫
技术简介
2022-09-21 16:14
vivo互联网技术的博客
本文一方面从
爬虫
与反反
爬
的角度来说明如何高效的对网络上的公开数据进行
爬
取,另一方面也会介绍反
爬虫
的技术手段,为防止外部
爬虫
大批量的采集数据的过程对服务器造成超负载方面提供些许建议。
没有解决我的问题,
去提问
向专家提问
向AI提问
付费问答(悬赏)服务下线公告
◇ 用户帮助中心
◇ 新手如何提问
◇ 奖惩公告