除了selenium还有哪些可以爬取动态渲染页面(js)的库?
除了异步、分布式、多线程(协程、进程)还有哪些加快爬虫速度的方法?
学识浅薄,请指点!谢谢 !
爬取动态渲染页面(js)的库&加快爬虫速度的方法
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
1条回答 默认 最新
- Suck.me 2022-04-08 09:27关注
抛弃selenium可以大大加快速度。
动态渲染的js翻译成py代码,如果有复杂逻辑的代码,人工解这段代码,解不了还有exejs,pydom这些库直接跑
借助cython可以大大加快你的速度,在py中异步会比多线程好,尽量异步,如果逻辑上要求同步的代码使用异步等待反而慢于不异步
其它优化具体看你的代码了本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 1无用
悬赏问题
- ¥100 set_link_state
- ¥15 虚幻5 UE美术毛发渲染
- ¥15 CVRP 图论 物流运输优化
- ¥15 Tableau online 嵌入ppt失败
- ¥100 支付宝网页转账系统不识别账号
- ¥15 基于单片机的靶位控制系统
- ¥15 真我手机蓝牙传输进度消息被关闭了,怎么打开?(关键词-消息通知)
- ¥15 装 pytorch 的时候出了好多问题,遇到这种情况怎么处理?
- ¥20 IOS游览器某宝手机网页版自动立即购买JavaScript脚本
- ¥15 手机接入宽带网线,如何释放宽带全部速度