我需要一个爬虫软件，可以从我给出的起始网址开始爬，专爬URL的，不需要抓取特定数据，然后每爬到一个网址就能将这个网址的源代码下载下来
1条回答 默认 最新
- 2022-04-09 22:19回答 2 已采纳 用pypy,namba（需重构，加装饰器）,cython（需重构，显式声明类型）用正则表达式更快，但适用性会降低灵活运用异步减少中间值的使用少用for循环控制线程数量，考虑协程、多进程，因为有GIL的
- 2021-11-19 23:19回答 1 已采纳 re.findall(findChara, str(item)) 没有匹配到，返回的是空列表[] print(str(item)) 输出 没有<h3></h3>标签 你题目
- 2023-04-13 13:18回答 1 已采纳 爬虫严格来讲并不算一个大方向，更偏向于js逆向，python的话推荐走后端方向至于系统学习的话，推荐去blibili找一些路线，然后根据路线去找bilibili上播放量比较高的视频进行系统学习
- 2021-02-20 09:15Web爬虫后端
- 2021-11-11 20:33回答 2 已采纳 headers要添加cookie信息，看题主的代码加错内容（set-cookie是设置cookie用的）了，加到响应头的了，应该将请求头的cookie信息加上 改下面这样就可以了 import re
- 2021-08-14 09:34回答 4 已采纳 f 在字符串外面 a = input() url = f'https://movie.douban.com/top250?start={a}&filter=' 或者 a = 'abc' b = '
- 2022-02-13 17:30回答 2 已采纳 url_info.xpath('div[2]/a/@href')返回的列表,要part_link[0]获取列表的第一个元素 part_link_s=str(part_link[0]) 而且你 url
- 2023-01-27 12:51后端+python爬虫
- 2021-08-09 16:26回答 1 已采纳 可以在浏览器开发者工具里面ctrl+f搜索文章的关键词找到该请求。
- 2021-11-19 15:21回答 2 已采纳 豆瓣的数据接口是https://movie.douban.com/j/chart/top_list?type=25&interval_id=100%3A90&action=&start=0&limit
- 2022-12-08 12:48回答 2 已采纳 说明这个url是动态拼接出来， 使用webdriver打开浏览器等待加载完成，再去拿页面源码，再定位这个url. 如有帮助，请采纳哦
- 2020-08-17 15:26爬遍天下无敌手的博客 python爬虫-翻页url不变网页的爬虫探究 url随着翻页改变的爬虫已经有非常多教程啦，这里主要记录一下我对翻页url不变网页的探究过程。学术菜鸡第一次写CSDN，请大家多多包容～ 如果对你有一点点帮助，请帮我点个赞...
- 2023-04-19 23:01回答 1 已采纳 是这样的，没问题。scrapy认为加了/b/的不是一个正确的网站，因为一般的网站首页都是.com .cn这样结尾的。所以默认去掉了后面的。需要自己手动修改的。
- 2020-11-29 10:30weixin_39927144的博客 以下是文档： Python爬虫开发与项目实践 Python爬虫学习第一天. 今天是2019-6-13，周四。是学习爬虫的第一天，当然是有一点懵的一天啦，毕竟是第一次学这个。 以前完全没想到，爬虫这么有趣，可以自己编辑网页。...
- 2022-02-20 13:57python爬虫代码 附有下载、操作步骤
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 ads仿真结果在圆图上是怎么读数的
- ¥20 Cotex M3的调试和程序执行方式是什么样的？
- ¥20 java项目连接sqlserver时报ssl相关错误
- ¥15 一道python难题3
- ¥15 用matlab 设计一个不动点迭代法求解非线性方程组的代码
- ¥15 牛顿斯科特系数表表示
- ¥15 arduino 步进电机
- ¥20 程序进入HardFault_Handler
- ¥15 oracle集群安装出bug
- ¥15 关于#python#的问题：自动化测试