想问一下爬虫时能使用协程保存爬取的图片和数据吗
3条回答 默认 最新
- 2022-07-20 16:54回答 3 已采纳 首先，你这里写错了divs = query(".cm-content-box").items()
- 2021-11-11 11:15回答 1 已采纳 先确定需要爬取的网站，然后分析网站的数据来源，是后端生成数据还是ajax生成数据，确定数据来源方式就根据HTTP请求编写代码，这个涉及一些请求参数的加密、转换等等处理，然后清洗数据和数据入库
- 2022-10-18 21:52回答 1 已采纳 图片是从cdn上过来的，做了防盗链。在headers中添加Refer，指向该网站就行了。 import re import requests import os if not os.path.ex
- 2024-01-02 19:05debugBiubiubiu2000的博客 Python协程；爬虫；
- 2022-08-23 18:15回答 1 已采纳 复制我的代码试试： import requests from bs4 import BeautifulSoup def get_page(link): headers = {'User-Ag
- 2021-11-14 14:52回答 1 已采纳 这样就可以了 import requests import csv r_header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win
- 2022-01-04 22:56回答 1 已采纳 #导入包 import requests import re import os #如果当前项目下有名为美女图片的文件夹，则不创建，么有则创建 if not os.path.exists('美女图片
- 2024-06-04 17:20代元培的博客 Python爬虫协程实例批量下载图片
- 2021-12-18 19:23回答 1 已采纳 爬下一页就好了
- 2022-09-20 14:01回答 5 已采纳 这是跨行匹配， .*默认是不匹配换行符的，所以匹配不到，确实需要加上re.S： re.findall(re.compile(r'◎译名(.*?)◎', re.S), mainplate_lv2)
- 2023-03-01 20:22回答 3 已采纳 回答不易，望采纳！ 这一行代码报错了 应该是连页面内容都没有爬下来，后边更别谈格式化处理了。 检查一下你的 cookie 是不是过期了吧
- 2023-12-29 14:59景天科技苑的博客 很多同学对于异步这个概念只是停留在了“听说很NB”的认知层面上，很少有人能够在项目中真正的使用异步实现高性能的相关操作。接下来，咱们就一起来学习一下，爬虫中如何使用异步实现高性能的数据爬取操作。
- 2022-10-02 11:43wwanxinghao的博客 异步操作，爬取图片内容
- 没有解决我的问题, 去提问
问题事件
已结题
（查看结题原因） 8月23日-
创建了问题
8月23日
悬赏问题
- ¥50 同步两个不同结果的array中某些属性
- ¥15 悬赏15远程操控解决问题
- ¥15 CST复制的模型无法单独修改参数？
- ¥15 矩阵保留小数后答案里的0未显示
- ¥15 前端页面想做个定时任务，但是使用requestAnimationFrame，setinterval和settimeout都不行
- ¥15 根据以下文字信息，做EA模型图
- ¥15 删除虚拟显示器驱动 删除所有 Xorg 配置文件 删除显示器缓存文件 重启系统 可是依旧无法退出虚拟显示器
- ¥15 vscode程序一直报同样的错，如何解决?
- ¥15 关于使用unity中遇到的问题
- ¥15 开放世界如何写线性关卡的用例(类似原神）