补充
1. 浏览器的初始化工作放在哪块？
2. 是多个request共同操作一个浏览器么？
scrapy用selenium 键入关键字得到一个列表页面 需要循环点击列表获取详情 这种场景怎么处理？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
关注不知道你这个问题是否已经解决, 如果还没有解决的话:- 关于该问题，我找了一篇非常好的博客，你可以看看是否有帮助，链接：scrapy+selenium爬取网页动态加载数据实例讲解
如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 以帮助更多的人 ^-^解决 无用评论 打赏举报 分享
- 2022-03-28 00:22回答 1 已采纳 这种大概率都是浏览器驱动和浏览器版本不一致的问题吧
- 2020-08-10 15:06回答 1 已采纳 https://blog.csdn.net/lovemenghaibin/article/details/83111374
- 2020-07-03 11:16回答 4 已采纳 考虑网页的内容使用了ajax，使用右键-》查看网页源代码，看是否仍然能获得指定的内容
- 2021-08-24 10:12码农的后花园的博客 人生苦短，快学Python！ 初学scrapy之后，发现就是效率对比于selenium和requests快了很多，那么问题来了，如果网站设置了反爬，比如User-Agent反爬，cooki...
- 2021-08-29 20:29回答 1 已采纳 scrapy的python代码不是可运行脚本。scrapy的python代码是需要借助scrapy的命令运行的。如果要多次运行可以考虑使用python执行shell命令，调用scrapy的命令执行。
- 2021-07-14 22:31回答 1 已采纳 看提示是说没有 crawl 命令，要解决这个问题，需要确保2点： 1.把爬虫.py复制到spiders文件夹里 如执行scrapy crawl demo ,spiders里面就要有demo.py文件
- 2021-07-22 10:03回答 2 已采纳 看下数据是否是动态加载的，多抓几次包，分析下；可能需要通过添加page参数，进行爬取！
- 2019-06-19 16:20Carry_NJ的博客 场景1：项目中有多个爬虫时，将driver对象的初始化放在各个spider中 #!/usr/bin/env python # -*- coding: UTF-8 -*- ''' @author: carry @time: 2019/6/19 15:56 @desc: ''' import scrapy from selenium import ...
- 2023-04-02 16:26回答 2 已采纳 好问题！！抱歉我也不太懂，你问问chatGPT吧：https://new.quke123.com/ 或者其他Python群友：https://app.yinxiang.com
- 2020-08-10 15:18回答 1 已采纳 https://blog.csdn.net/lovemenghaibin/article/details/83111374
- 2021-07-23 11:36回答 3 已采纳 这个只是爬虫的Spider编写啥也没做 没有入口 都运行不了顶多实现下面:import requestsurl = 'https://www.santostang.com/'response = re
- 知识大胖的博客 请求允许我向API发送电影名称，清理响应，并在不到10行代码中打印出来——如果我们省略了注释#APIURLsearch})好消息是，您不需要安装Urllib，因为它是内置Python库的一部分。但是，在极少数情况下，您可能在Python...
- 2021-09-04 13:52回答 1 已采纳 检查一下哪个python.exe执行的这个文件，找到python的完整路径，比如c:\python39\python.exe然后执行 c:\python39\python.exe -c "import
- Hu??的博客 引言自从学习了爬虫之后，每天不写个小爬虫爬爬小姐姐，都觉得浑身难受：小姐姐是挺好看的，只是身体日渐消瘦而已，多喝营养快线就好！ (快来学Python爬虫，一起爬可爱的小姐姐啊~)抓多了发现有一些小网站很狡猾，...
- 2023-09-22 13:40爱编程的小辞的博客 在我们深入探讨Selenium的多个方面之后，很重要的一点是认识到，像所有工具一样，Selenium在使用时需要遵循一些基本的注意事项和最佳实践。此外，网页抓取和自动化不仅受到技术限制，还受到法律和道德的约束。注意...
- 没有解决我的问题, 去提问
悬赏问题
- ¥30 这是哪个作者做的宝宝起名网站
- ¥60 版本过低apk如何修改可以兼容新的安卓系统
- ¥25 由IPR导致的DRIVER_POWER_STATE_FAILURE蓝屏
- ¥50 有数据，怎么建立模型求影响全要素生产率的因素
- ¥50 有数据，怎么用matlab求全要素生产率
- ¥15 TI的insta-spin例程
- ¥15 完成下列问题完成下列问题
- ¥15 C#算法问题, 不知道怎么处理这个数据的转换
- ¥15 YoloV5 第三方库的版本对照问题
- ¥15 请完成下列相关问题！