很多网站是用js或Jquery 生成数据的，到后台获取到数据以后，用 document.write()或者("#id").html="" 的方式 写到页面中，这个时候用浏览器查看源码是看不到数据的。
6条回答 默认 最新
Go 旅城通票 2017-07-04 07:16关注如果是ajax加载的通过浏览器找到接口数据直接采集接口返回的内容。如果在页面上已经存在的，自己正则提取下数据
解决 无用评论 打赏举报
分享
- 2014-07-25 17:44回答 5 已采纳 我之前也遇到过这个问题，网上说法很多，不过觉得都没有解决问题，后来相过有什么功能可以获取请求某一个url地址时所附带请求的其他链接地址，但是这个好像说是用抓包可以实现，不过我没实现 只能采用最原
- 2021-07-03 15:42回答 1 已采纳 PyExecJs库，把该js文件爬下来，执行就可以。如果该js无返回数据的方法，为了返回该js执行后生成的内容，可以在js文件里补充get方法定义，再编入execjs。比如eval(getImgs=f
- 2023-04-13 13:18回答 1 已采纳 爬虫严格来讲并不算一个大方向，更偏向于js逆向，python的话推荐走后端方向至于系统学习的话，推荐去blibili找一些路线，然后根据路线去找bilibili上播放量比较高的视频进行系统学习
- 2021-03-08 23:52yxldr的博客 」这是个好问题，自从 Python 火了起来，编写爬虫程序的门口越来越低，爬取别人网站数据也越来越猖獗。阻止爬虫也就是我们这次要说的「反爬虫」，「反爬虫」涉及到的技术比较综合，说简单也简单，说复杂也复杂，看...
- 2022-04-21 11:40回答 2 已采纳 代码抛了异常，后面的代码没有执行。try catch 下抛出异常的代码试下。
- 2021-09-06 00:23回答 2 已采纳 可以用meta累计请求次数，在后续的请求中获取请求次数。 def parse(self, response): meta = {'crawlCnt': 0} if response.met
- 2022-08-15 18:55回答 2 已采纳 你这样去爬天猫肯定是要被反爬的，代理都不加上，如果数据量小，可以加上代理跑一跑，但是如果数据量比较大的话，你是绕不开滑块验证码的，而出不出现验证码是根据你的cookie来决定的，提供一个大批量跑的思路
- 2021-03-14 20:501 Byte的博客 前言 本文从零搭建SpringBoot项目，简单利用jsoup插件实现从微医网站爬取医生数据并持久化到MySQL数据库，注意：本文只讲应用不讲原理 1.从零搭建SpringBoot项目 1.1 利用idea新建一个maven项目 给maven项目指定组名...
- 2023-03-21 23:25回答 1 已采纳 点击，看是不是从后台发送到前端，如果是这样的话，f12会有json数据接口，你直接会对这个接口发起请求，就可以获得了。也就是说要判断这个联系方式是静态的还是动态加载的，静态的，你搜索应该内找到位置。
- 2022-03-27 23:50回答 3 已采纳 两种方案： 实时抓取显示：由于你使用的是云开发技术，可以使用nodejs技术实现爬虫，直接将爬取的过程使用nodejs封装成一个云函数放上去运行，这样也可以省去后端服务器，我的一个菜谱小程序就是这样做
- 2022-08-28 17:54回答 4 已采纳 害，你不输出怎么看到返回的结果使用print(response.text)打印输出
- 2020-10-24 21:42weixin_39707201的博客 」问你的人的身份，可能是你的 boss 或上司，可能是后端同事，也可能是前端同行；问你的人的目的，可能是刁难，可能是嘲讽，也可能是请教。前端开发众所周知，做前端开发所依赖的核心技术就是 HTML、CSS 和 JS，就像...
- 2022-04-25 14:26回答 1 已采纳 你写入的应该是一个列表吧，比如说writer.wirterow(data)你可以改成writer.wirterow([data])有帮助采纳一下哈，谢谢~
- 2021-02-01 04:40抓取SPA（单页应用）并生成预渲染内容（即“ SSR”（服务器端渲染））。 自动提交表单，进行UI测试，键盘输入等。 创建一个时时更新的自动化测试环境。使用最新JavaScript和浏览器功能直接在最新版本的Chrome中执行...
- 2022-02-24 00:03ric.的博客 旨在通过使用java爬虫，提取网络中的各种商品信息，并收集的商品信息建立统一数据模型存储数据，通过数据模型描述商品的基本属性。如spu，sku，商品描述，价格等信息，同时需要剔除非必要信息，做到精准分析。根据所...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 执行 virtuoso 命令后，界面没有，cadence 启动不起来
- ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
- ¥20 有关区间dp的问题求解
- ¥15 多电路系统共用电源的串扰问题
- ¥15 slam rangenet++配置
- ¥15 有没有研究水声通信方面的帮我改俩matlab代码
- ¥15 ubuntu子系统密码忘记
- ¥15 保护模式-系统加载-段寄存器
- ¥15 电脑桌面设定一个区域禁止鼠标操作
- ¥15 求NPF226060磁芯的详细资料