在google学术搜索（ https://scholar.google.com） 上，搜索出某个作者的文献信息（如图）：
开始只显示20条文献信息，底部有一个show more按钮，点击一下多显示20条，想求教如何爬取所有的文献信息
希望大神帮忙写一下这一部分的代码或给出具体的思路（要用什么函数等等）
谢谢各位大神！！！
R语言爬虫页面时页面内有show more按钮，抓取页面问题
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
3条回答 默认 最新
- 2017-09-11 08:10回答 1 已采纳  拼接一下这个url，用枚红色标记的部分就是你程序要输
- 2022-01-05 11:52回答 1 已采纳 那看外面还有大标签嘛.爬虫的话.一般标签发生变化也就是网页改版.是需要重新修改代码的.没有一劳永逸的.就是 爬虫代码是需要维护更新的
- 2021-11-27 01:37
python爬虫在爬取页面时，修改页面编码出现问题AttributeError: 'NoneType' object has no attribute 'apparent_encoding'
python
开发语言
有问必答
爬虫
回答 3 已采纳 那是因为gethtml函数中请求超时或其他原因，抛出异常，返回了None 值 。在调用时出现None类型无apparent_encoding属性。你可以将timeout设置大些。 如解答对你有帮助，请 - 2019-07-31 21:14追梦IT男的博客 Splash 是一个 JavaScript 渲染服务，是一个带有 HTTP API 的轻量级浏览器，同时它对接了 Python 中的 Twisted和 QT 库，利用它我们同样可以实现动态渲染页面的抓取。 1. 功能介绍 利用 Splash 我们可以实现如下功能...
- 2022-07-18 18:01回答 4 已采纳 生成的文件语法错误,应该把 " " 去掉的
- 2021-12-08 16:12回答 1 已采纳 爬错了，是这个https://wax.alcor.exchange/api/markets
- 2021-10-24 12:56回答 1 已采纳 遇到VIP页面，我想你应该需要一个VIP会员，并以登入破解。 限制爬取次数上，可以用proxy轮转 或 尽量拉长sleep时间 或 多办几个账号 以上浅见
- 2019-07-29 21:59未衬老师的博客 Splash 是一个 JavaScript 渲染服务，是一个带有 HTTP API 的轻量级浏览器，同时它对接了 Python 中的 Twisted和 QT 库，利用它我们同样可以实现动态渲染页面的抓取。 1. 功能介绍 利用 Splash 我们可以实现如下功能...
- 2021-10-21 15:16回答 1 已采纳 该页面信息通过用户选择选项，js动态渲染加载数据的，比如在选项框中输入name,在XHR中就可以看到name的动态加载链接，对其进行请求可获取相关信息的json数据信息。
- 2023-03-19 21:38回答 4 已采纳 用下面的方式可以请求到数据 from requests import Session url = "https://www.luogu.com.cn/" headers = { 'acce
- 2022-10-12 05:53回答 4 已采纳 简单来讲，可以有两种方式来实现：1、网页前端使用一个定时器去后台轮询，请求数据，当有新数据时，就在网页上展示更新。2、使用websocket技术，在后台讲新数据推送到前端来。以上这两种技术都是可以的，
- 2022-07-11 07:35「已注销」的博客 1. 先看一个最简单的爬虫。 import requests url = "http://www.cricode.com" r = requests.get(url) print(r.text) 2. 一个正常的爬虫程序 上面那个最简单的爬虫，是一个不完整的残疾的爬虫。因为爬虫程序通常...
- 2021-10-24 09:44回答 1 已采纳 爬取内容不完整，应该是文档的更多内容，要往下滑动页面才会出现这个不太清楚，应该不是什么反爬，就是类似于中途给你弹出个广告，要具体分析怎么弄VIP内容肯定是需要你的账号是VIP才能看得到的，与selen
- 2016-05-23 09:53小扁加油的博客 项目中使用到了webmagic，采集论坛一类的页面时需要一些特殊的配置。在此记录一下 先来看看我要采集的页面 点击第2页可以看到它的url是http://bbs.csdn.net/forums/Java_WebDevelop?page=2 ...
- 2019-11-11 21:48C'ᴇsᴛ.ℳℛ·小华的博客 2、分布式爬虫主要解决什么问题？ (1)ip (2)带宽 (3)cpu (4)io 3、什么是 URL？ URL，即统一资源定位符，也就是我们说的网址，统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 mmocr的训练错误，结果全为0
- ¥15 python的qt5界面
- ¥15 无线电能传输系统MATLAB仿真问题
- ¥50 如何用脚本实现输入法的热键设置
- ¥20 我想使用一些网络协议或者部分协议也行，主要想实现类似于traceroute的一定步长内的路由拓扑功能
- ¥30 深度学习，前后端连接
- ¥15 孟德尔随机化结果不一致
- ¥15 apm2.8飞控罗盘bad health，加速度计校准失败
- ¥15 求解O-S方程的特征值问题给出边界层布拉休斯平行流的中性曲线
- ¥15 谁有desed数据集呀