2 fyiofo fyiofo 于 2017.09.11 16:10 提问

R语言爬虫页面向页面输入字段跳转的问题

统计学导师让写一个程序:
要用R语言编写!!!
原版问题:
图片说明
大致解释下:
在google学术搜索( https://scholar.google.com) 上,输入一个名字搜索后出现下边这样的网页:
图片说明
点开User profiles下边的名字会出现这个作者的文献信息(如图):
图片说明

问题是:如何根据刚才搜索这一文献页用到的网址写一个程序,输入作者的名字(就是搜索时输入的名字),输出一个txt文本,文本中有这个作者所有的文献信息,和这个作者的用户编号(用户编号在文献页面的网址中可以找到,网址中有User=“”,这个就是用户编号)

现在后半段网页上的信息抓取已经会弄了,前半段的 在程序里输入名字(是在程序里输入名字!),然后得到文献页的http地址这一部分不会弄,希望大神帮忙写一下这一部分的代码或给出具体的思路(要用什么函数等等)

谢谢各位大神!!!

1个回答

fanfanrenrenmi
fanfanrenrenmi   2017.09.12 12:04
已采纳

图片说明
拼接一下这个url,用枚红色标记的部分就是你程序要输入的名字;
然后获取到,人物对应的user,拼接出你要的页面的url,
图片说明
剩下的就是你已经做好的抓取部分了

fyiofo
fyiofo 谢谢大神,还有一点问题,就是文献页面只能显示20条,有一个more按钮,点击后会再多显示20条,我想爬取所有的文献资料,这个之前解决错了,想问一下怎么解决,谢谢
2 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片