醒时风拂衣,情动忽提笔 2020-04-19 14:20 采纳率: 50%
浏览 261

python爬取CNKI关键词怎么翻页?

首页的关键词爬取下来了,但是每个关键词内还有关键词不会翻页。
这是url:http://define.cnki.net/WebForms/WebDefault.aspx
然后有提示怎么搞翻页,我是新手,搞不懂。
这是提示:
首先获取所有学科类别,按照学科爬取

  • 因为虽然学科不同,但是页面相似,因此猜测url中某个参数控制请求道德具体页面。因此先观察每个学科的请求链接

[地球与空间科学]: http:/\/define.cnki.net/WebForms/WebNavigationContent.aspx?name=地球与空间科学

[电子]:http:/\/define.cnki.net/WebForms/WebNavigationContent.aspx?name=电子

.....

观察到name参数后的值影响具体学科,因此只需要构造请求链接:

subjectName = "学科名"
url = "http:/\/define.cnki.net/WebForms/WebNavigationContent.aspx?name=" + subjectName

即可打开不同学科页面。

因此我们可以将所有学科名字存入一个列表中,再使用迭代器,迭代学科列表即可访问不同学科的学术名词

首页爬取的代码如下:

  • 写回答

1条回答 默认 最新

  • 堅持就是勝利! 2023-11-25 10:04
    关注

    用webdriver

    评论

报告相同问题?

悬赏问题

  • ¥15 clousx6整点报时指令怎么写
  • ¥30 远程帮我安装软件及库文件
  • ¥15 关于#自动化#的问题:如何通过电脑控制多相机同步拍照或摄影(相机或者摄影模组数量大于60),并将所有采集的照片或视频以一定编码规则存放至规定电脑文件夹内
  • ¥20 深信服vpn-2050这台设备如何配置才能成功联网?
  • ¥15 Arduino的wifi连接,如何关闭低功耗模式?
  • ¥15 Android studio 无法定位adb是什么问题?
  • ¥15 C#连接不上服务器,
  • ¥15 angular项目错误
  • ¥20 需要帮我远程操控一下,运行一下我的那个代码,我觉得我无能为力了
  • ¥20 有偿:在ubuntu上安装arduino以及其常用库文件。