在做网页抓取的时候，我想先判断这个网页是导航页面（目录页面），还是内容页面
例如 http://sky.news.sina.com.cn/ 这是一个导航页面
http://sky.news.sina.com.cn/2013-10-10/094444474.html 这是一个正文页面
可以通过url进行判断我知道的，能不能通过分析页面源代码进行判断啊，比如说正文字数，主要区域链接个数等等
谢谢大家，请给点思路
网页抓取时，如何判断一个页面是导航页面，还是内容页面
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答 默认 最新
- 2017-03-14 08:35回答 1 已采纳 getElementsByClassName() 这个函数可以，你可以查查用法
- 2021-05-17 16:12回答 5 已采纳 可能页面是异步加载的，要F12分析页面数据加载的链接参数传递，对数据进行post或get,参考https://blog.csdn.net/qq_38396897/article/details/823
- 2022-07-18 18:01回答 4 已采纳 生成的文件语法错误,应该把 " " 去掉的
- 2023-01-28 11:57海拥✘的博客 Web Scraping，也称为数据提取或数据抓取，是从网站或其他来源以文本、图像、视频、链接等形式提取或收集数据的过程。当特定网站没有官方 API 或对数据访问有限制时，Web Scraping 很有用。它具有价格监控、媒体监控...
- 2021-10-24 09:44回答 1 已采纳 爬取内容不完整，应该是文档的更多内容，要往下滑动页面才会出现这个不太清楚，应该不是什么反爬，就是类似于中途给你弹出个广告，要具体分析怎么弄VIP内容肯定是需要你的账号是VIP才能看得到的，与selen
- 2021-04-21 08:19回答 7 已采纳 这个长的字符串, 前面后面各加一个[ ], 就成了'[[],[]]'' 这种格式, 可以用eval()再转换一下, 就成了[[],[]] 可以生成数组或者dataframe,dataframe可转成
- 2022-01-03 10:32回答 1 已采纳 self.xidian_next_page确定有值吗
- 2023-08-06 14:03无水先生的博客 您在抓取动态网页内容时是否得到了糟糕的结果？不仅仅是你。对于标准抓取工具来说，爬网动态数据是一项具有挑战性的任务（至少可以说）。这是因为当发出HTTP请求时，响应程序的某些部分JavaScript在后台运行，而抓取...
- 2022-06-12 17:23回答 1 已采纳 抓取网页数据的几种方法_LiZhen798的博客-CSDN博客_网页数据抓取 相信所有个人网站的站长都有抓取别人数据的经历吧，目前抓取别人
- 2018-11-15 06:12回答 1 已采纳 问题已解决，token问题，具体看是哪一个token，不同页面的token不同
- 2020-08-10 15:06回答 1 已采纳 https://blog.csdn.net/lovemenghaibin/article/details/83111374
- 2021-07-07 10:46一个小书签，从我的页面抓取你的每周班次并为你的日历创建一个 .ics 文件 ＃＃如何 创建一个空白或虚拟书签 复制下面的代码并将其粘贴到书签的 URL 部分 [removed] ( function ( ) { document . body . appendChild...
- 2016-03-02 13:29回答 1 已采纳 http://www.zhihu.com/question/23180374
- 2021-04-03 02:18打开一个Chrome窗口，然后转到localhost：5000 5000可能会有所不同，具体取决于您的端口 如果您的端口不是5000，则将5000替换为您的端口 现在页面已打开，单击“ Take a Rocket to Mars按钮 这将开始抓取过程 不用...
- 2020-12-17 14:08如何获取一个页面内所有URL链接？在Python中可以使用urllib对网页进行爬取，然后利用Beautiful Soup对爬取的页面进行解析，提取出所有的URL。 什么是Beautiful Soup？ Beautiful Soup提供一些简单的、python式的函数...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 素材场景中光线烘焙后灯光失效
- ¥15 请教一下各位，为什么我这个没有实现模拟点击
- ¥15 执行 virtuoso 命令后，界面没有，cadence 启动不起来
- ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
- ¥20 有关区间dp的问题求解
- ¥15 多电路系统共用电源的串扰问题
- ¥15 slam rangenet++配置
- ¥15 有没有研究水声通信方面的帮我改俩matlab代码
- ¥15 ubuntu子系统密码忘记
- ¥15 保护模式-系统加载-段寄存器