在做网页抓取的时候，我想先判断这个网页是导航页面（目录页面），还是内容页面
例如 http://sky.news.sina.com.cn/ 这是一个导航页面
http://sky.news.sina.com.cn/2013-10-10/094444474.html 这是一个正文页面
可以通过url进行判断我知道的，能不能通过分析页面源代码进行判断啊，比如说正文字数，主要区域链接个数等等
谢谢大家，请给点思路
网页抓取时，如何判断一个页面是导航页面，还是内容页面
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答
- 2017-03-14 08:35回答 1 已采纳 getElementsByClassName() 这个函数可以，你可以查查用法
- 2021-05-17 16:12回答 5 已采纳 可能页面是异步加载的，要F12分析页面数据加载的链接参数传递，对数据进行post或get,参考https://blog.csdn.net/qq_38396897/article/details/823
- 2022-07-18 18:01回答 4 已采纳 生成的文件语法错误,应该把 " " 去掉的
- 2023-01-28 11:57海拥✘的博客 Web Scraping，也称为数据提取或数据抓取，是从网站或其他来源以文本、图像、视频、链接等形式提取或收集数据的过程。当特定网站没有官方 API 或对数据访问有限制时，Web Scraping 很有用。它具有价格监控、媒体监控...
- 2021-10-24 09:44回答 1 已采纳 爬取内容不完整，应该是文档的更多内容，要往下滑动页面才会出现这个不太清楚，应该不是什么反爬，就是类似于中途给你弹出个广告，要具体分析怎么弄VIP内容肯定是需要你的账号是VIP才能看得到的，与selen
- 2021-04-21 08:19回答 7 已采纳 这个长的字符串, 前面后面各加一个[ ], 就成了'[[],[]]'' 这种格式, 可以用eval()再转换一下, 就成了[[],[]] 可以生成数组或者dataframe,dataframe可转成
- 2022-01-03 10:32回答 1 已采纳 self.xidian_next_page确定有值吗
- 2023-08-06 14:03无水先生的博客 您在抓取动态网页内容时是否得到了糟糕的结果？不仅仅是你。对于标准抓取工具来说，爬网动态数据是一项具有挑战性的任务（至少可以说）。这是因为当发出HTTP请求时，响应程序的某些部分JavaScript在后台运行，而抓取...
- 2022-06-12 17:23回答 1 已采纳 抓取网页数据的几种方法_LiZhen798的博客-CSDN博客_网页数据抓取 相信所有个人网站的站长都有抓取别人数据的经历吧，目前抓取别人
- 2018-11-15 06:12回答 1 已采纳 问题已解决，token问题，具体看是哪一个token，不同页面的token不同
- 2020-08-10 15:06回答 1 已采纳 https://blog.csdn.net/lovemenghaibin/article/details/83111374
- 2021-07-07 10:46一个小书签，从我的页面抓取你的每周班次并为你的日历创建一个 .ics 文件 ＃＃如何 创建一个空白或虚拟书签 复制下面的代码并将其粘贴到书签的 URL 部分 [removed] ( function ( ) { document . body . appendChild...
- 2016-03-02 13:29回答 1 已采纳 http://www.zhihu.com/question/23180374
- 2021-04-03 02:18打开一个Chrome窗口，然后转到localhost：5000 5000可能会有所不同，具体取决于您的端口 如果您的端口不是5000，则将5000替换为您的端口 现在页面已打开，单击“ Take a Rocket to Mars按钮 这将开始抓取过程 不用...
- 2020-12-17 14:08如何获取一个页面内所有URL链接？在Python中可以使用urllib对网页进行爬取，然后利用Beautiful Soup对爬取的页面进行解析，提取出所有的URL。 什么是Beautiful Soup？ Beautiful Soup提供一些简单的、python式的函数...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 安卓adb backup备份应用数据失败
- ¥15 eclipse运行项目时遇到的问题
- ¥15 关于#c##的问题：最近需要用CAT工具Trados进行一些开发
- ¥15 南大pa1 小游戏没有界面，并且报了如下错误，尝试过换显卡驱动，但是好像不行
- ¥15 没有证书，nginx怎么反向代理到只能接受https的公网网站
- ¥50 成都蓉城足球俱乐部小程序抢票
- ¥15 yolov7训练自己的数据集
- ¥15 esp8266与51单片机连接问题(标签-单片机|关键词-串口)（相关搜索：51单片机|单片机|测试代码）
- ¥15 电力市场出清matlab yalmip kkt 双层优化问题
- ¥30 ros小车路径规划实现不了，如何解决？(操作系统-ubuntu)