本人最近在尝试网页抓取，发现当当店铺的商品列表页面每次请求的结果都不相同。
举个例子：韩都衣舍 = http://shop.dangdang.com/4609/list.html。
多次请求这个地址会发现每次的商品页数可能不同，源码也不同。实际结果就是明明应该有几十页的内容，却只显示有几页。这是什么原因导致呢？因为我是通过页面内的下一页来抓取下一页内容，这样的话必然导致抓取不足，甚至有时候明明下一页是第三页，却显示了第一页的内容，望解答，谢谢。
PS：可能表达不清，如需细节再补充
网页同一请求地址两次的网页显示不同，源码也不一致
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
3条回答
- 2021-05-07 09:59回答 5 已采纳 通过前端代码定位后台不太现实，因为有可能前端html代码存数据库中也不一定。 你可以通过地址栏文件名和路径找到对应的php文件，查看php源代码来修改对应内容。 不想查看源代码，也可以用js代码替
- 2021-06-21 14:46回答 2 已采纳 需要添加headers。 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36
- 2021-03-25 18:00回答 5 已采纳 document.getElementById("fpdm").value
- 2023-02-08 22:55sun_qqq的博客 拷贝的层级不同，深拷贝是指每一层数据的改动都不会影响原对象和新对象，浅拷贝只有第一层的属性变动不互相影响，深层的数据变动还会互相影响。 2、实现拷贝的方法有哪些？ 浅拷贝：数组可以用拓展运算符[...arr]，...
- 2022-03-08 22:50回答 2 已采纳 requests.get得到的是源代码，ajax动态加载或者js动态生成的html代码获取不到，需要直接请求接口获取数据或者从源代码中找到js数据源进行解析。截图中右边块的数据接口为下面这个，直接re
- 2020-01-30 18:11回答 1 已采纳 加载更多是通过ajax异步加载的 请求的是 Request URL: https://cn.burberry.com/service/shelf/mens-new-arrivals-new-in/?
- 2016-03-11 08:31回答 2 已采纳 sum: 其实方法一直就在那，只是自己懒，怕麻烦不去尝试。。。。 上面知道是json又不敢确定的时候，只用了json.load(html.text)尝试，提示没有json object就一直再乱搜
- 2020-12-03 06:55weixin_39726697的博客 图书管理系统出版社的管理源码位置：https://gitee.com/machangwei-8/learning_materials/tree/master/%E9%A1%B9%E7%9B%AE/bookmanager1.设计URLurlpatterns =[url(r'^publisher_list/', views.publisher_list),]1.1...
- 2022-05-12 17:10回答 2 已采纳 因为他是异步加载的。 解决方法：1、一般爬取到的内容和网页上的不一样，可能是请求异常或者是异步加载导致的，需要去定位数据来源。2、打开控制台全局搜索151.4，发现没结果，那么继续搜索1514，发现有
- 2021-04-18 19:07回答 1 已采纳 这个网站单独给乱码部分写了特殊的字体来显示。。要还原有点难搞。。没研究过字体，一定要还原简单粗暴的方法做个文字对应表。。。 显示的的话可以下载字体，设置你显示页面那块内容的字体为下载的ttf字
- 2021-03-16 00:00回答 2 已采纳 临时文本 (编码转换 (网页_取源码（"你的网址链接"）, #编码_GB2312, #编码_UTF_8, ))
- 2023-03-27 14:44Komorebi ঞ꧔ꦿ的博客 2024前端面试题！面试宝典！总结心得！（附答案及解析）会持续更新哦！（2024.4月最新版）
- 2017-12-21 01:29wlmmmm的博客 本文从使用 SpringMVC 出现的两种常见的错误场景展开，深入 SpringMVC 处理 HTTP 请求与响应的底层源码，从中分析错误的原因，并提供相应的解决方案。
- 2022-03-04 10:07Robergean的博客 Less 有 UI 组件库 Bootstrap, Bootstrap 是 web 前端开发中一个比较有名的前端 UI 组件库，Bootstrap 的样式文件部分源码就是采用 Less 语法编写，不过 Bootstrap4 也开始用 Sass 编写了。 十二、css 与 js 动画...
- 2021-12-25 22:22有两把刷子的博客 2022年最新前端面试题 热门题目 （面经最全版）（蛋糕）...持续维护中，HTML和Css部分vue部分，Null，undefined，Boolean，Number，String，BigInt 、BigInt 、Object、1. **解构赋值、扩展运算符、class类、模块化 ...
- 没有解决我的问题, 去提问
