q245413856 2015-06-02 07:37 采纳率: 0%
浏览 2428

网页同一请求地址两次的网页显示不同，源码也不一致

本人最近在尝试网页抓取，发现当当店铺的商品列表页面每次请求的结果都不相同。
举个例子：韩都衣舍 = http://shop.dangdang.com/4609/list.html。
多次请求这个地址会发现每次的商品页数可能不同，源码也不同。实际结果就是明明应该有几十页的内容，却只显示有几页。这是什么原因导致呢？因为我是通过页面内的下一页来抓取下一页内容，这样的话必然导致抓取不足，甚至有时候明明下一页是第三页，却显示了第一页的内容，望解答，谢谢。
PS：可能表达不清，如需细节再补充

  • 写回答

3条回答 默认 最新

  • Go 旅城通票 2015-06-02 07:53
    关注

    自己用开发工具监视下请求头都有什么，你的webrequest对象都要加上这些请求头

    评论

报告相同问题？

悬赏问题

  • ¥15 用visual studi code完成html页面
  • ¥15 聚类分析或者python进行数据分析
  • ¥15 逻辑谓词和消解原理的运用
  • ¥15 三菱伺服电机按启动按钮有使能但不动作
  • ¥15 js，页面2返回页面1时定位进入的设备
  • ¥50 导入文件到网吧的电脑并且在重启之后不会被恢复
  • ¥15 （希望可以解决问题）ma和mb文件无法正常打开，打开后是空白，但是有正常内存占用，但可以在打开Maya应用程序后打开场景ma和mb格式。
  • ¥20 ML307A在使用AT命令连接EMQX平台的MQTT时被拒绝
  • ¥20 腾讯企业邮箱邮件可以恢复么
  • ¥15 有人知道怎么将自己的迁移策略布到edgecloudsim上使用吗？