q245413856 2015-06-02 07:37 采纳率: 0%
浏览 2428

网页同一请求地址两次的网页显示不同,源码也不一致

本人最近在尝试网页抓取,发现当当店铺的商品列表页面每次请求的结果都不相同。
举个例子:韩都衣舍 = http://shop.dangdang.com/4609/list.html。
多次请求这个地址会发现每次的商品页数可能不同,源码也不同。实际结果就是明明应该有几十页的内容,却只显示有几页。这是什么原因导致呢?因为我是通过页面内的下一页来抓取下一页内容,这样的话必然导致抓取不足,甚至有时候明明下一页是第三页,却显示了第一页的内容,望解答,谢谢。
PS:可能表达不清,如需细节再补充

  • 写回答

3条回答 默认 最新

  • Go 旅城通票 2015-06-02 07:53
    关注

    自己用开发工具监视下请求头都有什么,你的webrequest对象都要加上这些请求头

    评论

报告相同问题?

悬赏问题

  • ¥15 python天天向上类似问题,但没有清零
  • ¥30 3天&7天&&15天&销量如何统计同一行
  • ¥30 帮我写一段可以读取LD2450数据并计算距离的Arduino代码
  • ¥15 C#调用python代码(python带有库)
  • ¥15 矩阵加法的规则是两个矩阵中对应位置的数的绝对值进行加和
  • ¥15 活动选择题。最多可以参加几个项目?
  • ¥15 飞机曲面部件如机翼,壁板等具体的孔位模型
  • ¥15 vs2019中数据导出问题
  • ¥20 云服务Linux系统TCP-MSS值修改?
  • ¥20 关于#单片机#的问题:项目:使用模拟iic与ov2640通讯环境:F407问题:读取的ID号总是0xff,自己调了调发现在读从机数据时,SDA线上并未有信号变化(语言-c语言)