webmagic输入的网址和加载的页面不匹配

Question

我想加载京东的手机页面，网址上是这样

而下载的页面没有手机，网址内容也和这个页面不一样，这是为什么

public class JdPageProcess implements PageProcessor{

    private Site site = Site.me().setRetryTimes(3).setSleepTime(100);
    public Site getSite() {
     return site;
    }

    @Override
    public void process(Page page) {
        System.out.println(page.getHtml().get());       
    }
    public static void main(String[] args) {
        String url="https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8";
         Spider.create(new JdPageProcess()).addUrl(url).run();
    }
}

Answer 1

Request Headers要处理一下，尤其是UserAgent要模仿个谷歌浏览器什么的。不然很容易被网站判断为爬虫的。诺大个京东如果连个防爬机制都没怎么也是说不过去的。