网站内页百度抓取诊断都是失败，只有首页抓取成功，求指点

Question

首页抓取成功，内页都是抓取失败，原因是找不到页面

Answer 1

有没有可能被封了呢？有些网站有反扒虫机制，可能会封 IP ，然后爬虫程序访问的程序都成了 404 了。