首页蜘蛛能正常抓取，目录页抓取返回404，不管是在服务器内 模拟工具 还是 自己电脑上访问都不是404，
这是访问日志，首页正常200，目录返回404，模拟抓取也能正常抓取访问求大神教教怎么解决！
首页蜘蛛能正常抓取，目录页抓取返回404 但能打开 求怎么解决
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答 默认 最新
- 2009-07-21 11:00回答 3 已采纳 httpcon.setRequestProperty("User-Agent", "ymeq");
- 2018-07-11 12:56回答 1 已采纳 I finally found how to do so, I am sure this is not the best way but at least I did what I wanted
- 2015-12-10 13:46回答 2 已采纳 [http://www.codeforge.cn/read/120284/SpiderView.cpp__html](http://www.codeforge.cn/read/120284/Spide
- 2020-10-12 16:52DF_LXP的博客 鼎峰_小配针对百度抓取的测试在学习和研究探索的过程中的一点点心得，从刚接触时的一脸懵逼，到后来慢慢的了解了，废话不多说，直接上干货。 测试分为两个部分，一是搭建环境，一是抓取测试。 一、搭建环境 1.自己的...
- 2022-10-31 16:21回答 1 已采纳 删除pom文件重新引入一下pom文件
- 2023-02-19 18:30回答 4 已采纳 看起来您正在尝试修改 PHP 代码以从基于用户代理的蜘蛛检测切换到基于 IP 和主机名的检测。这是修改代码以实现此目的的一种方法： function getip() { if ($_SERVE
- 2015-12-10 03:31回答 9 已采纳 这个简单,我也有过经历,有两种确定的方法一种我自己猜的方法,1:你下载或者有360的话找到360的流量防火墙找到红蜘蛛的进程禁止访问网络或者点击360悬浮加速球在弹出的方框中点击下方的**网速**
- 2021-06-10 08:09Gra Ccc的博客 正好回答了一个问题，浏览器哪个...ssrtitle默认行为seo自定义 tooltip 行为解决问题阻止浏览器默认行为(失败了)event.preventDefault() 可以用来阻止浏览器的默认行为，比如说 onsubmit 表单提交、onkeydown 键盘...
- 2021-10-24 18:41回答 1 已采纳 最简单的方法就是直接循环枚举，看哪一种情况符合条件
- 2021-11-04 14:26回答 3 已采纳 最好理解的就是穷举方法了
- 2018-08-16 09:57回答 3 已采纳 504错误 编辑 504是（超时） 服务器作为网关或代理，但是没有及时从服务器收到请求。 这通常意味着服务器已关闭（不响应网关 / 代理），而不是上游服务器和网关 / 代理在交换
- 2020-12-13 03:28weixin_39542477的博客 今天我们一起来盘点有哪些工具能让我们事半功倍，有效提升排名。内贸企业SEO工具SEO收录工具1、百度站长平台(免费)百度站长平台是全球最大的中文网站管理员官方平台。提供SEO优化建议、站长工具、权威数据算法公布。...
- 2015-11-02 03:05回答 1 已采纳 如何快速构建地图网站----------------------biu~biu~biu~~~在下问答机器人小D，这是我依靠自己的聪明才智给出的答案，如果不正确，你来咬我啊！
- 2021-10-22 10:31DIC专业信息提供者的博客 1、一般来说，造成百度提醒：该页面因服务不稳定可能无法正常访问的最大原因就是网站的服务器线路不稳定，大多是海外vps和一些的虚拟空间，这样的网站环境可能会造成蜘蛛抓取困难、无法爬行等，因为出现了我们刚才说...
- 2021-07-29 14:07weixin_39668965的博客 Linux服务器日常运维命令原创lya0412011-09-10 16:01:53©著作权©著作权归作者所有：来自51CTO博客作者lya041的原创作品，如需转载，请注明出处，否则将追究法律责任https://blog.51cto.com/lya041/661968系统连接...
- 2021-07-07 13:56不会吐丝的蜘蛛侠。的博客 Linux运维命令： 一、防火墙： 1、查看firewall服务状态：systemctl status firewalld 出现Active: active (running)切高亮显示则表示是启动状态。 出现 Active: inactive (dead)灰色表示停止，看单词也行。 2、查看...
- 2023-03-15 20:34百收网络公司的博客 什么是SEO强引秒收录蜘蛛池，最新谷歌蜘蛛池泛目录站群推广 今天我们来讲一下灰色行业SEO优化方式的一个优缺点，那么之前我们讲过黑色行业的一个优化方式，那么现在我们来讲一下这个就是它用到的哪几种优化方式，...
- 没有解决我的问题, 去提问
悬赏问题
- ¥60 版本过低apk如何修改可以兼容新的安卓系统
- ¥25 由IPR导致的DRIVER_POWER_STATE_FAILURE蓝屏
- ¥50 有数据，怎么建立模型求影响全要素生产率的因素
- ¥50 有数据，怎么用matlab求全要素生产率
- ¥15 TI的insta-spin例程
- ¥15 完成下列问题完成下列问题
- ¥15 C#算法问题, 不知道怎么处理这个数据的转换
- ¥15 YoloV5 第三方库的版本对照问题
- ¥15 请完成下列相关问题！
- ¥15 drone 推送镜像时候 purge: true 推送完毕后没有删除对应的镜像,手动拷贝到服务器执行结果正确在样才能让指令自动执行成功删除对应镜像，如何解决？