1条回答 默认 最新
- douchuitang0331 2019-02-16 03:45关注
The problem is site is crawled by empty user agent strings! I think the google search is using empty user agent string robots to crawl the website. And the empty user agent string robots are ignoring the robot.txt file.We can block empty user agent string robots using .htaccess file using below code.
insert this code into the .htaccess file
hereRewriteCond %{HTTP_USER_AGENT} ^$ RewriteRule ^(.*)$ - [F,L]
解决 无用评论 打赏 举报
悬赏问题
- ¥15 stm32开发clion时遇到的编译问题
- ¥15 lna设计 源简并电感型共源放大器
- ¥15 如何用Labview在myRIO上做LCD显示?(语言-开发语言)
- ¥15 Vue3地图和异步函数使用
- ¥15 C++ yoloV5改写遇到的问题
- ¥20 win11修改中文用户名路径
- ¥15 win2012磁盘空间不足,c盘正常,d盘无法写入
- ¥15 用土力学知识进行土坡稳定性分析与挡土墙设计
- ¥70 PlayWright在Java上连接CDP关联本地Chrome启动失败,貌似是Windows端口转发问题
- ¥15 帮我写一个c++工程