京东商城的robots协议为什么看不了？

今天在学爬虫,发现京东商城的robots协议看不了，
这是什么情况？

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

1条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
JMzz 2023-08-18 08:59
关注
京东的robots.txt地址https://jd.com/robots.txt%E5%B7%B2%E7%BB%8F%E9%87%8D%E5%AE%9A%E5%90%91%E5%88%B0%E4%B8%BB%E9%A1%B5%E4%BA%86

这是之前看得到的时候的京东robots.txt

解决
无用 3
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

robots.txt 文件中 Allow: /$有什么含义？ javascript 有问必答
2021-07-11 12:56

回答 1 已采纳这个意思是允许访问/结尾的地址，它在disallow:/后面，所以整体的意思是不允许访问根地址，可以访问其它子一级的/结尾的地址有帮助的话，麻烦点个采纳
如果一个网址下不存在robots.txt文件，是不是代表了没有做爬虫限制？求解 python
2022-04-15 15:16

回答 1 已采纳若某网站无robots.txt文件，即默认对于爬虫无限制而实际上，robots协议只是一个说明文件，指出需遵守的爬虫协议，并没有实际的限制效果如有用请采纳
为什么Heroku看不到我部署后创建的文件？ git php
2015-04-01 23:38

回答 1 已采纳 The reason hello.txt was not found is because your curl -I request will be handled by a new instan
如何查看robots协议？怎么写？
2020-10-08 19:31

EternalTJ的博客怎么查看robots协议？可以使用这种办法，主域名/robots.txt。怎么写robots协议？当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来...
为什么PHP Mailer并不总是发送电子邮件？ mysql php
2016-05-11 14:56

回答 1 已采纳 If you want plain-text only, call isHTML(false) and set only Body - don't put anything in AltBody.
网站改版后不收录是怎么回事？有什么解决方案吗？ html5 数据挖掘
2020-12-17 17:16

回答 3 已采纳可以主动提交
为什么更改用户代理时会被拒绝？ http
2016-06-22 23:04

回答 1 已采纳 Your test code uses the same HTTP client object to send both requests, which presumably both go ov
京东商城商品信息爬取_爬虫_京东_
2021-09-30 02:48

9. **Web Scraping伦理**：在进行网络爬虫时，必须遵守京东的Robots协议，尊重网站的版权和用户隐私，避免对网站服务器造成过大压力。 10. **反爬虫策略**：京东等大型电商平台会设置一些反爬虫机制，如验证码、IP...
Robots
2017-04-26 09:39

回答 2 已采纳 http://blog.csdn.net/accelerator_/article/details/14123125
这是遇到了什么反扒机制？返回错误这么长我傻了 python
2021-07-24 11:42

回答 3 已采纳这是直接输出了一个页面，你用浏览器加载这个html不就清楚了...
robots.txt只能阻止目录中的一种文件吗？ php
2014-02-25 04:27

回答 2 已采纳 You could write in your robots.txt disallow: thisdir/*.htm$ https://developers.google.com/webma
Robots协议基础
2021-01-19 21:05

小陈是个憨憨的博客作用：网站告知网络爬虫哪些页面可以爬取，哪些不能爬取形式：在网站根目录下的robots.txt文件
深度解析Robots协议：合规爬取网站数据的最佳实践
2024-03-16 21:49

牛肉胡辣汤的博客 Robots协议是一个位于网站根目录下的robots.txt文件，用来指示搜索引擎爬虫哪些页面可以访问，哪些页面禁止访问。通过遵守Robots协议，可以有效地控制搜索引擎爬虫的抓取行为，维护网站的合法权益。合规爬取网站数据...
一些有趣的Robots协议
2020-04-03 17:07

一维定态薛定谔的博客已经许久不在csdn上活跃了，对markdown语法也生疏了许多，不管怎样，自己学习编程语言有了一些新的进展，近期可以考虑分享上来 C语言做了一个窗口式的《炉石战棋整活器》，原理其实简单易懂，就是利用win10的防火墙...
Python爬虫——爬虫是什么都可以爬的吗？Robots协议！
2019-07-08 00:44

奋斗中的编程菜鸟的博客 Python爬虫——爬虫是什么都可以爬的吗？初识“爬虫”这个词时，想必大家都会和我一样，认为“爬虫”就是爬取...Robots协议全程“网络爬虫排除标准”，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不...
爬虫：Robots协议
2021-11-29 22:40

Amae的博客 Robots 协议也称作爬虫协议、机器人协议，它的全名叫作网络爬虫排除标准（ Robots Exclusion Protocol ），用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取它通常是一个叫作 robots.txt的文本文件，一般...
【robots协议】简介、理解
2022-07-20 19:54

黑色地带（崛起）的博客【robots.txt】
python爬虫的合法性与robots 协议
2021-09-12 14:35

易小侠的博客 robots 协议也称作爬虫协议、机器人协议，它的全名叫作网络爬虫排除标准（Robots Exclusion Protocol ），当使用一个爬虫爬取一个网站的数据时，需要遵守网站所有者针对所有爬虫所制定的协议! 简单说就是是一种存放...
什么是robots协议,robots文件的作用有哪些!
2020-05-28 17:43

南帝seo的博客在我们日常网站优化当中，很多优化人员其实都忽略了robots协议，认为它不总要，其实我们在优化网站当中把robots协议用好了，可以让蜘蛛爬虫更好的爬去网站和结构，作用非常大！接下来南帝seo就为大家讲解robot协议和...
没有解决我的问题, 去提问

问题事件

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
创建了问题 8月17日

悬赏问题

¥15 依据报错在原代吗格式的基础上解决问题
¥15 在虚拟机中安装flash code
¥15 单片机stm32f10x编写光敏电阻调节3.3伏大功率灯亮度（光强越大灯越暗，白天正常光强灯不亮，使用ADC，PWM等模块）望各位找一下错误或者提供一个可实现功能的代码
¥20 verilog状态机方法流水灯
¥15 pandas代码实现不了意图
¥15 GD32H7 从存储器到外设SPI传输数据无法重复启用DMA
¥25 LT码在高斯信道下的误码率仿真
¥45 渲染完成之后将物体的材质贴图改变，自动化进行这个操作
¥15 yolov5目标检测并显示目标出现的时间或视频帧
¥15 电视版的优酷可以设置电影连续播放吗？

京东商城的robots协议为什么看不了？

1条回答 默认 最新

问题事件

悬赏问题

1条回答默认最新