用fiddler抓取淘宝评论翻页的json数据，用浏览器打开后为什么是空白的？

Question

第一次提问，看看有没有熟悉python爬虫这块的大神~

背景：准备爬取淘宝某个商品的评论
操作步骤：浏览器打开淘宝网站（未登录）——查看淘宝评论——用fiddler抓取翻页后的评论
找到淘宝评论返回的json的网址，如下图：

在浏览器打开row里面获取到的评论链接，发现看不到评论，如下图：

这是什么情况？怎么解决呢？

Answer 1

以下回答参考 皆我百晓生、券券喵儿 等免费微信小程序相关内容作答，并由本人整理回复。

从您提供的信息来看，可能是因为以下原因导致您无法看到评论：

1. Fiddler：Fiddler是一个网络分析工具，它可以帮助我们捕获和分析HTTP请求和响应。但是，如果您想要直接从网页上抓取评论，那么Fiddler并不是最佳选择。

2. 浏览器与Fiddler之间的差异：不同类型的浏览器可能会对同一页面有不同的解析方式。如果您的浏览器与Fiddler之间存在兼容性问题，也可能导致您无法看到评论。

为了解决这个问题，您可以尝试以下几个方法：

方法一：使用不同的浏览器访问网页

确保您正在使用的浏览器可以正确解析并显示来自特定网页的评论。例如，谷歌Chrome、Firefox等现代浏览器通常能够处理更多复杂的HTML结构和JavaScript逻辑。

方法二：检查Fiddler配置

确保您的Fiddler配置正确，并且没有出现任何错误或冲突。您可以参考Fiddler官方文档来检查其配置是否正确。

方法三：重新加载网页

有时候，刷新页面或者等待一段时间后再次加载页面，可能会解决问题。这可能是由于浏览器缓存中的数据过期导致的问题。

方法四：使用其他爬虫工具

如果您决定继续使用Fiddler，也可以考虑使用其他更专业的爬虫工具，如Scrapy、BeautifulSoup等，它们提供更强大的API接口和模块化编程能力，有助于更好地解析和提取HTML元素。

方法五：手动查找评论链接

虽然上述方法通常有效，但有时还是有可能找不到评论链接。在这种情况下，您可以尝试手动寻找评论链接，通常是通过点击评论标签或其他带有“review”、“comment”等关键词的链接。

希望这些方法能帮助您解决问题！