想做个万能青年
2021-02-17 18:23
采纳率: 100%
浏览 249

python爬虫爬取京东评论返回空白的求助贴

爬虫小白虫一个,想实际操作下爬取京东评论,只是想先试着返回评论数据,但返回的是空白,也没有报错,ur1的网址可以打开,且不是空白,代码如下

import requests

#第二 发送请求
url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=70985615599&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
resp=requests.get(url)
print(resp.text)

结果如下

由于小小白一个,实在不知道是京东反爬问题还是python代码问题,或者电脑问题,求大神指点

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 邀请回答

3条回答 默认 最新

  • 爱码仕.W 2021-04-11 00:20
    已采纳

    在header参数中添加referer默认值,应该是直接访问触发反爬了

    点赞 打赏 评论
  • hitomisky 2021-02-19 10:00

    评论地址是需要带请求头参数才能获取的,没有评论原地址,没办法猜出用了什么payload条件,

    点赞 1 打赏 评论
  • import pandas as pd
    import numpy as np
    from selenium import webdriver
    driver = webdriver.Chrome()
    
    # 爬取的网址
    
    url = '爬取的网址'
    
    driver.get(urli)
    driver.implicitly_wait(10)

    试试用selenium工具包模拟浏览器访问呢 ,

    如果能打开页面,说明能有信息, 就可下一步操作呢

    点赞 1 打赏 评论