想做个万能青年 2021-02-17 18:23 采纳率: 100%
浏览 575
已采纳

python爬虫爬取京东评论返回空白的求助贴

爬虫小白虫一个,想实际操作下爬取京东评论,只是想先试着返回评论数据,但返回的是空白,也没有报错,ur1的网址可以打开,且不是空白,代码如下

import requests

#第二 发送请求
url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=70985615599&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
resp=requests.get(url)
print(resp.text)

结果如下

由于小小白一个,实在不知道是京东反爬问题还是python代码问题,或者电脑问题,求大神指点

  • 写回答

3条回答 默认 最新

  • 爱码仕.W 2021-04-11 00:20
    关注

    在header参数中添加referer默认值,应该是直接访问触发反爬了

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
  • hitomisky 2021-02-19 10:00
    关注

    评论地址是需要带请求头参数才能获取的,没有评论原地址,没办法猜出用了什么payload条件,

    评论
  • 关注
    import pandas as pd
    import numpy as np
    from selenium import webdriver
    driver = webdriver.Chrome()
    
    # 爬取的网址
    
    url = '爬取的网址'
    
    driver.get(urli)
    driver.implicitly_wait(10)

    试试用selenium工具包模拟浏览器访问呢 ,

    如果能打开页面,说明能有信息, 就可下一步操作呢

    评论
查看更多回答(2条)

报告相同问题?

悬赏问题

  • ¥15 grafna发送告警信息
  • ¥15 51单片机,LCD屏幕内容修改
  • ¥20 Ida Pro动态调试
  • ¥15 TensorFlow深度学习拓展项目
  • ¥20 springboot博客系统
  • ¥15 MICE包多重插补后数据集汇总导出
  • ¥15 一道算法分析问题(关于3-MSAT)
  • ¥15 C++ FLUENT 化学反应速率 编写困难
  • ¥15 Python嵌套交叉验证
  • ¥15 linuxkit+elasticsearch