ruojiruolixi
想做个万能青年
采纳率100%
2021-02-17 18:23 阅读 154

python爬虫爬取京东评论返回空白的求助贴

爬虫小白虫一个,想实际操作下爬取京东评论,只是想先试着返回评论数据,但返回的是空白,也没有报错,ur1的网址可以打开,且不是空白,代码如下

import requests

#第二 发送请求
url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=70985615599&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'
resp=requests.get(url)
print(resp.text)

结果如下

由于小小白一个,实在不知道是京东反爬问题还是python代码问题,或者电脑问题,求大神指点

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享

3条回答 默认 最新

  • 已采纳
    weixin_46259208 爱码仕.W 2021-04-11 00:20

    在header参数中添加referer默认值,应该是直接访问触发反爬了

    点赞 评论 复制链接分享
  • hitomisky hitomisky 2021-02-19 10:00

    评论地址是需要带请求头参数才能获取的,没有评论原地址,没办法猜出用了什么payload条件,

    点赞 1 评论 复制链接分享
  • muyashui Jack_Yang(数据分析及可视化) 2021-03-19 17:49
    import pandas as pd
    import numpy as np
    from selenium import webdriver
    driver = webdriver.Chrome()
    
    # 爬取的网址
    
    url = '爬取的网址'
    
    driver.get(urli)
    driver.implicitly_wait(10)

    试试用selenium工具包模拟浏览器访问呢 ,

    如果能打开页面,说明能有信息, 就可下一步操作呢

    点赞 1 评论 复制链接分享

相关推荐