weixin_63967673 2022-08-30 20:16 采纳率: 94.1%
浏览 55
已结题

python初级爬虫爬出来没有数据

为什么爬出来没有数据的

import pandas as pd
import requests
import re
import time
data_list = []
for i in range(1,5,1):
    print("正在爬取第" + str(i) + "页")
    #构建访问的网址,这个网址可有讲究了
    first = 'https://read.douban.com/ebook/57468782/comments?page='
    last = '&commentType=Review&sort=SCORE_DESC'
    url = first + str(i) + last
    #访问的头文件,还带这个cookie
    headers ={
        # 用的哪个浏览器
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.102 Safari/537.36 Edg/104.0.1293.63',
        # 从哪个页面发出的数据申请,每个网站可能略有不同
        'referer': 'https://read.douban.com/ebook/57468782/comments?page=1&commentType=Review&sort=SCORE_DESC',
        # 哪个用户想要看数据,是游客还是注册用户,建议使用登录后的cookie
        'cookie':'bid=CtjGQQts6qw; _ga=GA1.1.854662765.1661781900; _ga=GA1.3.854662765.1661781900; _gid=GA1.3.317441563.1661781904; __gads=ID=d5118ecfd9b7e0af-2274d7276ad60026:T=1661830434:RT=1661830434:S=ALNI_Mal2pDexGkPbLkfBDTGaasIQBwdVg; _pk_ses.100001.a7dd=*; __gpi=UID=0000093d4aa6ff27:T=1661830434:RT=1661860990:S=ALNI_MaJaflHC8_SKOY1tp75x72g4tBu-g; _ga_RXNMP372GL=GS1.1.1661860989.7.1.1661861051.59.0.0; _pk_id.100001.a7dd=684c82dba8991abc.1661781900.5.1661861051.1661850445.'
        }
    #尝试获取数据(这里的数据应该是从json里面获取的)
    try:
        data = requests.get(url,headers = headers).text
        time.sleep(5)
        result = re.findall('content":"(.*?)"title"',data)
        data_list.extend(result)
    except:
        print("本页爬取失败")
df = pd.DataFrame()
df["评论"] = data_list
df.to_excel("评论_汇总.xlsx")


  • 写回答

1条回答 默认 最新

  • 快乐小土狗 2022-08-30 23:12
    关注

    你打印data 的值瞅瞅,里面根本没有你想要的数据。
    这个数据是其他url返回的。
    你在网页右键点击检查,在选择网络,然后刷新页面,会看见很多url请求,取看这个url请求的响应,那个返回了你要的数据,你就去请求那个url

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 系统已结题 9月8日
  • 已采纳回答 8月31日
  • 创建了问题 8月30日

悬赏问题

  • ¥15 Bibtex4Word 引用中文文献
  • ¥20 用opencv c/c++ 转换成灰度图,然后做一下直方图均衡,输出mp4文件
  • ¥20 matlab中的双层数值积分
  • ¥50 服务器打印水晶报表问题
  • ¥30 gradle环境下javafx项目如何使用druid连接池
  • ¥15 服务器打印水晶报表问题
  • ¥18 深度学习tensorflow1,ssdv1,coco数据集训练一个模型
  • ¥100 关于注册表摄像头和麦克风的问题
  • ¥30 代码本地运行正常,但是TOMCAT部署时闪退
  • ¥15 关于#python#的问题