binggo6656 2022-01-18 16:03 采纳率: 71.4%
浏览 46
已结题

【爬虫】怎么把评论者name和评论内容comment 遍历取出?

 ###### 问题遇到的现象和发生背景

 ###### 问题相关代码,请勿粘贴截图

import requests
import json
import re
import time
import pandas as pd
datas = []

def get_comments():

    for i in range(1,2):
        url = 'https://api-zero.livere.com/v1/comments/list?callback=jQuery112409283538250152306_1642487705017&limit=10&offset='+str(i)+'&repSeq=4272904&requestPath=%2Fv1%2Fcomments%2Flist&consumerSeq=1020&livereSeq=28583&smartloginSeq=5154&code=&_=1642487705024'
        headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36 Edg/97.0.1072.62'}
        res = requests.get(url,headers=headers)
        data =res.text
        print('正在爬取第'+str(i)+"页评论")

        commentSource = '"content":"(.*?)"'
        nameSource = '"name":"(.*?)"'
        comments = re.findall(commentSource,data,re.S)
        names =re.findall(nameSource,data,re.S)
        for name in names:
          #name已经通过遍历取出,突然不知道comment怎么遍历取出了,懵逼了,这里怎么写呢    
            datas.append({
                '评论者': name,
                '评论内容':comment
                
            })
    return datas
if __name__ == '__main__':
    get_comments()
df = pd.DataFrame(datas)
df.to_excel('json评论.xlsx',index=False)


 ###### 运行结果及报错内容

 ###### 我的解答思路和尝试过的方法

 ###### 我想要达到的结果
评论者name和评论语comment同时遍历取出至datas

  • 写回答

2条回答 默认 最新

  • 不会翻墙的泰隆 2022-01-18 17:30
    关注
    
            comments = re.findall(commentSource, data, re.S)
            names = re.findall(nameSource, data, re.S)
            for n,c in zip(names,comments):
                # name已经通过遍历取出,突然不知道comment怎么遍历取出了,懵逼了,这里怎么写呢
                datas.append({
                    '评论者': n,
                    '评论内容': c
    
                })
            print(datas)
        return datas
    
    
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 1月26日
  • 已采纳回答 1月18日
  • 创建了问题 1月18日

悬赏问题

  • ¥15 对于squad数据集的基于bert模型的微调
  • ¥15 为什么我运行这个网络会出现以下报错?CRNN神经网络
  • ¥20 steam下载游戏占用内存
  • ¥15 CST保存项目时失败
  • ¥15 树莓派5怎么用camera module 3啊
  • ¥20 java在应用程序里获取不到扬声器设备
  • ¥15 echarts动画效果的问题,请帮我添加一个动画。不要机器人回答。
  • ¥15 Attention is all you need 的代码运行
  • ¥15 一个服务器已经有一个系统了如果用usb再装一个系统,原来的系统会被覆盖掉吗
  • ¥15 使用esm_msa1_t12_100M_UR50S蛋白质语言模型进行零样本预测时,终端显示出了sequence handled的进度条,但是并不出结果就自动终止回到命令提示行了是怎么回事: