binggo6656 2022-01-18 16:03 采纳率: 71.4%
浏览 46
已结题

【爬虫】怎么把评论者name和评论内容comment 遍历取出?

 ###### 问题遇到的现象和发生背景

 ###### 问题相关代码,请勿粘贴截图

import requests
import json
import re
import time
import pandas as pd
datas = []

def get_comments():

    for i in range(1,2):
        url = 'https://api-zero.livere.com/v1/comments/list?callback=jQuery112409283538250152306_1642487705017&limit=10&offset='+str(i)+'&repSeq=4272904&requestPath=%2Fv1%2Fcomments%2Flist&consumerSeq=1020&livereSeq=28583&smartloginSeq=5154&code=&_=1642487705024'
        headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36 Edg/97.0.1072.62'}
        res = requests.get(url,headers=headers)
        data =res.text
        print('正在爬取第'+str(i)+"页评论")

        commentSource = '"content":"(.*?)"'
        nameSource = '"name":"(.*?)"'
        comments = re.findall(commentSource,data,re.S)
        names =re.findall(nameSource,data,re.S)
        for name in names:
          #name已经通过遍历取出,突然不知道comment怎么遍历取出了,懵逼了,这里怎么写呢    
            datas.append({
                '评论者': name,
                '评论内容':comment
                
            })
    return datas
if __name__ == '__main__':
    get_comments()
df = pd.DataFrame(datas)
df.to_excel('json评论.xlsx',index=False)


 ###### 运行结果及报错内容

 ###### 我的解答思路和尝试过的方法

 ###### 我想要达到的结果
评论者name和评论语comment同时遍历取出至datas

  • 写回答

2条回答 默认 最新

  • 不会翻墙的泰隆 2022-01-18 17:30
    关注
    
            comments = re.findall(commentSource, data, re.S)
            names = re.findall(nameSource, data, re.S)
            for n,c in zip(names,comments):
                # name已经通过遍历取出,突然不知道comment怎么遍历取出了,懵逼了,这里怎么写呢
                datas.append({
                    '评论者': n,
                    '评论内容': c
    
                })
            print(datas)
        return datas
    
    
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 1月26日
  • 已采纳回答 1月18日
  • 创建了问题 1月18日

悬赏问题

  • ¥20 ML307A在使用AT命令连接EMQX平台的MQTT时被拒绝
  • ¥20 腾讯企业邮箱邮件可以恢复么
  • ¥15 有人知道怎么将自己的迁移策略布到edgecloudsim上使用吗?
  • ¥15 错误 LNK2001 无法解析的外部符号
  • ¥50 安装pyaudiokits失败
  • ¥15 计组这些题应该咋做呀
  • ¥60 更换迈创SOL6M4AE卡的时候,驱动要重新装才能使用,怎么解决?
  • ¥15 让node服务器有自动加载文件的功能
  • ¥15 jmeter脚本回放有的是对的有的是错的
  • ¥15 r语言蛋白组学相关问题