我真的不想敲代码! 2022-06-14 13:14 采纳率: 25%
浏览 9
已结题

球问爬取到的数据怎么保存到本地

from bs4 import BeautifulSoup
import requests
userSeach='pr'
page=1
viedoNum=0
val=0
mainUrl='https://search.bilibili.com/all?keyword=%27+userSeach
mainSoup = BeautifulSoup(requests.get(mainUrl).text, "html.parser")
pages=mainSoup.find('li',class_="page-item last")
with open('test.txt', 'w', encoding='utf-8') as f:
if(pages):
pages=int(pages.text)
else:
pages=1
while page<=pages:
mainUrl='https://search.bilibili.com/all?keyword=%27+userSeach+%27&page=%27+page.__str__()
mainSoup = BeautifulSoup(requests.get(mainUrl).text, "html.parser")
for item in mainSoup.find_all('li',class_="video-item matrix"):
viedoNum += 1
print('第'+ viedoNum.str() + '个视频:')
val=item.find('a',class_="img-anchor")
print('视频标题:'+ val["title"])
print('视频链接:'+'https:'+val["href"])
print('视频简介:'+item.find('div',class_="des hide").text.strip())
print('up主:'+ item.find('a',class_="up-name").text.strip())
print('视频观看量:'+ item.find('span',title='观看').text.strip())
print('弹幕量:'+ item.find('span',title='弹幕').text.strip())
print('上传时间:'+ item.find('span',title='上传时间').text.strip())
subUrl=val["href"];
subSoup = BeautifulSoup(requests.get('https:'+subUrl).text.strip(), "html.parser")
print('视频图片:'+subSoup.find(itemprop="image")["content"])
page+=1
f.write()

Txt文件存储和CSV的文件存储的方式都可以,怎么改啊?

  • 写回答

0条回答 默认 最新

    报告相同问题?

    问题事件

    • 系统已结题 6月22日
    • 创建了问题 6月14日

    悬赏问题

    • ¥15 爬取1-112页所有帖子的标题但是12页后要登录后才能 我使用selenium模拟登录 账号密码输入后 会报错 不知道怎么弄了
    • ¥30 关于用python写支付宝扫码付异步通知收不到的问题
    • ¥50 vue组件中无法正确接收并处理axios请求
    • ¥15 隐藏系统界面pdf的打印、下载按钮
    • ¥15 MATLAB联合adams仿真卡死如何解决(代码模型无问题)
    • ¥15 基于pso参数优化的LightGBM分类模型
    • ¥15 安装Paddleocr时报错无法解决
    • ¥15 python中transformers可以正常下载,但是没有办法使用pipeline
    • ¥50 分布式追踪trace异常问题
    • ¥15 人在外地出差,速帮一点点