m0_69738200 2022-06-14 13:27
浏览 18
已结题

球问爬取到的数据怎么保存到本地文件

from bs4 import BeautifulSoup
import requests
userSeach='pr'
page=1
viedoNum=0
val=0
mainUrl='https://search.bilibili.com/all?keyword=%27+userSeach
mainSoup = BeautifulSoup(requests.get(mainUrl).text, "html.parser")
pages=mainSoup.find('li',class_="page-item last")
with open('test.txt', 'w', encoding='utf-8') as f:
if(pages):
pages=int(pages.text)
else:
pages=1
while page<=pages:
mainUrl='https://search.bilibili.com/all?keyword=%27+userSeach+%27&page=%27+page.__str__()
mainSoup = BeautifulSoup(requests.get(mainUrl).text, "html.parser")
for item in mainSoup.find_all('li',class_="video-item matrix"):
viedoNum += 1
print('第'+ viedoNum.str() + '个视频:')
val=item.find('a',class_="img-anchor")
print('视频标题:'+ val["title"])
print('视频链接:'+'https:'+val["href"])
print('视频简介:'+item.find('div',class_="des hide").text.strip())
print('up主:'+ item.find('a',class_="up-name").text.strip())
print('视频观看量:'+ item.find('span',title='观看').text.strip())
print('弹幕量:'+ item.find('span',title='弹幕').text.strip())
print('上传时间:'+ item.find('span',title='上传时间').text.strip())
subUrl=val["href"];
subSoup = BeautifulSoup(requests.get('https:'+subUrl).text.strip(), "html.parser")
print('视频图片:'+subSoup.find(itemprop="image")["content"])
page+=1
f.write()

Txt文件存储和CSV的文件存储的方式都可以,怎么改啊?

  • 写回答

0条回答 默认 最新

    报告相同问题?

    问题事件

    • 系统已结题 6月22日
    • 创建了问题 6月14日

    悬赏问题

    • ¥15 短剧的sdk在哪里接入
    • ¥15 求:可不可以提供一些 在国内可以用,低代码不要太难 在电脑上可以下载的 制作app的软件
    • ¥60 找人回答kibana8.14.3二次集成开发,自定义插件ui导航栏如何设置
    • ¥15 fluke高精度万用表8845A型号测交流电压一直跳动,且去掉输入后显示不归零
    • ¥15 不同模型怎么用同一个shader
    • ¥15 安卓启动没有ais proxy与v4l2的log打印
    • ¥15 go怎么读取mdb文件里面的数据
    • ¥60 Matlab联合CRUISE仿真编译dll文件报错
    • ¥15 脱敏项目合作,ner需求合作
    • ¥15 脱敏项目合作,ner需求合作