qq_28903105 2023-03-09 20:08 采纳率: 14.3%
浏览 38
已结题

爬菜价,能爬到网页但是tr爬不到显示0条,不知道哪里不对

爬菜价,能爬到网页但是tr爬不到显示0条,不知道哪里不对
url = http://www.xinfadi.com.cn/priceDetail.html


import requests
from lxml import etree
from concurrent.futures import ThreadPoolExecutor
import csv

f = open("菜价.csv",mode="w",encoding="utf-8")
csvwriter = csv.writer(f)
def download_one_page(url):
    resp = requests.get(url) #拿到源代码
    resp.encoding = "utf-8"
    # print(resp.text)
    html = etree.HTML(resp.text)
    table = html.xpath("/html/body/div[2]/div/div/div/div[4]/div[1]/div/table")[0]
    # print(table)        
    trs = table.xpath("./tr")[1:]
    print(len(trs))


  • 写回答

1条回答 默认 最新

  • cjh4312 2023-03-09 20:54
    关注

    limit后面数字你自己改,表示你想一次爬多少条数据

    
    url='http://www.xinfadi.com.cn/getPriceData.html?&limit=2000'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
    }
    
    req = requests.post(url=url, headers=headers).json()
    data=pd.DataFrame(req['list'])
    data.to_csv('e:/菜价.csv',encoding='gbk')
    
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论 编辑记录

报告相同问题?

问题事件

  • 系统已结题 4月6日
  • 已采纳回答 3月29日
  • 创建了问题 3月9日

悬赏问题

  • ¥15 如何构建全国统一的物流管理平台?
  • ¥100 ijkplayer使用AndroidStudio/CMake编译,如何支持 rtsp 直播流?
  • ¥20 和学习数据的传参方式,选择正确的传参方式有关
  • ¥15 这是网络安全里面的poem code
  • ¥15 用js遍历数据并对非空元素添加css样式
  • ¥15 使用autodl云训练,希望有直接运行的代码(关键词-数据集)
  • ¥50 python写segy数据出错
  • ¥20 关于线性结构的问题:希望能从头到尾完整地帮我改一下,困扰我很久了
  • ¥30 3D多模态医疗数据集-视觉问答
  • ¥20 设计一个二极管稳压值检测电路