Ermu. 2022-03-25 00:17 采纳率: 100%
浏览 39
已结题

为什么爬虫无法爬取信息

问题遇到的现象和发生背景

在爬取京东商品信息时,相同的操作,爬取关键字为‘苹果13’时正常出结果,但是到这里的口红时就不可以了
运行debug时发现goods的列表为空

问题相关代码,请勿粘贴截图
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
import time

def information_kouhong(url,keyword):
    driver = webdriver.Chrome()
    driver.get(url)
    #搜索
    imput_tag = driver.find_element(By.ID,'key')
    imput_tag.send_keys(keyword)
    imput_tag.send_keys(Keys.ENTER)
    #商品详情
    get_goods(driver)


def get_goods(driver):
    goods = driver.find_elements(By.CLASS_NAME,'gl-item')

    for good in goods:
        herf=good.driver.find_element(By.TAG_NAME,'a').get_attribute('herf')
        src=good.driver.find_element(By.TAG_NAME,'a').get_attribute('src')
        price=good.driver.find_element(By.CSS_SELECTOR,'.p-price')
        msg='''
            链接:%s
            图片:%s
            价格:%s
        '''%(herf,src,price)
        print(msg)

        button = driver.find_element(By.PARTIAL_LINK_TEXT, '下一页')  # 定位文本信息
        button.click()
        time.sleep(1)
        get_goods(driver)

if __name__ == "__main__":

    information_kouhong('https://www.jd.com/','口红')


运行结果及报错内容

img

我的解答思路和尝试过的方法
我想要达到的结果
  • 写回答

2条回答 默认 最新

  • bj_0163_bj 2022-03-25 10:34
    关注

    你的代码有问题把,你苹果13 也不应该出的来结果啊。good 后面怎么.driver ? msg 不带text 能看到明文?

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 1月2日
  • 已采纳回答 12月25日
  • 创建了问题 3月25日

悬赏问题

  • ¥15 smptlib使用465端口发送邮件失败
  • ¥200 总是报错,能帮助用python实现程序实现高斯正反算吗?有偿
  • ¥15 对于squad数据集的基于bert模型的微调
  • ¥15 为什么我运行这个网络会出现以下报错?CRNN神经网络
  • ¥20 steam下载游戏占用内存
  • ¥15 CST保存项目时失败
  • ¥15 树莓派5怎么用camera module 3啊
  • ¥20 java在应用程序里获取不到扬声器设备
  • ¥15 echarts动画效果的问题,请帮我添加一个动画。不要机器人回答。
  • ¥15 Attention is all you need 的代码运行