Ermu. 2022-03-25 00:17 采纳率: 100%
浏览 39
已结题

为什么爬虫无法爬取信息

问题遇到的现象和发生背景

在爬取京东商品信息时,相同的操作,爬取关键字为‘苹果13’时正常出结果,但是到这里的口红时就不可以了
运行debug时发现goods的列表为空

问题相关代码,请勿粘贴截图
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
import time

def information_kouhong(url,keyword):
    driver = webdriver.Chrome()
    driver.get(url)
    #搜索
    imput_tag = driver.find_element(By.ID,'key')
    imput_tag.send_keys(keyword)
    imput_tag.send_keys(Keys.ENTER)
    #商品详情
    get_goods(driver)


def get_goods(driver):
    goods = driver.find_elements(By.CLASS_NAME,'gl-item')

    for good in goods:
        herf=good.driver.find_element(By.TAG_NAME,'a').get_attribute('herf')
        src=good.driver.find_element(By.TAG_NAME,'a').get_attribute('src')
        price=good.driver.find_element(By.CSS_SELECTOR,'.p-price')
        msg='''
            链接:%s
            图片:%s
            价格:%s
        '''%(herf,src,price)
        print(msg)

        button = driver.find_element(By.PARTIAL_LINK_TEXT, '下一页')  # 定位文本信息
        button.click()
        time.sleep(1)
        get_goods(driver)

if __name__ == "__main__":

    information_kouhong('https://www.jd.com/','口红')


运行结果及报错内容

img

我的解答思路和尝试过的方法
我想要达到的结果
  • 写回答

2条回答 默认 最新

  • bj_0163_bj 2022-03-25 10:34
    关注

    你的代码有问题把,你苹果13 也不应该出的来结果啊。good 后面怎么.driver ? msg 不带text 能看到明文?

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 1月2日
  • 已采纳回答 12月25日
  • 创建了问题 3月25日

悬赏问题

  • ¥15 多址通信方式的抗噪声性能和系统容量对比
  • ¥15 winform的chart曲线生成时有凸起
  • ¥15 msix packaging tool打包问题
  • ¥15 finalshell节点的搭建代码和那个端口代码教程
  • ¥15 用hfss做微带贴片阵列天线的时候分析设置有问题
  • ¥15 Centos / PETSc / PETGEM
  • ¥15 centos7.9 IPv6端口telnet和端口监控问题
  • ¥20 完全没有学习过GAN,看了CSDN的一篇文章,里面有代码但是完全不知道如何操作
  • ¥15 使用ue5插件narrative时如何切换关卡也保存叙事任务记录
  • ¥20 海浪数据 南海地区海况数据,波浪数据