qq_40719612 2019-03-13 17:52 采纳率: 0%
浏览 813

selenium爬取淘宝美食数据的问题

我的代码是这样的

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
browser = webdriver.Chrome()
wait = WebDriverWait(browser, 10)
def search():
    try:
        browser.get('https://www.taobao.com')
        input = wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR, '#q'))
        )
        submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#J_TSearchForm > div.search-button > button')))
        input.send_keys('美食')
        submit.click()
        total = wait.until(
            EC.presence_of_all_elements_located((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > div.total'))
        )
        return total.text
    except TimeoutException:
        return search()

def main():
    total = search()
    print(total)


if __name__ == '__main__':
    main()

到这一步时我希望看一下输出结果,可是出现了报错

Traceback (most recent call last):
  File "C:/Users/Administrator/PycharmProjects/tbms/spider.py", line 29, in <module>
    main()
  File "C:/Users/Administrator/PycharmProjects/tbms/spider.py", line 25, in main
    total = search()
  File "C:/Users/Administrator/PycharmProjects/tbms/spider.py", line 20, in search
    return total.text
AttributeError: 'list' object has no attribute 'text'

Process finished with exit code 1

看到站内其它的淘宝美食数据都是这样写的,有些不懂问题出在哪里

  • 写回答

1条回答 默认 最新

  • 元气皮皮 2019-03-14 11:30
    关注

    你这个有两个问题,一个是淘宝是要登录的,你进不去下个网页,第二个问题是你的报错,你可以print(total)看下,total里面是什么,你要的是什么,我看了一下淘宝的网页结构,估计应该是淘宝标题的几个div和美食没啥关系

    评论

报告相同问题?

悬赏问题

  • ¥100 有人会搭建GPT-J-6B框架吗?有偿
  • ¥15 求差集那个函数有问题,有无佬可以解决
  • ¥15 【提问】基于Invest的水源涵养
  • ¥20 微信网友居然可以通过vx号找到我绑的手机号
  • ¥15 寻一个支付宝扫码远程授权登录的软件助手app
  • ¥15 解riccati方程组
  • ¥15 display:none;样式在嵌套结构中的已设置了display样式的元素上不起作用?
  • ¥15 使用rabbitMQ 消息队列作为url源进行多线程爬取时,总有几个url没有处理的问题。
  • ¥15 Ubuntu在安装序列比对软件STAR时出现报错如何解决
  • ¥50 树莓派安卓APK系统签名