猫七鱼九 2017-11-30 00:23 采纳率: 100%
浏览 3551
已采纳

初学python爬虫,好像是selenium的错,len(),希望大神们提点一下

初学python爬虫,好像是selenium的错,报了个TypeError: object of type 'WebElement' has no len(),希望点大神们提点一下
下面是代码:

from selenium import webdriver
import csv
#网易云音乐歌单第一页的url
url='http://music.163.com/#/discover/playlist/?order=hot&cat=%E5%85%A8%E9%83%A8&limit=35&offset=0'

#用PhantomJS接口创建一个Selenium的webdriver
driver=webdriver.PhantomJS()

#准备好存储歌单csv
csv_file=open("playlist.csv","w",newline='')
writer=csv.writer(csv_file)
writer.writerow(['标题','播放数','链接'])

#解析每一页,直到‘下一页’为空
while url!='javascript:void(0)':
#用webDriver加载页面
driver.get(url)
#切换到内容的iframe
driver.switch_to.frame("contentFrame")
#定位歌单标签
data=driver.find_element_by_id("m-pl-container").find_element_by_tag_name("li")
#解析一页中所有歌单
for i in range(len(data)):
#获取播放数
nb=data[i].find_element_by_tag_name("nb").text
if '万' in nb and int(nb.split("万")[0])>500:
#获取播放数大于500万的歌单的封面
msk=data[i].find_element_by_css_selector("a.msk")
#把封面上的标题和链接连同播放数一起写到文件中
writer.writerow([msk.get_attribute('title'),
nb,msk.get_attribute('href')])
#定位'下一页'的url
url=driver.find_element_by_css_selector("a.zbtn.znxt").get_attribute('href')
csv_file.close()

  • 写回答

2条回答

  • COCO_AS 2017-11-30 05:00
    关注

    想返回数组要用复数

     find_element_by_tag_name 
    

    要改成

        find_elements_by_tag_name
    

    其他还有几个小错,帮你改了一下

    # -*- coding:utf-8 -*-  
    
    
    from selenium import webdriver
    import csv
    #网易云音乐歌单第一页的url
    url='http://music.163.com/#/discover/playlist/?order=hot&cat=%E5%85%A8%E9%83%A8&limit=35&offset=0'
    #用PhantomJS接口创建一个Selenium的webdriver
    driver=webdriver.PhantomJS()
    #准备好存储歌单csv
    csv_file=open("playlist.csv","w",newline='')
    writer=csv.writer(csv_file)
    writer.writerow(['标题','播放数','链接'])
    #解析每一页,直到‘下一页’为空
    while url!='javascript:void(0)':
        #用webDriver加载页面
        driver.get(url)
        #切换到内容的iframe
        driver.switch_to.frame("contentFrame")
        #定位歌单标签
        data=driver.find_element_by_id("m-pl-container").find_elements_by_tag_name("li")
        #解析一页中所有歌单
        for i in range(len(data)):
            #获取播放数
            nb=0
            if(data[i].find_element_by_class_name("nb")):
                nb=data[i].find_element_by_class_name("nb").text
            if '万' in nb and int(nb.split("万")[0])>500:
                #获取播放数大于500万的歌单的封面
                msk=data[i].find_element_by_css_selector("a.msk")
                #把封面上的标题和链接连同播放数一起写到文件中
                writer.writerow([msk.get_attribute('title'), nb,msk.get_attribute('href')])
                #定位'下一页'的url
        url=driver.find_element_by_css_selector("a.zbtn.znxt").get_attribute('href')
    csv_file.close()
    
    
    
    
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

悬赏问题

  • ¥15 matlab数字图像处理频率域滤波
  • ¥15 在abaqus做了二维正交切削模型,给刀具添加了超声振动条件后输出切削力为什么比普通切削增大这么多
  • ¥15 ELGamal和paillier计算效率谁快?
  • ¥15 file converter 转换格式失败 报错 Error marking filters as finished,如何解决?
  • ¥15 ubuntu系统下挂载磁盘上执行./提示权限不够
  • ¥15 Arcgis相交分析无法绘制一个或多个图形
  • ¥15 关于#r语言#的问题:差异分析前数据准备,报错Error in data[, sampleName1] : subscript out of bounds请问怎么解决呀以下是全部代码:
  • ¥15 seatunnel-web使用SQL组件时候后台报错,无法找到表格
  • ¥15 fpga自动售货机数码管(相关搜索:数字时钟)
  • ¥15 用前端向数据库插入数据,通过debug发现数据能走到后端,但是放行之后就会提示错误