奋进小牛 2022-09-23 21:34 采纳率: 93.1%
浏览 21
已结题

爬虫过程中遇到了这个错误,该怎么解决?

爬虫过程中遇到了这个错误,该怎么解决?


from selenium import webdriver
import csv
import time

def csv_writer(item):
    with open('weibo.csv','a',encoding='gbk',newline='')as csvfile:
        writer=csv.writer(csvfile)
        try:
            writer.writerow(item)
        except:
            print('写入失败')
            
def login():
    driver.get('https://weibo.com/')
    time.sleep(5)
    driver.set_window_size(1920,1080)
    username=driver.find_element_by_xpath('//*[@id="loginname"]')
    username.send_keys('your username')
    password=driver.find_element_by_name('password')
    password.send_keys('your password')
    submit=driver.find_element_by_xpath('//*[@id="pl_login_form"]/div/div[3]/div[6]/a')
    print('准备登陆....')
    submit.click()
    time.sleep(4)
    
def spider():
    driver.get('https://weibo.com/')
    time.sleep(4)
    all_weibo=driver.find_element_by_xpath('//*[@id="scroller"]/div[1]/div[1]/div/article/div')
    for weibo in all_weibo:
        pub_id=weibo.find_element_by_xpath('header/div[1]/div/div[1]/a/span')[0].text
        pun_id_url=weibo.find_element_by_xpath('header/div[1]/div/div[1]/a/span')[0].get_attribute('href')
        pub_content=weibo.find_element_by_xpath('div/div[1]/div')[0].text
        item=[pub_id,pun_id_url,pub_content]
        print('成功抓取',pub_id)
        csv_writer(item)

if__name__=='__main__':
    driver=webdriver.Chrome(r'd:/seleenium/chromedriver.exe')
    login()
    while True:
        spider()
        time.sleep(300)
    

img

  • 写回答

1条回答 默认 最新

  • honestman_ 2022-09-23 21:38
    关注

    后面这个冒号是不是中文的啊,改成英文的试试

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 系统已结题 10月2日
  • 已采纳回答 9月24日
  • 创建了问题 9月23日

悬赏问题

  • ¥20 西门子S7-Graph,S7-300,梯形图
  • ¥50 用易语言http 访问不了网页
  • ¥50 safari浏览器fetch提交数据后数据丢失问题
  • ¥15 matlab不知道怎么改,求解答!!
  • ¥15 永磁直线电机的电流环pi调不出来
  • ¥15 用stata实现聚类的代码
  • ¥15 请问paddlehub能支持移动端开发吗?在Android studio上该如何部署?
  • ¥20 docker里部署springboot项目,访问不到扬声器
  • ¥15 netty整合springboot之后自动重连失效
  • ¥15 悬赏!微信开发者工具报错,求帮改