weixin_45584543 2021-09-30 01:59 采纳率: 0%
浏览 131

关于异步爬取:爬取网站出现RuntimeError: Event loop is closed


import asyncio
import time
import aiohttp
import requests
from lxml import etree

urls = 'xxxxx' #链接地址
url = requests.get(urls)
url.encoding = 'gb2312'

async def down_lode(src_01,session):#此处出现了问题,求助大神解决
    name = src_01.split('/',1)[0]
    async with session.get(src_01) as reps:
        async with open(f'2021.09.30&/{name}','wb',) as f:
            await f.writh(await reps.content.read())


async def page_lode(src_):
    rep = requests.get(src_)
    rep.encoding = 'utf-8'
    tree = etree.HTML(rep.text)
    src_ = tree.xpath('//div[@class ="content"]/img/@src')

    tasks = []
    async with aiohttp.ClientSession() as session:
        for href in range(len(src_)):
               src_01 = src_[href]
               c = asyncio.create_task(down_lode(src_01, session))
               tasks.append(c)
        await asyncio.wait(tasks)


async def main(url):

    tree = etree.HTML(url.text)
    src = tree.xpath('//div[@class ="ind2"]//a/@href')
    name = tree.xpath('//div[@class ="ind2"]//a/img/@alt')
    tasks = []
    for src_name_ in range(len(src)):
         src_ = src[src_name_]
         d = asyncio.create_task(page_lode(src_))
         tasks.append(d)
    await asyncio.wait(tasks)


if __name__ == '__main__':

    asyncio.run(main(url))
    asyncio.run(page_lode(src_))

```

  • 写回答

1条回答 默认 最新

  • 关注

    把异步改为同步实现就没有问题了。

    评论

报告相同问题?

问题事件

  • 创建了问题 9月30日

悬赏问题

  • ¥15 防火墙的混合模式配置
  • ¥15 Ubuntu不小心注销了要怎么恢复啊
  • ¥15 win10电脑安装完plcsim advanced4.0运行时为什么会提示找不到虚拟网卡
  • ¥15 安装powerbuilder10卡在安装程序正在运行这个页面 没有下一步任何指令
  • ¥15 关于mpi的问题:请问遇到这种情况需要怎么解决,出现这个问题后电脑不能进行mpi多核运行只能进行单核运行
  • ¥50 微信聊天记录备份到电脑提示成功了,但还是没同步到电脑微信
  • ¥15 python怎么在已有视频文件后添加新帧
  • ¥20 虚幻UE引擎如何让多个同一个蓝图的NPC执行一样的动画,
  • ¥15 fluent里模拟降膜反应的UDF编写
  • ¥15 MYSQL 多表拼接link