菜菜子nn 2022-02-20 11:04 采纳率: 83.3%
浏览 13
已结题

为什么我的线程池突然提取不到数据了?

问题遇到的现象和发生背景

突然就提取不到数据。。不知道怎么回事,不用线程池还能正常提取数据,不过就是很慢罢了

问题相关代码,请勿粘贴截图
import csv
from concurrent.futures import ThreadPoolExecutor

import requests

result = []
f = open('动作片1w2.csv', mode="w", encoding="ANSI", newline="")
csvwriter = csv.writer(f)


def download_page(url):
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
                      "Chrome/97.0.4692.99 Safari/537.36 Edg/97.0.1072.69"
    }
    
    resp = requests.get(url=url, headers=headers,)
    resp.encoding = 'utf-8'
    dic = resp.json()
    for item in dic['data']:
        name = item['title']
        rate = item['rate']
        people = item['casts']
        resp.close()
        one_result = [name, rate, people]
        result.append(one_result)
        csvwriter.writerow([name, rate, people])


if __name__ == "__main__":
    with ThreadPoolExecutor(50) as t:
        for i in range(0, 801, 20):
            t.submit(download_page,
                     f"https://movie.douban.com/j/new_search_subjects?sort=U&range=0,100&tags=电影&start={i}&genres=动作")

print("over")
f.close()


运行结果及报错内容

我debug了一下,这个程序值运行了最后的if__name__=='main':后面的内容,没有运行我定义的函数,不知道为啥

我的解答思路和尝试过的方法
我想要达到的结果
  • 写回答

0条回答 默认 最新

    报告相同问题?

    问题事件

    • 系统已结题 2月28日
    • 修改了问题 2月20日
    • 创建了问题 2月20日

    悬赏问题

    • ¥15 Windows X86 远线程注入问题解惑
    • ¥15 Vs2022安装时黑框闪退无反应
    • ¥15 嵌入式设备网口down后再up时不能link?
    • ¥15 关于区块链和边缘计算
    • ¥15 做一个简单项目,用Python分析共享单车的数据
    • ¥20 在使用CESM2.2.0模型进行case.submit过程中出现如下错误(关键词-Map)
    • ¥15 有办法改变通过wifi进入的网站的设置吗
    • ¥15 label_studio
    • ¥15 请教如何phython发邮件
    • ¥15 linux系统安装问题