立秋6789 2024-01-12 16:40 采纳率: 89.7%
浏览 5

python 生成器迭代优化

提问:python中，我使用openpyxl的只读模式打开了100W行的excel文件，获得了一个100W个元素的生成器对象。
我发现从这个生成器对象取连续的100行数据，取索引越后的数越慢，生成器每次都从头开始迭代。有什么方法可以优化？

  • 写回答

2条回答 默认 最新

  • lewis@110 2024-01-12 17:36
    关注

    100w条数据，字段多吗？都是什么类型的数据：字符串还是数字类型的占比多？
    可以考虑使用数据库做辅助。
    数据存表里，分批次读取、处理。

    评论

报告相同问题？

  • python中迭代器和生成器的区别是啥？ python
    2022-11-12 17:25
    回答 2 已采纳 什么是迭代器？迭代器是可以像我们在 for 循环中那样迭代的对象。我们也可以说迭代器是一个对象，它一次返回一个元素。也就是说，在我们明确要求他们的下一个项目之前，他们不会做任何工作。它们的工作原理在计
  • Python编程语言中:f的含义 python 开发语言
    2021-11-05 17:43
    回答 3 已采纳 f-string采用 {content:format} 设置字符串格式，其中 content 是替换并填入字符串的内容，可以是变量、表达式或函数等，format 是格式描述符.具体函数可以参考看
  • Python生成器，生成下载进度条 python
    2018-07-18 12:01
    回答 5 已采纳 ``` 下载中30% 下载中40% 下载中70% 下载完成 end program ```
  • python生成器和迭代器区别
    2020-12-20 23:18
    在Python编程语言中，生成器（Generator）和迭代器（Iterator）是两种非常重要的概念，它们主要用于处理大量数据或无限序列，以节省内存资源。理解它们的区别和使用方式对于高效编程至关重要。 一、生成器 1.1 ...
  • python 生成器的输出问题 python 开发语言
    2019-04-17 19:44
    回答 1 已采纳 前面已经取出来了，也就是说取出来的已经不在 generator_ex 里了
  • python多层嵌套循环如何优化 python 后端 开发语言
    2022-03-05 22:27
    回答 2 已采纳 看的不是太明白， 如果数据只能一条一条取，貌似只能尽量减少取无用数据的次数，以及通过多线程取数。如果数据是批量的， 可以考虑用pandas 之类的进行计算。
  • Python编程语言 list python 有问必答
    2021-12-29 11:00
    回答 2 已采纳 import random n=int(input()) list=[] for i in range(n): list.append(random.randint(1,200)) print
  • Python基于生成器迭代实现的八皇后问题示例
    2020-09-20 11:34
    在Python中，我们可以利用生成器的迭代特性来解决这个问题，生成器能够高效地生成所有可能的解决方案，而不需要一次性存储所有的解。 生成器是一种特殊的迭代器，它可以在运行时动态生成值，而不是一次性生成所有值...
  • python 迭代器的问题 python
    2021-08-27 08:27
    回答 2 已采纳 返回的是a和b，输出是由print完成的，所以不受到*2的影响有帮助望采纳
  • python编程语言中的基础知识 python
    2022-12-10 22:55
    回答 2 已采纳 # 判断一个数是否为素数 def isprime(x): # 1不是素数 if x == 1: return False # 判断 x 是否能被 2 到 sq
  • python生成器输出值？ python
    2017-12-21 07:37
    回答 5 已采纳 ``` for i in stack: for j in i: print(j) ```
  • python 生成器和迭代器的原理解析
    2020-09-18 14:04
    Python中的生成器和迭代器是两种非常重要的编程工具，它们在处理大数据集或节省内存方面具有显著优势。本文将深入解析这两种概念，并提供详细的实例来帮助理解。 首先，生成器（Generator）是一种特殊的迭代器，它...
  • Python关于不动点迭代法相关问题 python
    2022-04-25 11:25
    回答 2 已采纳 以下为我修改后成功运行的代码 from math import exp,log xl = 0 #区间下限 xu = 1 #区间上限 x = (xl+xu)/2 #迭代初始值 x_list = [
  • Python语言基础：迭代器和生成器.pptx
    2022-05-04 09:34
    迭代器和生成器是Python编程中的重要概念，特别是在处理大量数据或进行高效内存管理时，它们的优势尤为明显。本文将详细讲解这两个概念及其在Python语言中的应用。 **迭代器** 迭代器是Python中访问集合元素的一种...
  • Python迭代器和生成器
    2023-08-22 17:51
    岳来的博客 Python迭代器和生成器
  • 没有解决我的问题, 去提问

问题事件

  • 创建了问题 1月12日

悬赏问题

  • ¥66 关于川崎机器人调速问题
  • ¥15 winFrom界面无法打开
  • ¥15 crossover21 ARM64版本安装软件问题
  • ¥15 mymetaobjecthandler没有进入
  • ¥15 mmo能不能做客户端怪物
  • ¥15 osm下载到arcgis出错
  • ¥15 Dell g15 每次打开eiq portal后3分钟内自动退出
  • ¥200 使用python编写程序，采用socket方式获取网页实时刷新的数据，能定时print（）出来就行。
  • ¥15 matlab如何根据图片中的公式绘制e和v的曲线图
  • ¥15 我想用Python（Django）+Vue搭建一个用户登录界面，但是在运行npm run serve时报错了如何解决？