关于pycharm加载问题

Question

在做深度学习时，由于数据比较大(30g)，pycharm在跑代码前都会进行长时间的updating indices，短则一两天，长则一个星期，想问问有没有解决办法。

Answer 1

引自免费微信小程序：皆我百晓生

在使用PyCharm进行深度学习开发时，遇到大型数据集（如30GB）导致的长时间Updating Indices问题，确实会严重影响开发效率。这是因为PyCharm默认会尝试索引项目中的所有文件以提供智能代码补全、导航和搜索功能。对于包含大量非源代码文件（如图片、模型权重等）的情况，这个过程可能变得非常耗时且不必要。

以下是一些解决办法：

1. 排除不必要的文件和目录：

   • 在PyCharm中设置项目结构，将不需要索引的大数据文件夹排除在外。通过File -> Settings（或Preferences on macOS）-> Project: Your_Project_Name -> Project Structure，然后从内容根目录中移除或添加新的Exclude目录。

2. 自定义文件类型和索引设置：

   • 配置PyCharm不去索引特定类型的文件，例如.jpg, .png, .h5等深度学习相关的非文本文件。路径为：Settings -> Editor -> File Types，在那里你可以指定哪些扩展名应该被忽略。

3. 限制索引深度：

   • 对于特别深的目录结构，可以考虑限制索引的深度。

4. 禁用索引功能：

   • 如果你确定不需要PyCharm对这些大数据文件进行智能感知，可以在IDE的全局或者特定项目的索引设置中关闭索引功能。然而这将意味着你失去了一些代码导航和搜索便利。

5. 使用轻量级编辑模式：

   • PyCharm Professional版支持“轻量级编辑器”模式，即当你打开一个大项目但只想快速查看或编辑文件时，可以暂时禁用大部分索引和检查功能。

6. 分模块管理：

   • 将数据集单独存储，并通过代码动态加载，而不是将其纳入项目索引的一部分。

7. 使用虚拟环境：

   • 确保你的Anaconda环境只包含必要的库，减少环境内无关文件的数量。

8. 提升硬件性能：

   • 如果条件允许，增加系统内存和使用SSD硬盘也可以加快索引速度。

总之，关键在于指导PyCharm专注于对你实际编程工作有用的文件，而将那些庞大的数据文件从索引过程中剔除出去。同时，在运行深度学习任务时，通常不需要IDE去索引这些数据文件，而是直接通过程序逻辑读取并处理。