jupyter notebook 在模型训练时，CPU没满，内核就挂掉了

Question

我的CPU才显示百分之六十，内核就挂掉了，为什么啊😱，在网上也找不到解决办法

Answer 1

chatgpt:
这种情况可能是由于 jupyter notebook 内存限制导致的。在模型训练过程中，如果需要加载大量数据或者模型过于庞大，会导致内存占用过高，而 jupyter notebook 默认的内存限制可能无法满足需求，进而导致内核挂掉。

解决方法有几种：

增加 jupyter notebook 的内存限制：可以在启动 jupyter notebook 时使用 --NotebookApp.max_buffer_size=XXXX 参数来增加内存限制，其中 XXXX 为字节数，比如可以设置为 --NotebookApp.max_buffer_size=4294967296 （即 4GB）。
减少内存占用：可以通过对数据进行降维、分批加载、释放无用变量等方式来减少内存占用，从而避免内核挂掉。
使用其他工具：如果以上方法仍然无法解决问题，可以考虑使用其他工具进行模型训练，比如使用命令行或者编写脚本进行训练，这些方式可以更加灵活地控制内存和 CPU 占用。