我在使用caffe进行训练的时候在未耗尽显存的情况下显示显存溢出

报错信息:

I0227 13:57:10.174791 17889 solver.cpp:365] Model Synchronization Communication time 0.071111 second
I0227 13:57:10.275547 17889 solver.cpp:365] Model Synchronization Communication time 0.0634275 second
I0227 13:57:10.275617 17889 solver.cpp:456] Iteration 0, Testing net (#0)
I0227 13:57:11.660853 17889 cudnn_conv_layer.cpp:186] Optimized cudnn conv
I0227 14:18:10.495625 17889 solver.cpp:513]     Test net output #0: accuracy_top1 = 0.857785
I0227 14:18:10.495926 17889 solver.cpp:513]     Test net output #1: accuracy_top1_motion = 0.0103093
I0227 14:18:10.495939 17889 solver.cpp:513]     Test net output #2: accuracy_top1_motion_14 = 0.0103093
I0227 14:18:10.495947 17889 solver.cpp:513]     Test net output #3: accuracy_top1_motion_28 = 0.010838
I0227 14:18:10.495954 17889 solver.cpp:513]     Test net output #4: accuracy_top1_motion_fusion = 0.856992
I0227 14:18:10.495965 17889 solver.cpp:513]     Test net output #5: loss = 4.6683 (* 1 = 4.6683 loss)
I0227 14:18:10.495975 17889 solver.cpp:513]     Test net output #6: loss_14 = 4.6196 (* 1 = 4.6196 loss)
I0227 14:18:10.495985 17889 solver.cpp:513]     Test net output #7: loss_28 = 4.62227 (* 1 = 4.62227 loss)
F0227 14:18:11.252009 17892 syncedmem.cpp:51] Check failed: error == cudaSuccess (2 vs. 0)  out of memory
*** Check failure stack trace: ***
F0227 14:18:11.252311 17889 syncedmem.cpp:51] Check failed: error == cudaSuccess (2 vs. 0)  out of memory
*** Check failure stack trace: ***
    @     0x7fd2deed9dbd  google::LogMessage::Fail()
    @     0x7f70d80dddbd  google::LogMessage::Fail()
F0227 14:18:11.254006 17891 syncedmem.cpp:51] Check failed: error == cudaSuccess (2 vs. 0)  out of memory
*** Check failure stack trace: ***
    @     0x7fd2deedbcf8  google::LogMessage::SendToLog()
    @     0x7f70d80dfcf8  google::LogMessage::SendToLog()
F0227 14:18:11.254802 17890 syncedmem.cpp:51] Check failed: error == cudaSuccess (2 vs. 0)  out of memory
*** Check failure stack trace: ***
    @     0x7f766019fdbd  google::LogMessage::Fail()
    @     0x7fd2deed9953  google::LogMessage::Flush()
    @     0x7f70d80dd953  google::LogMessage::Flush()
    @     0x7f714c5cedbd  google::LogMessage::Fail()
    @     0x7f76601a1cf8  google::LogMessage::SendToLog()
    @     0x7fd2deedc62e  google::LogMessageFatal::~LogMessageFatal()
    @     0x7f70d80e062e  google::LogMessageFatal::~LogMessageFatal()
    @     0x7f714c5d0cf8  google::LogMessage::SendToLog()
    @     0x7f766019f953  google::LogMessage::Flush()
    @     0x7fd2df2aaa6a  caffe::SyncedMemory::mutable_gpu_data()
    @     0x7f70d84aea6a  caffe::SyncedMemory::mutable_gpu_data()
    @     0x7f714c5ce953  google::LogMessage::Flush()
    @     0x7f76601a262e  google::LogMessageFatal::~LogMessageFatal()
    @     0x7fd2df3cc9f2  caffe::Blob<>::mutable_gpu_data()
    @     0x7f70d85d09f2  caffe::Blob<>::mutable_gpu_data()
    @     0x7f714c5d162e  google::LogMessageFatal::~LogMessageFatal()
    @     0x7f7660570a6a  caffe::SyncedMemory::mutable_gpu_data()
    @     0x7fd2df423c84  caffe::BNLayer<>::Backward_gpu()
    @     0x7f70d8627c84  caffe::BNLayer<>::Backward_gpu()
    @     0x7f714c99fa6a  caffe::SyncedMemory::mutable_gpu_data()
    @     0x7f76606929f2  caffe::Blob<>::mutable_gpu_data()
    @     0x7fd2df3f2905  caffe::CuDNNBNLayer<>::Backward_gpu()
    @     0x7f70d85f6905  caffe::CuDNNBNLayer<>::Backward_gpu()
    @     0x7f714cac19f2  caffe::Blob<>::mutable_gpu_data()
    @     0x7f76606e9c84  caffe::BNLayer<>::Backward_gpu()
    @     0x7fd2df236ad6  caffe::Net<>::BackwardFromTo()
    @     0x7f70d843aad6  caffe::Net<>::BackwardFromTo()
    @     0x7f714cb18c84  caffe::BNLayer<>::Backward_gpu()
    @     0x7f76606b8905  caffe::CuDNNBNLayer<>::Backward_gpu()
    @     0x7fd2df236d71  caffe::Net<>::Backward()
    @     0x7f70d843ad71  caffe::Net<>::Backward()
    @     0x7f714cae7905  caffe::CuDNNBNLayer<>::Backward_gpu()
    @     0x7f76604fcad6  caffe::Net<>::BackwardFromTo()
    @     0x7fd2df3c7bdf  caffe::Solver<>::Step()
    @     0x7f70d85cbbdf  caffe::Solver<>::Step()
    @     0x7f714c92bad6  caffe::Net<>::BackwardFromTo()
    @     0x7f76604fcd71  caffe::Net<>::Backward()
    @     0x7fd2df3c8408  caffe::Solver<>::Solve()
    @           0x408e76  train()
    @           0x407386  main
    @     0x7f70d85cc408  caffe::Solver<>::Solve()
    @           0x408e76  train()
    @           0x407386  main
    @     0x7f714c92bd71  caffe::Net<>::Backward()
    @     0x7f766068dbdf  caffe::Solver<>::Step()
    @     0x7fd2de10cf45  __libc_start_main
    @           0x40793d  (unknown)
    @     0x7f70d7310f45  __libc_start_main
    @           0x40793d  (unknown)
    @     0x7f714cabcbdf  caffe::Solver<>::Step()
    @     0x7f766068e408  caffe::Solver<>::Solve()
    @           0x408e76  train()
    @           0x407386  main
    @     0x7f714cabd408  caffe::Solver<>::Solve()
    @           0x408e76  train()
    @           0x407386  main
    @     0x7f765f3d2f45  __libc_start_main
    @           0x40793d  (unknown)
    @     0x7f714b801f45  __libc_start_main
    @           0x40793d  (unknown)
--------------------------------------------------------------------------
mpirun noticed that process rank 0 with PID 0 on node s2 exited on signal 6 (Aborted).
--------------------------------------------------------------------------

资源使用情况:
图片说明

0

1个回答

syncedmem.cpp:51  CaffeMallocHost(&cpu_ptr_, size_, &cpu_malloc_use_cuda_);

从报错的代码点来看, 应该是想再分配 size_个内存, 不够用了,所以报错了.
目测是你的batch_size设太大, 每个batch整的体积有点大, 导致的. 你要以把batch设小点, 再试一下.

1
Hiker_H
Hiker1995 对的,我将batch_size改为最小就可以运行了,谢谢!
4 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
显存使用量查看器...............
动态查看显存使用量............................................................
显存检测工具(N+A)
从网上搜罗的显存检测软件,N卡系的8,9验证无问题。其他部分未经过验证,不能保证100%可以使用。敬请知悉。
自定显存清除工具
通过设置不一样的分辨率,达到定时清除显存的目的。
比较好用的显存测试软件
这是老毛子写的显存测试工具V1.7,试用过效果不错
vmt显存测试工具
vmt显存测试工具
蓝宝石rx580镁光显存bios(迪兰rx588镁光显存刷新成功,鲁大师评分200389分)
应该rx588的镁光显卡都适用,用的是蓝宝石588特别版的bios(GPU Clock: 1430 MHz,Memory Clock: 2100 MHz),迪兰恒进战将588显卡镁光显存刷新成功,鲁大师测度200389分,Furmark拷机非常稳定
神经网络CPU、显存分析
神经网络参数、计算量分析 神经网络CPU、显存分析 神经网络CPU、显存分析 神经网络CPU、显存分析 神经网络CPU、显存分析
专业的显存测试软件
专业的显存测试软件 可以测试显卡的显存 效果非常好
选择当前系统显存占用率较低的显卡
语言:C++;功能:在当前系统下选择显存使用率较低的显卡;使用环境:英伟达显卡,安装英伟达显卡驱动,(可选)配置cuda,系统:ubuntu,windows需做适当调整
显存IC测试定位工具 R3MEMID
ATI显卡显存IC测试定位工具 显存IC测试定位工具
Micron颗粒详解
Micron颗粒表面字样代码的含义: 一、生产周期和产地 二、型号规格代码 三、流水线批次
显存故障检测 N卡A卡
显卡故障检测程序 包含 N卡检测工具 mats4-9 matsgt2 matsgt235 mats4.78 A卡检测工具 r3 由于a卡检测工具过大动则百m整个包要5g左右没法传,有需要的下完后发信给我。
显卡显存测试工具MATS
当你的显卡花屏或是死机时,可用此工具来测试显卡显存颗粒是否有问题。
DirectDraw 直接修改显存数据
通过 DirectDraw 直接修改显存数据
MATS显存检测软件
针对以前的显卡,比较有用,但是最好是在DOS下来看结果
显卡维修 ATI显存检测 MATS显存检测
显卡花屏维修 ATI显存检测 MATS显存检测
H-JTAG Access Display Mem(Arm平台下的H-JTAG访问显存工具)
主流ARM平台下的H-JTAG访问液晶控制显存的工具,可读写显存,无需额外程序代码!是使用ARM平台做液晶显示时有用的显示测试工具。
Windows下caffe训练实例
windows下,caffe训练实例,包含训练数据,以及配置文件。一定将配置文件里面的路径,改为自己电脑上的路径,才可以正确运行。
基于FPGA的(SDRAM缓存)VGA显示
用FPGA当主控芯片,SDRAM缓存数据,VGA显示图像,模块化设计程序,模块之间有详细讲解!
py-faster-rcnn的ZF,VGG16预训练模型
py faster rcnn的ZF,VGG16预训练模型 caffe版的 fetch_imagenet_models.sh需要翻墙,我把它放到百度网盘中了
MATS显存检测程序
MATS 显存检测程序-使用于Nvidia 显示芯片
将SE模块与密集连接网络结合的代码
主要是将SE模块融合到密集连接模块,并使用共享显存的方式减少显存的大小。
Nvidia CUDA入门程序
程序是CUDA的入门程序,供初学CUDA的朋友参考。总计4个程序,分别是普通浮点型变量内存显存拷贝、一维浮点型变量内存显存拷贝、二维浮点型变量内存显存拷贝、结构体变量内存显存拷贝。
微星RX470 BIOS 三星显存 自改稳定28M
微星RX470 BIOS 三星显存 自改稳定28M,无修改风扇转数。
VMT顯卡記憶體測試軟體
vmt显存测试工具很仔细的显存检测软件,也能用来检查显存超频后的稳定性,怀疑自己显卡上的显存有瑕疵的玩家都来测测吧~
显卡显存测试软件,最新XP下面运行!
测显存,在XP下面,测出显存的好坏,欢迎大家下载!有时间大家多多交流!
1080及1080ti等ddr5x显存mining算力低解决方案
在启动claymore等软件之前保持这个软件在后台运行,其作用是对DDR5x显存时序进行优化。
GPU-Z显卡检测颗粒 位宽等等
显卡检测 各种显卡检测 显存 显存颗粒 位宽等等 还有生产日期 生产公司
微星580海力士,尔必达显存原版BIOS
微星580海力士,尔必达显存原版BIOS,1366主频,1750显存,性能还不错。
caffe训练数据打乱程序
可用于打乱caffe的训练数据标签,以及格式为:[filename label]的txt文件数据顺序
OpenCL将数组从内存copy到显存
OpenCL将数组从内存copy到显存。在某种情况下可以作为一种可用的优化方案。
caffe_train安装以及COCO数据集的训练
caffe_train安装以及COCO数据集的训练
蓝宝石RX560 4G 75W 1300 7000 VBIOS
想开核朋友注意是镁光显存,RX460D 4G 的加镁光显存,你就可以试试。
RX560 镁光BIOS
蓝宝石RX560D,4G显存,镁光颗粒显存的的BIOS,镁光海力士通用。
Powervr_SGX530_OpenGL_ES2.0_demo程序.7z
DM3730板上的OpenGL ES2.0的demo程序,值得学习参考!
教你如何看编号识硬盘,怎样看编号了解显存信息 硬件交流
教你如何看编号识硬盘,怎样看编号了解显存信息 硬件交流
测试显存的工具
测试显存的工具
caffe c++实战:通过训练好的模型对人脸图像进行特征提取(单张图像)
caffe c++实战:通过训练好的模型对人脸图像进行特征提取(单张图像)
显示卡器 显示芯片 显卡
认识显示卡的结构 显示芯片 RAMDAC:随机存取数模转换器(RAM Digital Analog Converter)的功能是将显存中的数字信号转换为模拟信号。 显存 显卡BIOS
显卡查看软件gpu-z
可以查看显卡的频率和芯片信号,显存容量,芯片的工艺,芯片和显存的工作电压
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 我学python 深度学习caffe视频

相似问题

1
我在使用caffe进行训练的时候在未耗尽显存的情况下显示显存溢出
1
回归问题,训练损失不断增大,测试损失不断减小
0
如何对使用ssd检测出来的目标进行计数
1
Opencv调用Canny算法时是否会在Canny算法本身内部进行高斯滤波?
0
调用chatterbot和其中bot对话的时候总是会有一句警告?
3
python3使用tesserocr图片识别,无报错,无输出
1
在磁盘分区中当空间分区之前是EFI系统分区时,如何处理未分配的空间分区?
1
ffmpeg的静态库,在连接的时候出现的问题,比较奇怪
0
vmware workstation 14 player 在安装ubuntu时无法使用键盘的问题
1
如何用python写一个可视化图形用户界面,实现一键使用训练好的模型检测物体
1
树莓派3b+安装ROS后,输入roscore显示Checking log directory for disk usage. This may take awhile.
2
使用quadprog++函数库的问题
2
为什么我这个程序每次交叉验证求取spread的结果都不同呢?最终结果也不相同?
1
caffe编译完成 想要打开的时候出错:提示libcaffe.lib该文件没有与之关联的应用来执行该操作
1
VLFeat工具包Sift相关函数使用?MATLAB
1
tf.train.shuffle_batch要求定义张量的shape,Tensor不定长时如何使用shuffle_batch
0
pytorch自定义loss,如何进行后向传播loss.backward()?
1
C语言输入加减乘除符号后,直接跳到程序结尾,不进行分支执行。
0
CNTK中LightRNN项目训练时出错
0
急求使用sparkGraphx实现相关联元素合并。