ollama3.1:405b下载显示成功,为何后面又有报错?内存都有足够的空间,求解惑!
![](https://profile-avatar.csdnimg.cn/default.jpg!4)
Error: llama runner process has terminated: error loading model: unable to allocate backend buffer
ollama3.1:405b下载显示成功,为何后面又有报错?内存都有足够的空间,求解惑!
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
3条回答 默认 最新
- weixin_50937580 2024-08-05 16:28关注
405B的模型需要810G的内存,才能完整的运行,这个内存可以是内存+显卡内存,因为他没有量化模型,所以需要那么大的空间,好像时这样子。跑70B的吧,70B的8G显卡也能跑,我3060TI g6x就是跑70B的,相应速度在1-2秒左右。
解决 无用评论 打赏 举报 编辑记录
悬赏问题
- ¥20 Qt Quick Android 项目报错及显示问题
- ¥15 而且都没有 OpenCVConfig.cmake文件我是不是需要安装opencv,如何解决?
- ¥15 oracleBIEE analytics
- ¥15 github录制项目
- ¥15 H.264选择性加密例程
- ¥50 windows的SFTP服务器如何能批量同步用户信息?
- ¥15 centos7.9升级python3.0的问题
- ¥15 如何解决调试dev-出++5.11不成功问题
- ¥15 安装CentOS6时卡住
- ¥20 关于#监控系统#的问题,如何解决?(相关搜索:系统软件)