Error: llama runner process has terminated: error loading model: unable to allocate backend buffer

Question

ollama3.1：405b下载显示成功，为何后面又有报错？内存都有足够的空间，求解惑！

Answer 1

405B的模型需要810G的内存，才能完整的运行，这个内存可以是内存+显卡内存，因为他没有量化模型，所以需要那么大的空间，好像时这样子。跑70B的吧，70B的8G显卡也能跑，我3060TI g6x就是跑70B的，相应速度在1-2秒左右。