运行GPT-3需要多大的内存

Question

GPT-3有1750亿参数，设都是4字节的float，则占用175G*4B=700GB内存。是这样吗？它必须在超算上运行吗？

Answer 1

首先我要告诉你的是，一般来说做推理不用fp32，用int8就足够了。甚至有些场合会用int4
其次，训练模型和运行模型是两个概念
好比你大脑有几万亿的神经细胞，但是你计算1+1并不需要全部调动它们。
所以实际使用的内存虽然也很多，但是没有你说的那么夸张。