深度学习怎么构建大的矩阵

Question

准备复现一篇论文，论文中提到要提取100102410的矩阵，我在colab里试了下，配合上数据集的长度，内存轻而易举的挂掉了。想请问一下大家都是用什么方式去构建这种大矩阵的

Answer 1

你是用什么构建的？直接用list的话肯定是不行的。
而且如你所说，这种提取一般是在神经网络中的相关处理，一般用的是神经网络的框架带的tensor矩阵的，或者你可以用numpy来创建大型的矩阵。最后，数据集长度是多少？一般神经网络是有个batch的概念的，并不是将所有的数据集全部加载进去的，而是一次加载一个batch的数据来处理的，或者为了速度，一次性多加载几个batch的数据进内存，不是将所有数据全部加载的，如果是这样那像GPT这种超大数据集的，openAI也顶不住内存啊。