rest-framework中model.objects.all()数据库加载问题

Question

不知道有没有人考虑过这个问题？
在rest-framework框架中实现一个视图类，继承ModelViewSet时候，通常会构建一个queryset 代码如下：

class ProviderView(ModelViewSet):
    # GenericAPIView类成员
    queryset = Provider.objects.all()
    print(queryset)
    # 打印 queryset 的内存大小
    memory_size = sys.getsizeof(queryset)
    print(f"Memory size of queryset>>: {memory_size} bytes")
    serializer_class = ProviderSerializer
    pagination_class = LimitedPagination
    # views.APIView类成员
    permission_classes = [ProviderPermission]

无论Provider模型数据库有多少数据（测试使用 18条或者370条）打印 queryset 的内存大小总是48bytes，这是否正确？

我最原始疑惑是 django程序在启动的时会执行queryset = Provider.objects.all()，当provider表中数据非常大的时候，会不会有内存溢出的问题？
通过上面的打印信息来看，好像是不会加载所有数据到内存中的，我不是很确定，是否有人可以给个确定的答案，非常感谢。

打印信息如下：

<QuerySet [<Provider: Provider object (1)>, <Provider: Provider object (2)>, <Provider: Provider object (3)>, <Provider: Provider 
object (4)>, <Provider: Provider object (5)>, <Provider: Provider object (6)>, <Provider: Provider object (7)>, <Provider: Provider object (8)>, <Provider: Provider object (9)>, <Provider: Provider object (10)>, <Provider: Provider object (11)>, <Provider: Provider object (12)>, <Provider: Provider object (13)>, <Provider: Provider object (14)>, <Provider: Provider object (15)>, <Provider: Provider object (16)>, <Provider: Provider object (17)>, <Provider: Provider object (18)>, <Provider: Provider object (19)>, <Provider: Provider object (20)>, '...(remaining elements truncated)...']>
Memory size of queryset>>: 48 bytes

Answer 1

以下回复参考：皆我百晓生、券券喵儿等免费微信小程序作答:

你观察到的现象是正确的。在Django中，Model.objects.all()并不会立即加载整个数据库的数据到内存中。它实际上返回的是一个QuerySet对象，这是一个惰性执行的查询对象，只有当你在遍历它或者将它转换为列表时，它才会去数据库中获取数据。也就是说，直到你真正需要这些数据时，Django才会去数据库查询并获取数据。这就是所谓的惰性加载（Lazy Loading）。

在你的代码中，当你打印queryset时，你实际上只是打印了QuerySet对象本身以及它所包含的数据的简要描述，并没有真正加载所有的数据到内存中。这就是为什么你看到的内存大小始终是一个固定值的原因。如果你想要查看整个QuerySet对象所包含的所有数据，你需要遍历这个QuerySet或者使用list()函数将其转换为列表。但这只有在真正需要这些数据时才会发生。

所以，答案是：在Django中，使用Model.objects.all()并不会导致内存溢出，因为数据是惰性加载的。只有当真正需要这些数据时，Django才会去数据库中查询并获取数据。因此，你不必担心这个问题。当然，如果你的数据量非常大并且你需要在内存中处理这些数据，那么你可能需要考虑其他策略，比如分页或者使用数据库聚合等。但这与Django的惰性加载机制并不矛盾。