pyspark性能问题咨询

Question

当groupby().apply()中使用pandas_udf函数时，会将全部数据分组后，每一组数据拉到内存中来，请问这里的内存是指各个executor中的内存还是指driver的内存？如果是executor的内存，那么groupby的过程是否为shuffle过程？

Answer 1

你好，我是有问必答小助手，非常抱歉，本次您提出的有问必答问题，技术专家团超时未为您做出解答


本次提问扣除的有问必答次数，将会以问答VIP体验卡（1次有问必答机会、商城购买实体图书享受95折优惠）的形式为您补发到账户。


因为有问必答VIP体验卡有效期仅有1天，您在需要使用的时候【私信】联系我，我会为您补发。