LightGBM提出了leaf-wise 的生长策略,这种策略是根据叶子结点的增益来确定分裂哪个叶子结点。而XGBoost是根据按层分裂。LightGBM中指出:leaf-wise则是一种更为高效的策略,每次从当前所有叶子中,找到分裂增益最大的一个叶子,然后分裂,如此循环。因此同level-wise相比,在分裂次数相同的情况下,leaf-wise可以降低更多的误差,得到更好的精度。
疑问:虽然在分裂相同的情况下,leaf-wise确实更加针对增益比较高的节点,但是对于建树来说,XGBoost和LightGBM的基分类器树模型不是一样的吗?那这样,先分裂谁和后分裂谁有什么区别?最终不都是要分裂成相同的树结构吗?
请各位指点迷津。