为什么说bagging是减少variance，而boosting是减少bias？

https://www.zhihu.com/question/26760839

Bagging对样本重采样，对每一重采样得到的子样本训练一个模型，最后取平均。由于子样本集的相似性以及使用的是同种模型。因此，各模型有近似相等的bias和variance。所以bagging后的bias和单个子模型的接近，一般不能减少bias。但另一方面，各子模型独立，则可以显著降低variance。若子模型完全相同，则variance也相同。bagging方法得到的各子模型是有一定的variance，但是也有差别。所以可以降低variance。

boosting是在sequential地最小化损失函数，所以bias自然逐步下降。但是由于采用sequential、adaptive的策略，各子模型之间是强相关的，于是子模型之和并不能显著降低variance。所以说boosting主要还是靠降低bias来提升预测精度。