继上文的 Bagging 和 Boosting 之后，本文再讨论一种集成学习的思路——Stacking。
之前讨论的 Voting Classifier中，若我们有三个算法，每个算法都对数据进行预测，我们通常综合这三个算法的结果：对于分类问题少数服从多数、对于回归问题取平均值。 Stacking 则是另外一种思路：首先也是使用三个算法计算预测值，但我们不直接使用这三个结果综合，而是把它们作为输入再训练一个新模型，把这个新模型的输出作为最终结果。Stacking 这个名字也非常形象——我们多了一个模型，这个模型落在了这三个模型之上，“落”这个动作就是 Stacking 的意义。
虽然上图解决的是一个回归问题，但也同样可以用来解决分类问题——输入的数值变为分为某一类的概率即可。
那我们如何训练一个 Stacking 分类器呢？我们要做的就是先把训练数据集分成两份，对于其中的一份用来训练三个模型，对于另外一份用来训练 Stacking 的那个新模型（图中的 Blending）。首先使用第一份训练集分别把开始的三个模型训练好，对于第二部分的样本，就能直接扔进训练好的这三个模型中，获得输出结果，这些输出结果和第二份训练集中的真值就形成了新的数据集，用这个新的数据集就能训练第四个模型，最终形成 Stacking 整体的集成学习模型。
这样做之后我们也可以构造出更为复杂的 Stacking 模型，如下图所示，我们可以类似神经网络一样构造出多个层级，下一层的输入为上一层三个模型的输出进行设计。
上图的逻辑思想与神经网络十分类似，只不过对应神经网络来说，每一个神经元不是一个全新的算法，而只是计算一个函数的值；相应的，对应神经网络来说，如果层数增多的话就达到了深度学习的模型。神经网络因其灵活度较高，容易出现过拟合，很多深度学习的话题，其本质就是在探讨如何解决一个复杂网络的过拟合问题，其中很多的方法也使用于 Stacking 集成学习算法。