分类： 机器学习

简而言之，在 notebook 的开篇介绍了 knn 算法的工作原理和简要思路，这在先前的文章——机器学习算法笔记(一)：k近邻算法(kNN)初探中已经有了介绍，这里就不再重复。在 cs231n/classifiers/k_nearest_neighbor.py 中直接来看要求我们完成代码的部分，首先让我们填空完成三种运算距离的函数： 阅读全文

继上文的 Bagging 和 Boosting 之后，本文再讨论一种集成学习的思路——Stacking。

之前讨论的 Voting Classifier中，若我们有三个算法，每个算法都对数据进行预测，我们通常综合这三个算法的结果：对于分类问题少数服从多数、对于回归问题取平均值。 Stacking 则是另外一种思路： 阅读全文

之前我们讨论的集成模型的方式都是独立的集成多个模型，对于每个模型我们令它有一定的差异，最终综合这些模型的结果获得学习的最终结果。而本文我们来讨论另一种集成学习的思路——Boosting。 阅读全文

前面的笔记我们讨论了 Bagging 这种方法，即用随机取样、在特征空间中随机取特征，创建诸多子模型并将它们结合在一起。之前我们在实现 Bagging 时运用到基础的分类器是决策树，于是我们就集成了成百上千个决策树，对于这样的模型，就有一个更加形象的名字——随机森林。 阅读全文