CS231n 2019 Assignment1 完成记录(一):knn

简而言之,在 notebook 的开篇介绍了 knn 算法的工作原理和简要思路,这在先前的文章——机器学习算法笔记(一):k近邻算法(kNN)初探中已经有了介绍,这里就不再重复。在 cs231n/classifiers/k_nearest_neighbor.py 中直接来看要求我们完成代码的部分,首先让我们填空完成三种运算距离的函数: 阅读全文

机器学习算法笔记(三十九):Stacking

继上文的 Bagging 和 Boosting 之后,本文再讨论一种集成学习的思路——Stacking。

之前讨论的 Voting Classifier中,若我们有三个算法,每个算法都对数据进行预测,我们通常综合这三个算法的结果:对于分类问题少数服从多数、对于回归问题取平均值。 Stacking 则是另外一种思路: 阅读全文

机器学习算法笔记(三十七):随机森林与Extra-Trees

前面的笔记我们讨论了 Bagging 这种方法,即用随机取样、在特征空间中随机取特征,创建诸多子模型并将它们结合在一起。之前我们在实现 Bagging 时运用到基础的分类器是决策树,于是我们就集成了成百上千个决策树,对于这样的模型,就有一个更加形象的名字——随机森林。 阅读全文