bootstrap、boosting是机器学习中几种常用的重采样方法。其中bootstrap重采样方法主要用于统计量的估计,boosting方法则主要用于多个子分类器的组合。
bootstrap:估计统计量的重采样方法(推荐学习:python视频教程)
bootstrap方法是从大小为n的原始训练数据集dd中随机选择n个样本点组成一个新的训练集,这个选择过程独立重复b次,然后用这b个数据集对模型统计量进行估计(如均值、方差等)。由于原始数据集的大小就是n,所以这b个新的训练集中不可避免的会存在重复的样本。
统计量的估计值定义为独立的b个训练集上的估计值θbθb的平均:
boosting:
boosting依次训练k个子分类器,最终的分类结果由这些子分类器投票决定。
首先从大小为n的原始训练数据集中随机选取n1n1个样本训练出第一个分类器,记为c1c1,然后构造第二个分类器c2c2的训练集d2d2,要求:d2d2中一半样本能被c1c1正确分类,而另一半样本被c1c1错分。
接着继续构造第三个分类器c3c3的训练集d3d3,要求:c1c1、c2c2对d3d3中样本的分类结果不同。剩余的子分类器按照类似的思路进行训练。
boosting构造新训练集的主要原则是使用最富信息的样本。
更多python相关技术文章,请访问python教程栏目进行学习!
以上就是boosting和bootstrap区别的详细内容。