【原文：http://www.cnblogs.com/justany/archive/2012/11/26/2788509.html】 目的 实际事物模型中，并非所有东西都是线性可分的。 需要寻找一种方法对线性不可分数据进行划分。 原理 ，我们推导出对于线性可分数据，最佳划分超平面应满足： 现在我们想引入
【原文：http://www.cnblogs.com/justany/archive/2012/11/26/2788509.html】
目的
实际事物模型中，并非所有东西都是线性可分的。需要寻找一种方法对线性不可分数据进行划分。原理
，我们推导出对于线性可分数据，最佳划分超平面应满足：
现在我们想引入一些东西，来表示那些被错分的数据点（比如噪点），对划分的影响。
如何来表示这些影响呢？
被错分的点，离自己应当存在的区域越远，就代表了，这个点“错”得越严重。
所以我们引入，为对应样本离同类区域的距离。
接下来的问题是，如何将这种错的程度，转换为和原模型相同的度量呢？
我们再引入一个常量c，表示和原模型度量的转换关系，用c对进行加权和，来表征错分点对原模型的影响，这样我们得到新的最优化问题模型：
关于参数c的选择， 明显的取决于训练样本的分布情况。 尽管并不存在一个普遍的答案，但是记住下面几点规则还是有用的：
c比较大时分类错误率较小，但是间隔也较小。 在这种情形下， 错分类对模型函数产生较大的影响，既然优化的目的是为了最小化这个模型函数，那么错分类的情形必然会受到抑制。c比较小时间隔较大，但是分类错误率也较大。 在这种情形下，模型函数中错分类之和这一项对优化过程的影响变小，优化过程将更加关注于寻找到一个能产生较大间隔的超平面。 说白了，c的大小表征了，错分数据对原模型的影响程度。于是c越大，优化时越关注错分问题。反之越关注能否产生一个较大间隔的超平面。
开始使用
#include #include #include #include #define ntraining_samples 100 // 每类训练样本的数量#define frac_linear_sep 0.9f // 线性可分部分的样本组成比例using namespace cv;using namespace std;int main(){ // 用于显示的数据 const int width = 512, height = 512; mat i = mat::zeros(height, width, cv_8uc3); /* 1. 随即产生训练数据 */ mat traindata(2*ntraining_samples, 2, cv_32fc1); mat labels (2*ntraining_samples, 1, cv_32fc1); rng rng(100); // 生成随即数 // 设置线性可分的训练数据 int nlinearsamples = (int) (frac_linear_sep * ntraining_samples); // 生成分类1的随机点 mat trainclass = traindata.rowrange(0, nlinearsamples); // 点的x坐标在[0, 0.4)之间 mat c = trainclass.colrange(0, 1); rng.fill(c, rng::uniform, scalar(1), scalar(0.4 * width)); // 点的y坐标在[0, 1)之间 c = trainclass.colrange(1,2); rng.fill(c, rng::uniform, scalar(1), scalar(height)); // 生成分类2的随机点 trainclass = traindata.rowrange(2*ntraining_samples-nlinearsamples, 2*ntraining_samples); // 点的x坐标在[0.6, 1]之间 c = trainclass.colrange(0 , 1); rng.fill(c, rng::uniform, scalar(0.6*width), scalar(width)); // 点的y坐标在[0, 1)之间 c = trainclass.colrange(1,2); rng.fill(c, rng::uniform, scalar(1), scalar(height)); /* 设置非线性可分的训练数据 */ // 生成分类1和分类2的随机点 trainclass = traindata.rowrange( nlinearsamples, 2*ntraining_samples-nlinearsamples); // 点的x坐标在[0.4, 0.6)之间 c = trainclass.colrange(0,1); rng.fill(c, rng::uniform, scalar(0.4*width), scalar(0.6*width)); // 点的y坐标在[0, 1)之间 c = trainclass.colrange(1,2); rng.fill(c, rng::uniform, scalar(1), scalar(height)); /**/ labels.rowrange( 0, ntraining_samples).setto(1); // class 1 labels.rowrange(ntraining_samples, 2*ntraining_samples).setto(2); // class 2 /* 设置支持向量机参数 */ cvsvmparams params; params.svm_type = svm::c_svc; params.c = 0.1; params.kernel_type = svm::linear; params.term_crit = termcriteria(cv_termcrit_iter, (int)1e7, 1e-6); /* 3. 训练支持向量机 */ cout starting training process endl; cvsvm svm; svm.train(traindata, labels, mat(), mat(), params); cout finished training process endl; /* 4. 显示划分区域 */ vec3b green(0,100,0), blue (100,0,0); for (int i = 0; i i) for (int j = 0; j j){ mat samplemat = (mat_float>(1,2) i, j); float response = svm.predict(samplemat); if (response == 1) i.at(j, i) = green; else if (response == 2) i.at(j, i) = blue; } /* 5. 显示训练数据 */ int thick = -1; int linetype = 8; float px, py; // 分类1 for (int i = 0; i i){ px = traindata.atfloat>(i,0); py = traindata.atfloat>(i,1); circle(i, point( (int) px, (int) py ), 3, scalar(0, 255, 0), thick, linetype); } // 分类2 for (int i = ntraining_samples; i 2*ntraining_samples; ++i){ px = traindata.atfloat>(i,0); py = traindata.atfloat>(i,1); circle(i, point( (int) px, (int) py ), 3, scalar(255, 0, 0), thick, linetype); } /* 6. 显示支持向量 */ thick = 2; linetype = 8; int x = svm.get_support_vector_count(); for (int i = 0; i i) { const float* v = svm.get_support_vector(i); circle( i, point( (int) v[0], (int) v[1]), 6, scalar(128, 128, 128), thick, linetype); } imwrite(result.png, i); // 保存图片 imshow(svm线性不可分数据划分, i); // 显示给用户 waitkey(0);}
设置svm参数
这里的参数设置可以参考一下的api。
cvsvmparams params;params.svm_type = svm::c_svc;params.c = 0.1;params.kernel_type = svm::linear;params.term_crit = termcriteria(cv_termcrit_iter, (int)1e7, 1e-6);
可以看到，这次使用的是c类支持向量分类机。其参数c的值为0.1。
 结果
程序创建了一张图像，在其中显示了训练样本，其中一个类显示为浅绿色圆圈，另一个类显示为浅蓝色圆圈。训练得到svm，并将图像的每一个像素分类。 分类的结果将图像分为蓝绿两部分，中间线就是最优分割超平面。由于样本非线性可分， 自然就有一些被错分类的样本。 一些绿色点被划分到蓝色区域， 一些蓝色点被划分到绿色区域。最后支持向量通过灰色边框加重显示。
被山寨的原文
support vector machines for non-linearly separable data . opencv.org