Linear SVM 和 LR 有什么异同？ - 知乎802被浏览42190分享邀请回答/dfiles/LogisticRegressionMaxEnt.pdf如果理解最大熵模型的内蕴，应该不难看出LR是不依赖数据的距离测度的。总结一下Linear SVM和LR都是线性分类器Linear SVM不直接依赖数据分布，分类平面不受一类点影响；LR则受所有数据点的影响，如果数据不同类别strongly unbalance一般需要先对数据做balancing。Linear SVM依赖数据表达的距离测度，所以需要对数据先做normalization；LR不受其影响Linear SVM依赖penalty的系数，实验中需要做validationLinear SVM和LR的performance都会收到outlier的影响，其敏感程度而言，谁更好很难下明确结论。注：不带正则化的LR，其做normalization的目的是为了方便选择优化过程的起始值（），不代表最后的解的performance会跟normalization相关，如果用最大熵模型解释，实际上优化目标是和距离测度无关的，而其线性约束是可以被放缩的（等式两边可同时乘以一个系数），所以做normalization只是为了求解优化模型过程中更容易选择初始值。初学者容易把模型的建立和模型的求解混淆。注2：查阅了一下Linear SVM和LR在UCI数据集上的表现，在小规模数据集上，Linear SVM是要略好于LR的，但差别也不是特别大，而且Linear SVM的计算复杂度受数据量限制，对海量数据LR使用更加广泛。30130 条评论分享收藏感谢收起295 条评论分享收藏感谢收起查看更多回答Machine Learning（28）
SVM与Logistic回归模型
线性模型的表达式为
hθ(x)=θ0+θ1x1+θ2x2+...+θnxn[1]
x1~xn就是n个特征，作为模型的输入
θ0~θn，就是线性模型的n+1个参数
把线性模型的输出送给sigmoid函数，就得到了Logisitic回归模型
hθ(x)=sigmoid(θ0+θ1x1+θ2x2+...+θnxn)[2]
把线性模型表达式中的xi替换成fi，就得到了SVM模型的表达式
hθ(x)=sign(θ0+θ1f1+θ2f2+...+θnfn)[3]
* fi是xi的核函数，也就是xi的非线性多项式项。例如 f1=x1*x2
可见，SVM和Logistic回归是非常类似的两种算法。线性kernel的SVM（fi=xi），在选择和使用上跟Logistic回归没有区别。
既然SVM与Logistic非常相似，那是不是它们可以混合使用呢？结果是否定的，在不同的情况下，应该选择不同的算法。
用n表示Feature数量，m表示训练集个数。下面分情况讨论
n很大，m很小
n很大，一般指n=10000；m很小，一般m=10-1000。m很小，说明没有足够的训练集来拟合非常复杂的非线性模型，所以这种情况既可以选择线性kernel的SVM，也可以选择Logistic回归。
n很小，m中等
n很小，一般指n=1-1000；m很小，一般m=。m中等，说明有足够的训练集来拟合非常复杂的非线性模型，此时适合选择非线性kernel的SVM，比如高斯核kernel的SVM。
n很小，m很大
n很小，一般指n=1-1000；m很大，一般m=0。m很大，说明有足够的训练集来拟合非常复杂的非线性模型，但m很大的情况下，带核函数的SVM计算也非常慢。所以此时应该选线性kernel的SVM，也可以选择Logistic回归。n很小，说明Feature可能不足以表达模型，所以要添加更多Feature。
注意，一个结构合适的神经网络，可以适用以上提到的所有情况，但神经网络一般训练速度都很慢。
&&相关文章推荐
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：390708次
积分：4044
积分：4044
排名：第7514名
原创：121篇
评论：81条
联系专家帮助：（1）机器学习，NLP，数据挖掘，数据分析（2）软件开发、优化（3）企业培训，技术顾问（4）数据科学职业发展咨询。微信：crazygoodluck，QQ：，微信公众号：自动话（说话的话）
(3)(3)(3)(3)(3)(3)(3)(3)(3)(3)(3)(3)(3)(3)(3)(4)(3)(3)(3)(3)(4)(3)(3)(3)(1)(5)(1)(1)(1)(1)(1)(1)(1)(1)(1)(1)(1)(1)(3)(2)(1)(3)(3)(2)(1)(10)(8)}