SVM的使用
正如Andrew Ng所说，使用svm进行训练，相比神经网络来说，确实训练速度要快很多。不过只有当特征数量 n 很小，训练集数据量$m$中等的时候，才建议使用高斯核函数来训练SVM，例如$n$的范围是$( 1,1000 )$，$m$的范围是$( 10,10000 )$。如果特征数量$n$远远大于训练
...
软间隔与hinge loss
发表于
|
更新于
|
分类于
机器学习
1. 从hard margin到soft margin之前对SVM的讨论，都是假设数据是线性可分的。通过使用Kernel trick可以将特征映射到更高维的空间，也可以增加数据线性可分的可能性（likelihood），但是我们不能保证Kernel trick一直都能起作用。另一方面，即使这个数据是线
...
Kernel Trick（核技巧）
发表于
|
更新于
|
分类于
机器学习
首先声明核函数的技巧是一个很大的范畴，与SVM模型平起平坐，相见参考资料1的高票回答。这里我们只讨论Kenel trick在SVM的对偶形式中的应用。再次放出SVM的对偶形式：
\begin{array}{rl}
\max\limits_{\alpha} & \sum\limits_{i=1}^m\
...
拉格朗日对偶与SVM
发表于
|
更新于
|
分类于
机器学习
本文主要介绍拉格朗日对偶与SVM的关系，以及为什么要用对偶来解决
1. 拉格朗日对偶1.1. Primal问题考虑极小化问题
\begin{array}{ll}
\text{min} & f(w) \\
\text{s.t.} & g_j(w) \le 0, ~~j= 1,\dots, k\\
...
KKT条件的通俗理解
发表于
|
更新于
|
分类于
机器学习
在学习SVM模型时，看到了拉格朗日乘子，顺便回顾一下KKT条件。争取用最简单直白的方式来解释KKT条件。
0.1. 首先，KKT条件定义
对于极小化问题
\begin{array}{ll}
\text{min} & f(x) \\
\text{s.t.} & h_i(x) = 0, ~~i =
...
Hello World
发表于
Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in
...
使用Hexo和nexT主题来搭建博客
发表于
|
更新于
|
分类于
其他
1. 使用Hexo和nexT来搭建博客，嗯嗯很好！参考 https://blog.csdn.net/Hoshea_chx/article/details/78826689 的过程一步步搭建
下载git（已有）和nodejs， 然后在cmd中安装Hexo： npm install -g hexo-c
...