SVM & FC+Softmax 分类

MallocLu

于 2022-09-07 16:34:11 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏： Deep Learning 文章标签：支持向量机分类机器学习

本文链接：https://blog.csdn.net/qq_42283621/article/details/126748939

Deep Learning 专栏收录该内容

34 篇文章

订阅专栏

本文探讨了支持向量机(SVM)在小样本分类问题中的优势，与全连接层加softmax用于大规模样本的区分方式进行了对比。SVM通过最大化间隔实现二分类，而全连接层通过交叉熵优化多分类。两者在不同规模数据和非线性问题上的表现和优化策略各有侧重点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

支持向量机是一种二分类模型算法，它的基本模型是定义在特征空间的间隔最大的线性分类器，说白了就是在中间画一条线，然后以 “最好地” 区分这两类点。以至如果以后有了新的点，这条线也能做出很好的分类。SVM 适合中小型数据样本、非线性、高维的分类问题。

样本数量b，类别数量n，特征长度d。

全连接+softmax（适合大样本量）：
Y=X@W+b
X [b, d] W [d, n] b [n] Y [b, n]
Y按行进行softmax，即每个样本属于各个类别的概率和为1
使用交叉熵损失优化

SVM（适合小样本量）：
Y=X@W
X [b, d] W [d, n] Y [b, n]
使用sigmoid将结果映射到[0, 1]
原则上每个样本属于每个类别的概率均属于[0, 1]且无和为1的限制
W每列代表一个SVM分类器，n个类别共n个SVM分类器，每个SVM分类器输出该样本属于某一个类的概率（即每个SVM均做二分类）
$对于第j个SVM分类器，其损失定义为：\\ SVM_j=\frac{1}{b}\sum_{i=1}^b(out_{ij}-gt_{ij})^2\\ out_{ij}\in[0,1]\:gt_{ij}=0/1，且对“行和”“列和”无限制\\ \\ 总损失： SVM_j=\frac{1}{n}\frac{1}{b}\sum_{j=1}^n\sum_{i=1}^b(out_{ij}-gt_{ij})^2$