Stanford机器学习课程笔记2-高斯判别分析与朴素贝叶斯

最新推荐文章于 2025-04-12 16:26:05 发布

xiahouzuoxin

最新推荐文章于 2025-04-12 16:26:05 发布

阅读量1w

点赞数 6

分类专栏： Image/Audio/ML...

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/xiahouzuoxin/article/details/45223519

版权

转载请注明出处: http://xiahouzuoxin.github.io/notes/

 
 判别学习算法和生成学习算法
高斯判别分析（Gaussian Discriminant Analysis）
朴素贝叶斯算法(Naive Bayesian) 
   拉普拉斯平滑（Laplace smoothing)
 

判别学习算法和生成学习算法

判别学习算法：直接学习p(y|x)，即直接通过输入特征空间x去确定目标类型{0,1}，比如Logistic Regression和Linear Regression以及感知学习算法都是判别学习算法。
生成学习算法：不直接对p(y|x)建模，而是通过对p(x|y)和p(y)建模。比如，y表示目标是dog(0)还是elephant(1)，则p(x|y=1)表示大象的特征分布，p(x|y=0)表示狗的特征分布。下面的高斯判别分析和朴素贝叶斯算法都是生成学习算法。

生成学习算法通过学习p(y|x)和p(y)，一般都要通过贝叶斯公式转化为p(x|y)来进行预测。

$p(y|x)=\frac{p(x|y)p(y)}{p(x)}$

最大释然估计也可以转换为联合概率的最值。

$\max_y p(y|x)=\arg \max_y \frac{p(x|y)p(y)}{p(x)}=\arg \max_y p(x|y)p(y)$

高斯判别分析（Gaussian Discriminant Analysis）

对于输入特征x是连续值的随机变量，使用高斯判别分析模型非常有效，它对p(x|y)使用高斯分布建模。

$y \sim Bernoulli(\phi)=p^{\phi}p^{1-\phi}$ ，其中p为先验概率

$x|y=0 \sim N(\mu_0,\Sigma)$

$x|y=1 \sim N(\mu_1,\Sigma)$

依据前面对生成学习算法的分析，求联合概率的最大似然估计，

$l(\phi,\mu_0,\mu_1,\Sigma)=\log\prod_{i=1}^{m}p(x^{(i)}|y^{(i)};\mu_0,\mu_1,\Sigma)*p(y^{(i)};\phi)$

求得4个参数值及其直观解释为：

$\phi=\frac{1}{m}\sum_{i=1}^{m}1\{y^{(i)}=1\}$

直观含义：类目1的样本数占总样本数的比例，即先验概率，类目0的先验概率刚好是 1 − ϕ

$\mu_0=\frac{\sum_{i=1}^{m}1\{y^{(i)}=0\}x^{(i)}}{\sum_{i=1}^{m}1\{y^{(i)}=0\}}$

直观含义：类目0每个维度特征的均值，结果是nx1的向量，n为特征维度

$\mu_1=\frac{\sum_{i=1}^{m}1\{y^{(i)}=1\}x^{(i)}}{\sum_{i=1}^{m}1\{y^{(i)}=1\}}$

最低0.47元/天解锁文章

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。