机器学习 - 1

使优化目标达到最好的假设。


假设是历史观测中表现最好，是不是在未来也表现最好？需要验证。
1、过拟合
2、正则化
3、校验


评估方法有哪些？






1、假设空间
线性关系
2、优化目标
均方误差最小
3、寻解算法
导数为0,微分方程




假设的设定：
回归场景：
线性回归：线性关系（实数域）。
分类场景：
1、分类假设，感知机（阶跃函数）：输出类别的编号（概率=1）。
2、概率假设，逻辑回归（sigmod函数）：输出类别的概率。


优化目标：
线性回归：均方误差（绝对值误差不好求导，不平滑）
。合理性 + 易解性。
感知机：二分类模型：离散点不好求导。错误点的个数。
逻辑回归：似然误差：均方误差不是凸函数，均方误差表示真实值和概率值之间的误差平方，比较的数据维度不同。交叉熵。


最大似然（贝叶斯）：
如果一个规律，最大可能产生该观测结果，这个规律最可能是真的。
预测数据为真的概率 = 数据的先验概率 * 假设空间中数据的概率




均方误差：观测误差是正态分布下的最优假设。


优化目标决定了产出结果。合理的优化目标确