有什么好的模型调参的方法么？网格搜索？贝叶斯优化？

七月在线金融就业班上有讲过，offks + (offks - devks) * 0.8 最大化。这个0.8自己来调整，看你是希望跨时间验证集上的KS更高，还是希望模型更稳定。

然后模型内部的参数搜索建议贝叶斯优化，推荐原因是因为快一点。精度其实差别不大。然后精细化调参，一般都是千分位上的提升。

文末免费送电子书：七月在线干货组最新 升级的《名企AI面试100题》免费送！

解析2

• 简介

本文受 浅析 Hinton 最近提出的 Capsule 计划 启发，希望以更通俗的方式推广机器学习算法，让有数学基础和编程能力的人能够乐享其中。

目前人工智能和深度学习越趋普及，大家可以使用开源的Scikit-learn、TensorFlow来实现机器学习模型，甚至参加Kaggle这样的建模比赛。那么要想模型效果好，手动调参少不了，机器学习算法如SVM就有gamma、kernel、ceof等超参数要调，而神经网络模型有learning_rate、optimizer、L1/L2 normalization等更多超参数可以调优。

很多paper使用一个新的模型可以取得state of the art的效果，然后提供一组超参数组合方便读者复现效果，实际上这些超参数都是“精挑细选”得到的，背后有太多效果不好的超参数尝试过程被忽略，大家也不知道对方的超参数是如何tune出来的。因此，了解和掌握更好的超参数调优方法在科研和工程上是很有价值的，本文将介绍一种更好的超参数调优方式，也就是贝叶斯优化（Bayesian Optimization），以及开源调参服务Advisor的使用介绍。

• 超参数介绍

首先，什么是超参数（Hyper-parameter）？这是相对于模型的参数而言（Parameter），我们知道机器学习其实就是机器通过某种算法学习数据的计算过程，通过学习得到的模型本质上是一些列数字，如树模型每个节点上判断属于左右子树的一个数，或者逻辑回归模型里的一维数组，这些都称为模型的参数。

那么定义模型属性或者定义训练过程的参数，我们称为超参数，例如我们定义一个神经网络模型有9527层网络并且都用RELU作为激活函数，这个9527层和RELU激活函数就是一组超参数，又例如我们定义这个模型使用RMSProp优化算法和learning rate为0.01，那么这两个控制训练过程的属性也是超参数。

显然，超参数的选择对模型最终的效果有极大的影响。如复杂的模型可能有更好的表达能力来处理不同类别的数据，但也可能因为层数太多导致梯度消失无法训练，又如learning rate过大可能导致收敛效果差，过小又可能收敛速度过慢。

那么如何选择合适的超参数呢，不同模型会有不同的最优超参数组合，找到这组最优超参数大家会根据经验、或者随机的方法来尝试，这也是为什么现在的深度学习工程师也被戏称为“调参工程