背景介绍
如果你用过机器学习算法,那一定体验被算法调参支配的恐怖。面对错综复杂的算法参数,算法使用者们往往要花费无尽的黑夜去不断尝试,犹如大海捞针。有的时候加班到深的夜,终于找到了一个靠谱的参数组合,然而找到的参数组合真的是最优的么?天知道。
<李>
针对小白用户:小白用户不清楚每种算法参数在算法计算过程中的数学原理,往往对调参一头雾水,所以自动调参可以快速帮助这部分用户解决问题
李 <李>针对资深用户:资深用户对于调参往往有一定经验,但是这种经验往往只能在大方向上指导调参工作,对于一些细节参数仍需要不断重复去尝试。比如一个参数范围0 ~ 100,资深用户可以通过经验确定参数设置为90年或80年者的结果,但是在更小粒度上,比如81年和82年哪个对结果更好,资深用户也需要手动去实验。而自定调参功能可以代替这部分的重复性劳动。
李目前行业中主流的调参思想主要是基于并行搜索,以网格搜索和随机的 搜索为代表,系统通过随机原理,不断采样可能的参数组合,通过不停迭代去尝试找到最优的参数组,每次探索的过程彼此独立。优势是不容易陷入局部最优解,可以在更广阔的参数空间探索。劣势是每次探索都是随机性的,缺乏信息的积累过程,耗费计算资源。
