凸优化的笔记:序
想学凸优化的伏笔应该是在大三的时候埋下的。那个时候啃着李航老师的《统计学习方法》,按书本里的先学了kNN和Decision Tree,感觉统计学习还怪有意思的,后来学到Naive Bayes时候开始有点智商捉急了,再后来的贝叶斯网络和SVM就已经开始对我幼小的心灵造成损害,看到拉格朗日对偶的推导那部分开始自闭,上网去搜,发现这是凸优化里面的理论——这是我第一次对这门学科产生印象。
到研究生阶段想划水的,奈何身边的人都太强了,有种不努力就会被社会抛弃的紧张感,所以想重新捡起《统计学习方法》看,争取把推导看懂吧……然后回忆起早年自闭的过程,想了想,算了,先去看看凸优化吧。
学习的参考教材是Stamford大学又帅又有魅力的Boyd教授的《Convex Optimation》(考虑到努力不给自己艰难的学习过程再下绊子,选择的是王书宁版的中译本),结合Boyd教授录制的授课视频与slides一起学习。笔记的篇章估计也会按书本的目录顺序来,除非我看到自闭打算删掉这些笔记装作一切都没发生过,否则我会努力把所有书本的重点都呈现到笔记中去。
另外,值得一提的是,现在深度学习打得火热,我也有看到有关统计学家与炼金术士之间因为神经网络非凸,效果又异常的好而相互看不起的说法出现,感觉还怪有意思的。可能有一天我会发现凸优化并没有我想象中那么好用,不过在学习过程中带来的痛并快乐的感觉确是实实在在的。不管怎么说,现在的我选择要开始这段旅程了。
是为序。