凸优化理论
-
2023年3月18日发(作者：大商之道)凸优化（四）凸函数分析
1.概述
之前简单介绍了凸函数的定义，相信⼤家对凸函数有了简单的认识，但是这是远远不够的，这次通过⼀些详细的函数讲解来介绍⼀下部分常
见凸函数的特点。
2.凸函数的四个定义：
（1）第⼀个定义：如果X为在实数向量空间的凸集。并且有映射，如果被称为凸，则有
如果F被称为严格凸，那么有：
（2）第⼆个定义：有映射
，
（3）第三个定义：若可微，对
（4）第四个定义：⼆阶条件，若⼆阶可微，则
（这⾥的⼤于等于号是表⽰特征值⼤于等0，表⽰矩阵半正定）。
这四个定义在不同地⽅均有⽤处，但在判断函数是否为凸函数时最常⽤的是第四个。其中为Hessian矩阵，表⽰函数的⼆阶偏导矩
阵。
3.常见凸函数：
（1）仿射函数：,显然，其⼆阶导函数为，所以仿射函数为凸函数。
（2）指数函数：,显然,所以指数函数是凸函数。
（3）幂函数：,接着求导啊求导~，，
，显然啦，当时，幂函数就成为了仿射函数，所以即凸⼜凹。
（4）负熵函数：,还是求导，,嗯，还是个严格凸函数。（也是个⾮常重要
的函数！！）
（5）极⼤值函数（重中之重）：现在来⼀个⽐较复杂却⾮常常见的函数：
这个函数显然是不可导的，那么⾸先根据定义⼀来看⼀下是否为凸函数。取两值，构造凸组合的新值
,发现满⾜凸函数定义，所以极⼤值函数时凸函数。但是啊，由于其⽆法求导，后续处理会出现各种问题。所以，这⾥有⼀个解析逼近，就是⽤⼀个
解析函数去逼近极⼤值函数。这个函数是这样的：
那么来证明⼀下这个函数也是凸函数吧！这⾥就要⽤到凸函数的第四个定义了，轮到Hessian矩阵出场了。对上述函数求⼆次偏导得到如
下关系（公式打得累死）：
这个式⼦看上去也很丑，那么定义列向量,那么(1)式就变成了
,函数的Hessian矩阵可以写成
那么⼤家还记得半正定矩阵如何证明么？就是成⽴，那么A则为半正定矩阵。好，那么开始构造！！
另,那么(2)式就变成了:
此式成⽴，⽤到的性质为柯西-施⽡茨不等式,所以函数为凸函数。
（6）⾏列式的对数：，⾸先说明⼀下啊，当矩阵X只有⼀维时，那么原函数则为，显然是凹函数。所
以我们是在已经知道其为凹函数的前提下证明它是凹函数的了~根据凸函数的第⼆个定义当
，构造凸组合的函数
继续化简得到为：
接着只要分析这个式⼦就可以，求导即可，得到：
到这⾥证明就结束
了，原函数为凹函数得证。
4.总结：
可见啊，分析函数凸性⼀般都是通过其矩阵来分析，但是对于部分凸函数的证明也不是简单的，总体的计算过程也在越来越复
杂，后⾯会逐步讲解凸问题的理论与求解。但是在证明的过程中会发现，其理论也是⼀步⼀步建⽴起来的，弄懂了原理之后看问题就会举⼀反三
了。