凸函数保凸操作中有关标量复合函数结论式的理解

今天分享Stephen Boyd《Convex Optimization》书中P83-86页，凸函数有关标量函数在复合操作中满足保凸性的条件应该如何解读。首先书中讲解了有哪些操作可以对凸函数具有保凸性，例如：

我觉得书中在讲解后面两种函数复合的时候，例如标量复合操作中给出的满足保凸性的条件，对于小白来说可能会觉得有点晦涩难懂，特别是给出的标量复合定理（3.10）和（3.11）会看得一头雾水，因此今天要帮助大家好好理解这部分内容。具体来说，今天打算解决以下问题：

2. 标量复合的一般情况（对假设进行放松：即不要求定义域为整个实数空间和整个高维空间，也不要求均有二阶导，但增加一个假设，即函数h的扩展函数\tilde{h}要满足nondecreasing（or nonincreasing））： n \ge2 ，为什么扩展函数要求满足不减（不增），以及书中（3.11）一堆描述如何去理解。

下面是我对这部分内容的整体笔记。

下面我会根据上图的笔记一步步结合今天要解决的内容再具体分析。

复合操作的保凸性

什么是函数的复合？书中的描述如下：

从书中的描述可以看得出，通过两个函数 h 和 g 的复合成一个新的函数 f 。当时 k=1 ，称为标量复合（否则称为向量复合）。今天就是要讨论当函数 h 和 g满足什么具体条件时，新的函数 f是凸函数。这里要注意复合函数后的函数定义域 domf 。

假设：（1）函数 h 和 g的定义域均为全体实数 \mathbb{R}；（2）且h 和 g在定义域内均有二阶导数。

对函数求二阶导

那么我们回顾一下，对于一个函数，若满足二阶条件即定义域内均有二阶导，且二阶导数恒为非负数，则该函数为凸函数。根据我下面的笔记分析，就可以看成为什么要提出上面两个假设条件了。

从上面图片分析可以看出，一维函数 g 和 h 的定义域均为全体实数空间，那么复合后的函数 f 的定义域肯定是凸集（证明也是很容易）。同时我们也可以得出在假设的两个条件下，同时满足（3.10）第一条要求的函数 f ，它的二阶导恒为非负，故 f 是凸函数。

根据（3.9）的式子，函数 f 的二阶导在什么条件下是非负（或非正）给出了四种具体情况。

其实组合定理（3.10）这四种情况还是挺容易理解的。

2. General Case： n\gt1 ，即是函数 h 是一维函数，但 g是 n 维函数，即复合后的函数f是高维（n维）函数。

我们发现Special Case的假设太强了，即要求函数的定义域要是全体实数 \mathbb{R}，还要求均存在二阶导。因此对于general case的时候，需要对假设进行放松，即不要求一维函数 h 定义域是全体实数 \mathbb{R}，也不要求高维函数 g 的定义域是整个 n 维空间 \mathbb{R^n} ，更不要求均存在二阶偏导。但需要增加扩展函数\tilde{h}要满足一定的限制条件。

假设：扩展函数 \tilde{h} 要满足一定限制要求，即\tilde{h} 在全体实数 \mathbb{R}内满足nonincreasing or nondecreasing。

至于为什么要增加这个假设呢，书中给的描述如下：

上面描述highlight部分，我一开始的时候看得很懵逼，特别是突然跑出来两个含有字母 a 区间 ( -\infty , a) 和 ( -\infty , a] 。我下面都会一一帮助大家去理解。

书中的描述（上面图片）中给了一个例子“\tilde{h} is nondecreasing”到底意味着什么。这里有四句话需要我们拆开来仔细理解：

这句话容易理解，这本来就是“\tilde{h} is nondecreasing”的本来定义。

这句话很重要，我们在证明组合定理（3.11）的时候要用到的（后面再说）。但我们首先需要证明推导第二句话：

那扩展函数 \tilde{h} 是nondecreasing到底有什么用呢？我们接下来结合（3.11）第一条，通过分析推导，证明出在函数 g 和 h 都是凸函数的前提下，且\tilde{h}是nondecreasing的时候，复合函数 f 的定义域 domf 才是凸集。

从上面分析我们可以得出，由于现在函数 g 和 h的定义域已经不是全体实数空间，所以即使是 g 和 h 是凸函数还不足以推出它们的复合函数的定义域是凸集，故还需要扩展函数\tilde{h}要满足nondecreasing，才能使得复合函数的定义域是凸集！

这句话要结合扩展函数的要同时满足凸性定义以及满足nondecreasing，我画个图后，大家就容易理解想象了：

同理，这句话，我也画个图，大家就容易想象了。

3. 复合定理的证明

一维情况的复合定理（3.10）就很容易了，大家直接看书或看我上面的解释就很容易理解

高维情况的复合定理（3.11）就要好好想想了，以（3.11）的第一种情况作为例子，我们来证明一下。

即证明下面这条结论：

书中给出的证明过程如下：

要看懂这个证明，这其中要用到一个结论tips：x \lt y，if y \in domh , then x \in domh. 我们上面也已经证明过了。

要证明（3.11）第一条复合定理，即“if g is convex, h is convex, and \tilde{h} is nondecreasing, then f=h\circ g is convex.”

我的证明过程如下：

如果看不懂书中的证明，看我上面的证明梳理估计也能看懂了。扩展函数要求满足nondecreasing or nonincreasing的根本原因有两个，一是证明复合函数的定义域是凸集，二是要证明复合后的函数要满足凸函数的第一定义！

书中P86页也给出了复合定理的具体应用例子Example 3.13.

还有不懂的话，看我下面对这个例子的注释就能看懂了。

今天分享完毕，如有问题，网友们请不吝赐教。后面我也会陆续给出书上一些看起来不显眼但读者（例如我，哈哈）可能感到迷惑的例子 ，且书上没有给出相应证明，我会找出来尽量写一些自己的看法和证明及解释。

参考：