【数学知识】

范数(norm)是数学中的一种基本概念，是具有“长度”概念的函数。   在泛函分析中，它定义在赋范线性空间中，并满足一定的条件，即①非负性；②齐次性；③三角不等式。它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。   在线性代数、泛函分析及相关的数学领域，范数是一个函数，是矢量空间内的所有矢量赋予非零的正长度或大小。半范数可以为非零的矢量赋予零长度。

通俗的理解，向量范数就是在这个向量空间中向量的大小 一般向量范数常使用L-P范数 其通用公式为： 注意，上述公式中Xi外应该有绝对值符号。 聪明的你应该已经发现了：   L0范数表示向量中非零元素个数   L 1范数表示向量元素绝对值之和，L1范数有很多的名字，例如我们熟悉的曼哈顿距离、最小绝对误差等。使用L1范数可以度量两个向量间的差异，如绝对误差和（Sum of Absolute Difference）   由于L1范数的天然性质，对L1优化的解是一个稀疏解，因此L1范数也被叫做稀疏规则算子。通过L1可以实现特征的稀疏，去掉一些没有信息的特征，例如在对用户的电影爱好做分类的时候，用户有100个特征，可能只有十几个特征是对分类有用的，大部分特征如身高体重等可能都是无用的，利用L1范数就可以过滤掉。   L 2范数让人想到欧几里得距离，L2范数通常会被用来做优化目标函数的正则化项，防止模型为了迎合训练集而过于复杂造成过拟合的情况，从而提高模型的泛化能力。   L ∞通常用来度量元素的最大值。

矩阵可以看作向量空间上的一次向量的线性变换，矩阵范数就是用来衡量变化幅度大小的。

由向量范数的L-P范数诱导而来，故曰诱导范数 列和范数，即所有矩阵列向量绝对值之和的最大值 谱范数，即ATA矩阵的最大特征值的开平方。（快去复习矩阵特征值怎么求） 行和范数，即所有矩阵行向量绝对值之和的最大值。

Frobenius范数，即矩阵元素绝对值的平方和再开平方（上图公式漏了绝对值的平方，百度害人） 核范数，是指矩阵奇异值的和（快去复习什么叫矩阵奇异值） 作用：约束低秩 https://www.zhihu.com/question/26471536