相关文章推荐

空虚的毛豆 · asp.net ...· 5 月前 ·

乐观的香菜 · jqGrid ...· 11 月前 ·

不拘小节的自行车 · elementui自适应窗口-掘金· 1 年前 ·

大力的菠菜 · Shell 链接 - Win32 apps ...· 1 年前 ·

近视的仙人掌 · Oracle 数据怎么实时同步到 ...· 1 年前 ·

前言
一.什么是范数
二.向量的范数
- 1.向量范数的定义
- 2.常见的向量范数
三.矩阵的范数
四.条件数
- 1.条件数的定义
- 2.常用的条件数
在南方科技大学学习何炳生老师的数值分析课程期间有很多收获与感悟，由衷的感谢何老师的谆谆教导，当然我希望能将课程中所学习到的，能应用到未来科研和工作中的这部分知识，以学习笔记的方式记录下来，也希望能通过这种帖子将自己作为小白对于这些知识的通俗理解分享给大家，文中一些不够准确或错误的表达，还望大家指证。
【数值分析】学习笔记目录

本章节将分享数值分析的预备知识—— 范数与条件数

一.什么是范数

如果学习机器学习或者信号处理相关的课程，可以发现有一个名词—— 范数被屡屡提及，那什么是范数呢？
根据李庆阳、王能超、易大义老师编的《数值分析》书上的定义， 范数是为了研究线性方程组近似解的误差估计和迭代法的收敛性, 对向量及矩阵的“大小”引进某种度量。

通俗的理解其实， 范数运算 就是 一种针对向量和矩阵的运算规则 （类似加，减，乘，除），通过对一向量或者矩阵的范数运算后可以得到一个标量，这个标量表征了矩阵或者向量的一些性质，而这个标量被称为这个向量或者矩阵的一个范数。

当然范数运算不止一种，也就是对于一个向量或者矩阵而言，它包含了多种范数，即一种运算规则只要满足了一定的条件，它所求解出来的值就可以被称为范数。

二.向量的范数

 1.向量范数的定义

对任一向量 $\left \| X \right \|_{1}=\left | x_{1} \right |+\left | x_{2} \right |+...+\left | x_{n} \right |=\sum \limits_{ {i=1}}^{ {n}}\left | x_{i} \right |$
（ 2-范数 ） $\left \| X \right \|_{2}=\sqrt{x_{1}^{2}+x_{2}^{2}+...+x_{n}^{2}}=(\sum \limits_{ {i=1}}^{ {n}}x_{i}^{2})^{1/2}=(X^{T}X)^{1/2}$
（ $\left \| X \right \|_{\infty }=max\left \{ \left | x_{1} \right |,\left | x_{2} \right |...,\left | x_{n} \right |\right \}=\mathop{max}\limits_{1\leqslant i\leqslant n}\left \{\left | x_{i} \right |\right \}$

上述三种范数都是 p-范数 （

除了P-范数之外还有一种范数也常在凸优化问题中使用，即 H-范数 (可以看做是2-范数的延伸)

H-范数的定义 ：对任一向量 $\left \| A \right \|_{1}=\mathop{max}\limits_{1\leqslant j\leqslant n}\sum \limits_{ {i=1}}^{ {n}}\left | a_{ij} \right |$

（ A的行范数 ）

\left \| A \right \|_{\infty}=\mathop{max}\limits_{1\leqslant i\leqslant n}\sum \limits_{ {j=1}}^{ {n}}\left | a_{ij} \right |

（ A的2-范数 ）

\left \| A \right \|_{F}=\sqrt{\sum \limits_{ {i=1}}^{ {n}}\sum \limits_{ {j=1}}^{ {n}} a_{ij}^{2}}

知乎上的这位大佬是站在机器学习的领域进行的介绍，也很详细
 如何通俗易懂地解释「范数」？ .

（其他范数相关的性质和证明，请参照清华大学出版，李庆阳、王能超、易大义老师编的《数值分析》第五版内容）

四.条件数

由于很多实际的应用问题都可以变换成为一个求解线性方程组的过程，即 $cond(A)_{2}=\left \| A \right \|_{2}\left \| A^{-1} \right \|_{2}=\sqrt{\frac{\lambda _{max}(A^{T}A)}{\lambda _{min}(A^{T}A)}}$

一、条件数的一般表示矩阵A的条件数用于衡量矩阵乘法或逆的输出对输入误差的敏感性，条件数越大表明敏感性越差。对于一般的矩阵A，存在A的逆矩阵A-1（即A为非奇异矩阵），则其条件数为：上式中的范数也可为其他范数，如0、ꝏ 范数。二、条件数的由来：  当条件数 k(A)较小时，若初始条件发生较小的变化，则解的变化也不大，此时矩阵A就是良态矩阵；  当条件数 k(A)较大时，如初始条件发生较小的变化，解的变化很大，此时矩阵A既为病态矩阵。关于更多的关于良态矩阵和病态矩阵的作用参考下方链接。根据定义(1)可知，矩阵A及其逆矩阵的条件数相同。 1、病态问题及条件

n阶矩阵（方阵）AAA的行列式是一个标量，如何计算就不啰嗦了. 1、物理意义 An×nA^{n\times n}An×n表示一个n维空间到n维空间的线性变换: f:Rn→Rnf:R^n\to R^nf:Rn→Rn, 是一个压缩或拉伸，即scale操作。而{det(A)det(A)det(A)就是这个缩放尺寸。（1）假想原来空间中有一个n... 1.pip安装慢的原因使用Python的人必然会用到一个工具就是pip,它帮助我们安装各种第三方库,用起来非常方便,但是却弥补不了它下载速度慢的问题,有时一个大的库好几个G,安装起来真是太漫长了. pip安装慢的原因其实也很简单,因为pip从PyPi中下载库文件, 但由于PyPi服务器在国外, 访问起来很慢.但如果我们能够从国内服务器直接下载相应的库,那速度不就很快了吗? 当然国内提供了...

1.向量范数如果向量x∈Rn(或Cn)x\in\mathbb{R}^n(或\mathbb{C}^n)x∈Rn(或Cn)的某个实值函数 N(x)=∥ x ∥,N(x)=\left\lVert \,x\,\right\rVert,N(x)=∥x∥,满足条件 : (1)∥ x ∥⩾0(∥ x ∥=0当且仅当x=0)正定条件 (1)\left\lVert \,x\,\right\rVert\geqslant 0(\left\lVert \,x\,\right\rVert=0\text{当且仅当}x=0)\text{正定

范数是具有“长度”概念的函数。在向量空间内，为所有的向量的赋予非零的增长度或者大小。不同的范数，所求的向量的长度或者大小是不同的。举个例子，2维空间中，向量(3,4)的长度是5，那么5就是这个向量的一个范数的值，更确切的说，是欧式范数或者L2 范数的值。对于p- 范数，如果那么向量x的p- 范数就是所以，L1 范数： L2 范数：在上一篇博客中我们讲到，当训练模型比真实模型复杂度低的情况叫做underfitting（欠拟合），当训练集模型比真实模型复杂度高的情况叫做overfitting（过拟合）。现如今由于网络层数不断地增加，欠拟合的情况已经较为少见，绝大数多情况都是出现过拟合。与过拟合有一个异曲同工的概念叫做奥卡姆剃刀原理。奥卡姆剃刀原理是指：在科学研究任务中，应该优先使用较为简单的公式或者原理，而不是复杂的。应用到深度学习任务中，可以通过减小模型的复杂度来降低过拟合的

什么是范数？范数，是具有“长度”概念的函数。在线性代数、泛函分析及相关的数学领域，范数是一个函数，是矢量空间内的所有矢量赋予非零的正长度或大小。在数学上，范数包括向量范数和矩阵范数。向量范数表征向量空间中向量的大小，矩阵范数表征矩阵引起变化的大小。一种非严密的解释就是，对应向量范数，向量空间中的向量都是有大小的，这个大小如何度量，就是用范数来度量的，不同的范数都可以来度量这个大小，就好比米...

这里写目录标题范数的概念向量范数定义向量范数类别矩阵范数定义矩阵范数类别范数的概念在学习过程中，我们会用到1 范数、2 范数、p 范数、∞ 范数去判断收敛性、稳定性。那么范数到底代表了什么呢？简单来说，范数就是一个**衡量“距离”、“长度”或者“大小”**的一个指标，该指标可以用来比较不同的“ 数 ”的大小。不同的范数种类代表了不同的衡量标准，但本质相同。现实生活中，人的高矮可以用身高来衡量，两点之间的距离可以用尺子来测量。一维中的-1和10的距离，我们可以用他们差的绝对值来衡量。二维空间内点（x1,y1）（x_

机器学习 中的l0，l1和l2 范数是常用的正则化方法。正则化是为了减少模型的过拟合而使用的一种技术。l0 范数是指一个向量中非零元素的个数，它会将模型中的某些参数变为0，从而完成特征选择的功能。l1 范数是指向量中各个元素绝对值的和，它可以使某些参数变为0，从而实现稀疏表示。l2 范数是指向量中各个元素的平方和的开方，它将所有参数都缩小，但不会使参数变为0，因此可以用来进行参数的平滑化。在实际应用中，不同的正则化方法会产生不同的效果。l0 范数可以实现特征选择和简化模型，但它是一个NP难问题，不存在一种有效的方法来求解它。l1 范数可以将某些参数变为0，从而实现稀疏表示，但由于它的训练代价比较高，通常只适用于数据维度较大的情况。l2 范数可以使模型参数平滑化，从而降低模型过拟合的风险，同时也比l1 范数计算代价低。因此，在实际应用中，我们需要根据具体的问题来选择正则化方法，并进行适当的调参，以达到最好的效果。

一.什么是范数

二.向量的范数

1.向量范数的定义

四.条件数