Big Rudin
主要讲述了希尔伯特空间的初等结论
内积与线性泛函
4.1 内积空间
内积空间首先是个向量空间，内积定义为$(.):V{\times}V{\to}C$
满足条件：
- $\overline{(x,y)}=(y,x)$。共轭转置
- $(x+y,z)=(x,z)+(y,z)$
- $(\alpha x,y)=\alpha(x,y),(x,\alpha y)=\overline{\alpha}(x,y)$
- $(x,x){\ge}0$
- $(x,x)=0{\iff}x=0$
满足1-5的$(.)$称为内积，而空间$V,(.)$称为内积空间
且诱导范数$\|x\|^2=(x,x)$。我们首要证明诱导的范数确实满足范数要求：正定，齐次，三角不等式
然后由诱导范数定义度量$p(x,y)=\|x-y\|$，然后要证明诱导度量满足要求：正定，对称，三角不等式。
首先这里提出一个$C^n$的例子：$x=(\xi_1,\cdots,\xi_n),y=(\eta_1,\cdots,\eta_n)$，且$(x,y)=\sum^n_{i=1}\xi_i{\overline{\eta_i}}$。
定义正交
若$(x,y)=0$，则称$x$与$y$正交，记作$x{\perp}y$
而对于向量的集合$\left\{x_i\right\}_{i{\in}I}$，若$(x_i,x_j)=\delta_{ij}$，称呼$\left\{x_i\right\}_{i{\in}I}$为正交集（其实是正交规范集）
施瓦茨不等式
在内积空间$H$上，$|(x,y)|{\le}\|x\|\|y\|$，对任意$x,y{\in}H$都成立
证明：
这个证明有个初等证明方式，是将一个向量旋转然后做成一个二次函数的形式，然后用判别式解答的。
这里先给出一个由傅立叶系数启发的做法。
引理：若$\left\{x_1,\cdots,x_n\right\}$为$H$中正交集，$\forall x{\in}H$，令$\alpha_i=(x,x_i)$，则$\sum^n_{i=1}|\alpha_i|^2{\le}\|x\|^2$，且$x'=x-\sum^n_{i=1}(x,x_i)x_i$与$x_j$正交，$(i=1,\cdots,n)$（其中$\alpha_i$实际上就是傅立叶系数)，并且这里可以看出内积空间的任一子空间必有正交补的事实。
对引理进行证明：
$$ 0{\le}\|x'\|^2=(x',x')=(x-\sum^n_{i=1}(x,x_i)x_i,x-\sum^n_{i=1}(x,x_i)x_i)\\=(x,x)-(x,x-\sum^n_{i=1}(x,x_i)x_i)-(x-\sum^n_{i=1}(x,x_i)x_i,x_i)+(x-\sum^n_{i=1}(x,x_i)x_i,x-\sum^n_{i=1}(x,x_i)x_i)\\=\|x\|^2-x-\sum^n_{i=1}(x,(x,x_i)x_i)-x-\sum^n_{i=1}((x,x_i)x,x_i)+\sum^n_{i=1}|\alpha_i|^2\\=\|x\|^2-\sum^n_{i=1}|\alpha_i|^2 $$
于是这个证明了确实有$\sum^n_{i=1}|\alpha_i|^2{\le}\|x\|^2$
接下来证明正交更为简单：
$$ (x',x_j)=(x-x-\sum^n_{i=1}(x,x_i)x_i,x_j)\\=(x,x_j)-(x-\sum^n_{i=1}(x,x_i)x_i,x_j)\\=(x,x_j)-(x,x_j)=0 $$
于是引理证毕，然后我们证明施瓦茨不等式成立：
证明：首先若$y=0$，则施瓦茨不等式显然成立
设$y\neq 0 $，则有$\left\{\frac{y}{\|y\|}\right\}$是正交集，
$$ |(x,\frac{y}{\|y\|})|^2{\le}\|x\|^2{\Rightarrow}|(x,y)|{\le}\|x\|\|y\| $$
接下来我们因为要证明诱导范数是符合范数定义的，所以对三角不等式有需求
三角不等式
$$ \|x+y\|=\|x\|+\|y\| $$
证明：$\|x+y\|^2=(x+y,x+y)=(x,x)+(x,y)+(y,x)+(y,y)$
而$(x,x)+(x,y)+(y,x)+(y,y){\le}\|x\|^2+2|(x,y)|+\|y\|$。
然后用一次施瓦茨不等式，有$2|(x,y)|{\le}2\|x\|\|y\|$，然后用平方和公式则有三角不等式成立。
而对于诱导度量$p(x,y)=\|x-y\|$，其三角不等式$p(x,y){\le}p(x,z)+p(z,y)$。
其证明如下：$\|(x-z)+(z-y)\|{\le}\|x-z\|+\|z-y\|$，也就是用一次范数的三角不等式，自然得到。
由于引入了度量，于是所谓的收敛，极限等概念接踵而至，并且可以有完备概念。
于是我们定义完备的内积空间为希尔伯特空间。
希尔伯特空间的例子
1，$C^n$为希尔伯特空间
对于这个我们甚至有有限维同构定理，不难看出这是个完备的内积空间
$V$是域$F$上的$n$维向量空间，则$V{\cong}F^n$
2，$L^2(\mu)$是希尔伯特空间，其上的内积定义为$(f,g)=\int_Xf\overline{g}d{\mu}$，这个是完备的，因为之前我们已经证明过了在该内积诱导的范数是完备的巴拿赫空间。并且我们对$1{\le}p<\infty$都是完备的
3，$[0,1]$上全体连续复函数的向量空间，若定义内积$(f,g)=\int^1_0f(t)\overline{g(t)}dt$是不完备的。
这里我们可以由$C_c(X)$在$L^p(\mu)$上稠可以看出，这其实是对$L^2(\mu)$稠的一个空间，但是这个空间完备化是$L^2$，而本空间并不完备。（在范数意义下，某些极限跑到了$L^2$中）
希尔伯特空间内的连续映射
对于给定的$y{\in}H$，映射$x{\to}(x,y),x{\to}(y,x),x{\to}\|x\|$是$H$的连续函数。
证明：$|(x_1,y)-(x_2,y)|=|(x_1-x_2,y)|{\le}\|x_1-x_2\|\|y\|$，这里用了施瓦茨不等式。
对于任意的$\varepsilon>0$，取$\delta<\frac{\varepsilon}{\|y\|},\|x_1-x_2\|<\delta$，有$|(x_1,y)-(x_2,y)|<\varepsilon$，这个证明需要一个辅助：
辅助：由三角不等式，有$\|x_2\|{\le}\|x_2-x_1\|+\|x_1\|$，于是有$\|x_2\|-\|x_1\|{\le}\|x_2-x_1\|$。
同理，有$\|x_1\|{\le}\|x_1-x_2\|+\|x_2\|$，于是有$\|x_1\|-\|x_2\|{\le}\|x_1-x_2\|$。也就是有$|\|x_1-x_2\||{\le}\|x_1-x_2\|$。
用这个辅助公式就饿可以直接证明所谓的$x{\to}\|x\|$是连续函数。
也就是有：范数是连续函数
子空间与凸集
子空间定义就很简单了，只需要保证是子集，并且对加法和数乘运算封闭即可。
并且对于子空间$M$在$H$中内积诱导出来的度量如果是闭集，那么定义$M$为闭子空间。
凸集：向量空间$V$中的集合$E$称之为凸集，如果$\forall t{\in}[0,1],\forall x,y{\in}E,\forall(1-t)x+ty{\in}E$，则称$E$为凸集（吸收集）
首先我们给出一个断论：$V$的每个子空间都是凸的。（关于线性封闭）
若$E$是凸的，则$E+x=\left\{y+x|y{\in}E\right\}$是凸的（平移也是凸）
直和分解
引入正交性，若$(x,y)=0$，则称$x$与$y$正交，记作$x{\perp}y$。
$x^{\perp}$表示$H$中与$x$正交的向量全体$:=\left\{y{\in}H|(x,y)=0\right\}$。
并且有$x^{\perp}$为$H$的子空间（验证关于加法和数乘封闭），当$H$为希尔伯特空间时，该子空间为闭的。
且有$M^{\perp}={\cap}_{x{\in}M}x^{\perp}$为闭子空间，关于可数交运算，闭和子这个性质是封闭的。
正交投影
$H$为希尔伯特空间，每一个非空闭凸集$E$都已含唯一的一个具有最小范数的元素（向量）
也就是
$$ \exists x_0{\in}E,s.t.\|x_0\|{\le}\|x\|,x{\in}E{\backslash}(\left\{x_0\right\}) $$
证明这个需要用到内积空间自然满足的平行四边形法则：
$$ \|x+y\|^2+\|x-y\|^2=2\|x\|^2+2\|y\|^2 $$
记$\delta=\inf{\|x\|:x{\in}E}$，由于$E$是闭的，$\delta{\in}E$是可以取到的，所以存在性可以证明，接下来证明唯一性。
首先有一个式子代入平行四边形法则有
$$ \frac{1}{4}\|x-y\|^2=\frac{1}{2}\|x\|^2+\frac{1}{2}\|y\|^2-\|\frac{x+y}{2}\|^2 $$
这里对$E$是凸集，则只需要取到$t=\frac{1}{2}$，我们知道$\frac{x+y}{2}$是属于$E$的。根据$\delta$存在性，并且放缩一下，我们有
$$ \|x-y\|^2={\le}2\|x\|^2+2\|y\|^2-4\delta $$
如果有$\|x\|=\|y\|=\delta$，则我们代入右边式子，有$\|x-y\|^2{\le}0$，于是推出$x=y$，也就证明了唯一性质。
这里的存在性不太严谨，补充一下。
$\delta$的定义表明了$E$中存在一个序列$\left\{y_n\right\}$，使得$n{\to}\infty$时候，有$\|y_n\|{\to}\delta$，在上面式子用$y_n$和$y_m$代替$x$和$y$，则当$n,m{\to}\infty$时，式子右边趋于0，这表示$\left\{y_n\right\}$是柯西列，于是因为是完备空间，柯西列必然收敛到一个点$x_0$，于是可以使得$\|y_n-x_0\|{\to}\infty$，又因为是闭集$E$，而且范数是连续函数，所以有
$$ \|x_0\|=\lim_{n{\to}\infty}\|y_n\|=\delta $$
正交投影
设$M$为希尔伯特空间$H$的子空间，我们有以下的正交投影分解
1，对每个$x{\in}H$，有唯一的$x=Px+Qx$，其中$Px{\in}M$，$Qx{\in}M^{\perp}$。
这里我们先给出一个断论，对于正交投影分解，$H=M{\oplus}M^{\perp}$,也就是对任意的$z{\in}H$，存在$y{\in}M^{\perp},x{\in}M$，使得$z=x+y$，并且有$M{\cap}M^{\perp}=\left\{0\right\}$。若$z{\in}M{\cap}M^{\perp}$，也就是有$(z,z)=0{\Rightarrow}z=0$。
2，$Px$与$Qx$分别为$M$与$M^{\perp}$中距$x$最近的元素
3，映射$P:H{\to}M$与$Q:H{\to}M^{\perp}$都是线性的
4，$\|x\|^2=\|Px\|^2+\|Qx\|^2$
推论：若$M\neq H$，则存在$y{\in}H(y\neq 0 ),s.t \quad y{\perp}M$，也就是$M^{\perp}$不空。
证明：唯一性：若有$x',x''{\in}M,y',y''{\in}M^{\perp}$，使得$x=x'+y'=x''+y''$，则有$x'-x''=y'-y''$，因为$M{\cap}M^{\perp}=\left\{0\right\}$，于是乎有$x'-x''=0=y'-y''$，也就是唯一性。
存在性：我们取到一个集合$x+M=\left\{x+y|y{\in}M\right\}$是闭凸子集(子空间是凸集，并且平移是凸集)
我们令$Qx$为$x+M$上具有最小范数的元素，这个由上面的定理可以保证。然后令$Px=x-Qx$则有$Px{\in}M$。
接下来我们证明$Qx{\in}M^{\perp}$，首先$Q:H{\to}M^{\perp}$，也就是对任意的$y{\in}M,(Qx,y)=0$。我们假设$\|y\|=1$，为了书写方便我们令$Qx=z$，然后我们有以下结论
$$ 0{\le}(z,z)=\|z\|^2{\le}\|z-\alpha{y}\|^2\\=(z-\alpha{y})(z-{\alpha}y) $$
这里用到了$Qx$为$x+M$上具有最小范数的元素，取到的$z-{\alpha}y$是$x+M$空间上的元素。
于是有了
$$ (z,z)-({\alpha}y,z)-(z,{\alpha}y)+({\alpha}z,{\alpha}z)=\|z\|^2-\alpha(y,z)={\overline{\alpha}}(z,y)+|\alpha|^2 $$
于是我们令$\alpha=(z,y)$立刻可以得到$\|{\alpha}\|{\le}0$，于是推出$\alpha=(z,y)=0$，也就证明了$Qx{\in}M^{\perp}$。
接下来我们证明这个最近的性质：
已经知道$Px{\in}M$，如果有$y{\in}M$，而这个$y$离$x$的距离是
$$ \|x-y\|^2=\|Qx+(Px-y)\|^2=\|Qx\|^2+\|Px-y\|^2 $$
这只有当$y=Px$时，这个取值最小。
同理对于$Qx{\in}M^{\perp}$，如果有$y{\in}M^{\perp}$，而这个$y$离$x$的距离是
$$ \|x-y\|^2=\|Px+(Qx-y)\|^2=\|Px\|^2+\|Qx-y\|^2 $$
这只有当$y=Qx$时，这个取值最小。
这里实际上是因为对与$Qx$是在$x+M$上范数最小，但是对与$M^{\perp}$是不是范数最小不确定，并且我们只知道前一个空间是包含于后一个空间的，但是空间取大，很难确定还有没有更小的元素存在。所以目前只能这么做出证明。
线性性质：
$$ {\alpha}x+{\beta}y=P({\alpha}x+{\beta}y)+Q({\alpha}x+{\beta}y)\\{\alpha}x+{\beta}y={\alpha}(Px+Qx)+{\beta}(Py+Qy) $$
联立两个式子，然后通过展开，把$P,Q$各放一边，则一边为$M$，另一边为$M^{\perp}$，这样可以得到元素为$0$。
$$ P({\alpha}x+{\beta}y)-{\alpha}Px-{\beta}Py={\alpha}Qx+{\beta}Qy-Q({\alpha}x+{\beta}y) $$
推论的证明：只需要知道$M\neq H$，于是存在$x{\in}H,但是x{\notin}M$，于是有$Px{\in}M,x{\notin}m$，但是令$y=Qx$，则有
$$ y=x-Px\neq 0 $$
于是$y$存在
里斯表示定理
若$L$为$H$上一个连续线性泛函，则存在唯一的$y{\in}H$，使得$Lx=(x,y)(x{\in}H)$，$L:H{\to}C$，并且是线性的。
证明：若$Lx=0(\forall x{\in}H)$，则取$y=0$就满足该性质
否则，我们有$Lx{\neq}0(\forall x{\in}H)$，于是可以定义$M=\left\{x:Lx=0\right\}$，$L$线性推出$M$是子空间（关于加法和数乘封闭），$L$连续推出$M$是闭集。所以得到了这个闭子空间。
然后由于$M\neq H$，于是由上述推论，存在$z{\in}M^{\perp},\|z\|=1,Lz\neq 0$。
也就是对任意的$x{\in}H$，我们令$y=x-{\lambda}z$（这里的$\lambda$暂时待定），然后我们就有了
$$ Ly=Lx-L{\lambda}z $$
取到$\lambda=\frac{Lx}{Lz}$，也就推出了$Ly=0$，也就是$y{\in}M$。
我们令$x=y+{\lambda}z$这是个正交投影分解，然后我们得出一个结论$dim(M^{\perp})=1$
$$ (x,z)=(y,z)+(\lambda{z},z)=\lambda(z,z)={\lambda}\\Lx={\lambda}z=(x,z)Lz=(x,\overline{Lz}z) $$
这里我们是令$y={\overline{Lz}}z$。于是就做到了$Lx=(x,y)(x{\in}H)$。
唯一性：若对所有的$x{\in}H,(x,y)=(x,y')$，我们令$z=y-y'$，则对所有的$x{\in}H$，有$(x,z)=0$，特别地对于$(z,z)=0$，可以推出$z=0$，于是有$y=y'$，唯一性证毕。
