PLS1和lanczos的联系

经典的NIPALS流程如下
for $a=1:A,$ (A-the number of components to be extracted)

1. ${\mathbf{v}}_a={\mathbf{X}}_{a-1}^t\mathbf{y}$
2. ${\mathbf{w}}_a={\mathbf{v}}_a/\Vert {\mathbf{v}}_a\Vert$
3. ${\mathbf{\tau }}_a={\mathbf{X}}_{a-1}{\mathbf{w}}_a$
4. ${\mathbf{t}}_a={\mathbf{\tau }}_a/\Vert {\mathbf{\tau }}_a\Vert$
5. ${\mathbf{p}}_a={\mathbf{X}}_{a-1}^t{\mathbf{t}}_a$
6. ${\mathbf{x}}_a={\mathbf{X}}_{a-1}-{\mathbf{t}}_a{\mathbf{p}}_a^t$ (the deflation step)
7. $q_a={\mathbf{t}}_a^t\mathbf{y}$

end
$\mathbf{T}=\left[{\mathbf{t}}_1{\mathbf{t}}_2\dots {\mathbf{t}}_A\right]$ (the orthonormal scores)
$\mathbf{W}=\left[{\mathbf{w}}_1{\mathbf{w}}_2\dots {\mathbf{w}}_A\right]$ (the orthonormal weights)
$\mathbf{P}=\left[{\mathbf{p}}_1{\mathbf{p}}_2\dots {\mathbf{p}}_A\right]$ (the matrix of $\mathbf{X}$ -loadings)
${\mathbf{q}}^t=\left[q_1{q}_2\dots q_A\right]$ (the vector of $\mathbf{y}$ -loadings)
PLS1的系数计算
$$y=Tq$$我们希望得到T如何用$X_0$表达
假设有$T=X_0{W}^{\ast }$,显然,$w_a^{\ast }$可以和$w_1,\cdots ,w_{a-1}$关于$X_0^T{X}_0$共轭得到
观察以下常用的计算公式
$${\mathbf{\beta }}_{PLS}=\mathbf{W}{\left({\mathbf{P}}^t\mathbf{W}\right)}^{-1}\mathbf{q}$$

可以得出
$${\mathbf{W}}^{\ast }=\mathbf{W}{\left({\mathbf{P}}^t\mathbf{W}\right)}^{-1}$$

$\mathbf{v}$或者$\mathbf{w}$两两正交，但并非关于${\mathbf{X}}_0^{\mathbf{T}}{\mathbf{X}}_0$共轭，即${\mathbf{X}}_0{\mathbf{w}}_{\mathbf{i}}$之间并不存在正交关系。

令${\mathbf{\tau }}_a^{\ast }={\mathbf{X}}_0{\mathbf{w}}_a$，${\mathbf{\tau }}_a^{\ast }$ 需要与span{t1,⋯ ,ta−1}span\{t_1,\cdots,t_{a-1}\}span{t1​,⋯,ta−1​}经过一个 Gram–Schmidt 正交化得到 $t_a$

${{\mathbf{y}}^{\mathbf{T}}\mathbf{X}}_a={{\mathbf{y}}^{\mathbf{T}}\mathbf{X}}_{a-1}-{{\mathbf{y}}^{\mathbf{T}}\mathbf{t}}_a{\mathbf{p}}_a^T\to {\mathbf{v}}_{a+1}^T={\mathbf{v}}_a^T-{\mathbf{v}}_a^T{w}_a{p}_a^T/||{\mathbf{\tau }}_a||\to$
$v_{a+1}=v_a-\frac{||v_a||}{||{\tau }_a||}{p}_a$

我们可以发现，不用再去计算残差，只需要去迭代就能计算出权值

做一些简单的变换可以得到
$${\mathbf{p}}_a=\Vert {\mathbf{\tau }}_a\Vert \left({\mathbf{w}}_a-\frac{\Vert {\mathbf{v}}_{a+1}\Vert }{\Vert {\mathbf{v}}_a\Vert }{\mathbf{w}}_{a+1}\right),a=1,\dots ,A<m$$
$$\mathbf{P}={\mathbf{W}}_{+}{\mathbf{B}}_2$$
$W_{+}=[W{w}_{a+1}]$

$W^{\ast }(P^{T}W)=W$

由此，得到$W^{\ast }\to W$，是基于双对角的lanczos正交化方法

参考： The geometry of PLS1 explained properly