Appendix A — 補遺

数学的な補足を記す。

A.1 線型問題

線型問題は\(\mathbf{y} = \mathbf{Hx}\)と表せる。測定ベクトル\(\mathbf{y}\)の長さ\(m\)で、状態ベクトル\(\mathbf{x}\)の長さは\(n\)である。 線型演算子\(\mathbf{H}\)は状態空間を測定空間に射影する\(m\times n\)の実行列である。 \[ \begin{bmatrix} y_1\\ y_2\\ \vdots\\ y_m \end{bmatrix} = \begin{bmatrix} H_{11} & H_{12} & \dots & H_{1n}\\ H_{21} & H_{22} & \dots & H_{2n}\\ \vdots & \vdots & \ddots & \vdots\\ H_{m1} & H_{m2} & \dots & H_{mn}\\ \end{bmatrix} \begin{bmatrix} x_1\\ x_2\\ \vdots\\ x_n \end{bmatrix} \tag{A.1}\]

問題は、情報量に応じて分類される。 \(m < n\)のとき劣決定（underdetermined）、\(m > n\)のとき優決定（overdetermined）という。 劣決定と優決定は背反ではなく、あるパラメタに対しては優決定でも別のパラメタに対しては劣決定であることもあり、これを混合決定（mixed-determined）という。

A.2 様々な行列

正則（regular）行列: \(\mathbf{AA}^{-1} = \mathbf{A}^{-1}\mathbf{A} = \mathbf{I}_n\)となる行列

正規（normal）行列: \(\mathbf{AA}^* = \mathbf{A}^*\mathbf{A}\)

ユニタリ（unitary）行列: \(\mathbf{UU}^* = \mathbf{U}^*\mathbf{U} = \mathbf{I}_n\)、\(\mathbf{U}^{-1} = \mathbf{U}^*\)。実数の場合は直交（orthogonal）行列という。

エルミート（Hermitian）行列: \(\mathbf{A}^* = \mathbf{A}\)。実数の場合は対称（symmetric）行列という。

グラム（Gram）行列: ベクトル\(\mathbf{u}_1, \mathbf{u}_2, \dots, \mathbf{u}_n \in \mathbb{C}\)に対して 要素がベクトルの内積で表される行列。 \[ \mathbf{G} = \begin{pmatrix} \mathbf{u}_1^*\mathbf{u}_1 & \dots & \mathbf{u}_n^*\mathbf{u}_1\\ \vdots & \ddots & \vdots\\ \mathbf{u}_1^*\mathbf{u}_n & \dots & \mathbf{u}_n^*\mathbf{u}_n \end{pmatrix} = \mathbf{U}^*\mathbf{U} \] ここで \(\mathbf{U} = \begin{pmatrix}\mathbf{u}_1 & \mathbf{u}_2 & \dots & \mathbf{u}_n\end{pmatrix}\)である。 グラム行列はエルミート行列で、半正定値、\(\det \mathbf{G} \ge 0\)である。

A.3 行列の定値性

正定値 \[ \mathbf{x}^\mathrm{T}\mathbf{A}\mathbf{x} > 0 \] 半正定値 \[ \mathbf{x}^\mathrm{T}\mathbf{A}\mathbf{x} \ge 0 \]

A.4 ベクトル空間

バナッハ（Banach）空間
ノルムが定める距離が完備である線型空間。
ソボレフ（Sobolev）空間
函数と\(k\)階までの弱微分が\(L^p\)ノルムに属する空間でバナッハ空間の一部。
ヒルベルト（Hilbert）空間
バナッハ空間の特別な場合で内積が定義できる。\(L^2\)のソボレフ空間。内積から導かれるノルムで完備であり、ベクトル同士の角度を考えることができる。ユークリッド空間とは異なり、無限次元。
ヘルダー（Hölder）空間
函数が\(k\)階微分可能で、以下のヘルダー条件を満たす。 \[ |f(x) - f(y)| \le C|x - y|^\alpha \] ここで\(0 < \alpha \le 1\)。

A.5 微分

弱微分（weak derivative）
ソボレフ空間や偏微分方程式の理論に用いられる微分の一般化。積分等式 \[ \int u\frac{\partial\phi}{\partial x}\mathrm{d}x = -\int v\phi\mathrm{d}x \] が成り立つとき、\(v\)は\(u\)の\(x\)に関する弱微分という。
劣微分（subdifferential）
凸解析における概念で最適化に用いられる。函数\(f: \mathbb{R}^n\rightarrow\mathbb{R}\)が凸であれば、 \[ f(\mathbf{y}) \ge f(\mathbf{x}) + \langle \mathbf{v},\,\mathbf{y} - \mathbf{x}\rangle\;\mathbf{y}\in \mathbb{R}^n \] を満たす\(\mathbf{v} \in \mathbb{R}^n\)の集合を\(\mathbf{x}\)における劣微分\(\partial f(\mathbf{x})\)という。
ガトー（Gâteaux）微分
バナッハ空間等のノルム空間に拡張した方向微分。方向\(v\)に対して \[ \lim_{t\rightarrow 0} \frac{f(x + tv) - f(x)}{t} \] を函数\(f: X\rightarrow Y\)の\(x\)における方向\(v\)へのガトー微分という。 全ての方向に微分可能とは限らず、線型とは限らない。
フレシェ（Fréchet）微分
次を満たす線型写像\(A: X \rightarrow X\)を、函数\(f: X\rightarrow Y\)の\(x\)におけるフレシェ（Fréchet）微分という。 \[ \lim_{\|h\|\rightarrow 0}\frac{\|f(x + h) - f(x) - A(h)\|}{\|h\|} = 0 \] \(\partial\mathbf{y}/\partial\mathbf{x}\)は、通常次の規約が用いられる。 \[ \left[\frac{\partial\mathbf{y}}{\partial\mathbf{x}}\right]_{ij} = \left(\frac{\partial y_i}{\partial x_j}\right) \] \(\mathbf{y}\)は行の添字、\(\mathbf{x}\)は列の添字に関連付けられ、テイラー展開は「右を見て」 \[ \mathbf{y} = \mathbf{y}_0 + \frac{\partial\mathbf{y}}{\partial\mathbf{x}}(\mathbf{x} - \mathbf{x}_0) + \dots \] のように書ける。

A.6 逆行列

Woodburyの公式 (Golub and Van Loan 2013)

\[ (\mathbf{A} + \mathbf{UBV})^{-1} = \mathbf{A}^{-1} - \mathbf{A}^{-1}\mathbf{U}(\mathbf{B}^{-1} + \mathbf{VA}^{-1}\mathbf{U})^{-1}\mathbf{VA}^{-1} \]

A.7 擬逆行列

一般化行列（generalized inverse）は非特異な正方行列の逆行列を拡張したもので、多数存在する。 一般化行列の一つで有用なものが擬逆行列（pseudoinverse）である。 行列 \(\mathbf{A} \in \mathbb{C}^{m\times n}\)の擬逆行列\(\mathbf{X}\)は、 以下のMoore-Penrose条件を満たすものである。

  1. \(\mathbf{AXA} = \mathbf{A}\)
  2. \(\mathbf{XAX} = \mathbf{X}\)
  3. \((\mathbf{AX})^* = \mathbf{AX}\)
  4. \((\mathbf{XA})^* = \mathbf{XA}\)

ここで上付の\(*\)は複素共軛を表す。 \(\mathbf{X}\) は唯一に定まることが示されている。 擬逆行列を\(\mathbf{A}^+\)または\(\mathbf{A}^\dagger\)で表す。

優決定または劣決定の線型方程式系\(\mathbf{A}\mathbf{x} = \mathbf{b}\)の最小2ノルム最小二乗解は擬逆行列で表され、 \(\mathbf{x} = \mathbf{A}^+\mathbf{b}\) は \(\|\mathbf{Ax}-\mathbf{b}\|\)を最小化する。

擬逆行列は特異値分解 \(\mathbf{A} = \mathbf{U}\boldsymbol\Sigma\mathbf{V}^*\)で表すことができる。 ここで\(m\times m\)の\(\mathbf{U}\)及び\(n\times n\)の\(\mathbf{V}\)はユニタリ行列である。 \(m\times n\)行列\(\boldsymbol\Sigma = \mathrm{diag}(\sigma_1, \dots \sigma_p),\,p = \min(m, n)\)で、\(\sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_r > 0\)、\(\sigma_{r+1} = \dots = \sigma_p = 0\) である。 擬逆行列は特異値分解を用いて次のように表される。

\[ \mathbf{A}^+ = \mathbf{V}\boldsymbol\Sigma^+\mathbf{U}^* \tag{A.2}\]

ここで、\(n\times m\)行列\(\boldsymbol\Sigma^+=\mathrm{diag}(\sigma_1^{-1},\dots,\sigma_r^{-1},0,\dots,0)\)である。 特異値分解を用いると、Moore-Penroseの条件を確認することができる。

Equation A.2 より\((\mathbf{A}^+)^+ = \mathbf{A}\)及び\((\mathbf{A}^*)^+ = (\mathbf{A}^+)^*\)導かれる。

\(\mathbf{A}\)が列完全階数（full rank）すなわち\(\mathrm{rank}(A) = n \le m\)（縦長）のとき \[ \mathbf{A}^+ = (\mathbf{A}^*\mathbf{A})^{-1}\mathbf{A}^* \] となる。 このとき\(\mathbf{A}^+\mathbf{A} = \mathbf{I}_n\)である。 これは、標本数\(m\)が自由度\(n\)よりも大きいときの最小二乗解に対応する。

同様に\(\mathbf{A}\)が行完全階数（full rank）すなわち\(\mathrm{rank}(A) = m \le n\)（横長）のとき \[ \mathbf{A}^+ = \mathbf{A}^*(\mathbf{A}\mathbf{A}^*)^{-1} \] となる。 このとき\(\mathbf{A}\mathbf{A}^+ = \mathbf{I}_m\)である。 これは、標本数\(m\)が自由度\(n\)よりも小さいときの最小ノルム解に対応する。