露分け


多変数正規分布

2026-01-11

複数の確率変数を表すためベクトルを使う。$\overrightarrow{X}=(X_{1},X_{2},\cdots,X_{n})^{\mathrm{T}}$なるベクトルを確率ベクトルとする。これは各々独立であり標準正規分布に従うとする。一変数の場合の標準正規分布は \[ f(x_{i})=\frac{1}{\sqrt{2\pi}}\exp \left( -\frac{x_{i}^{2}}{2} \right) \] であり \[ \sum_{i=1}^{n} x_{i}^{2} = x_{1}^{2}+x_{2}^{2}+\cdots+x_{n}^{2}=\overrightarrow{x}^{\mathrm{T}} \overrightarrow{x} \] であることから、多変数での標準正規分布を一変数の標準正規分布の積で定義する。これは \[ f(\overrightarrow{x}) =\prod_{i=1}^{n}f(x_{i}) =\frac{1}{(2\pi)^{n/2}} \exp \left( -\frac{1}{2} \overrightarrow{x}^{\mathrm{T}} \overrightarrow{x} \right) \] となる。標準正規分布とは平均が零であり、分散が一である。これは多変数の場合でも成り立つ。 このことは次のように確かめられる。 \begin{align} \int f(\overrightarrow{x}) \mathrm{d} \overrightarrow{x} &=\int\prod_{i=1}^{n}f(x_{i}) \mathrm{d}x_{1}\mathrm{d}x_{2}\cdots \mathrm{d}x_{n} \notag\\ &= \int_{-\infty}^{\infty} f(x_{1}) \mathrm{d}x_{1} \int_{-\infty}^{\infty} f(x_{2}) \mathrm{d}x_{2} \cdots \int_{-\infty}^{\infty} f(x_{n}) \mathrm{d}x_{n} \notag\\ &=1\cdot1\cdots 1\notag\\ &=1\notag \end{align} 計算過程から分かるように$\mathrm{d} \overrightarrow{x}$は $\int \int \cdots \int \mathrm{d}x_{1}\mathrm{d}x_{2}\cdots \mathrm{d}x_{n}$の略とした。以下、積分区間を省略する。続いて或る$x_{i}$について期待値を計算する。 \begin{align} E_{\overrightarrow{X}}[X_{i}] &=\int x_{i} f(\overrightarrow{x})\mathrm{d}\overrightarrow{x}\notag\\ &=\int f(x_{1})\mathrm{d}x_{1} \int f(x_{2})\mathrm{d}x_{2} \cdots \int x_{i} f(x_{i})\mathrm{d}x_{i} \cdots \int f(x_{n})\mathrm{d}x_{n}\notag\\ &=1\cdot1\cdots E_{X_{i}}[X_{i}]\cdots1\notag\\ &=E_{X_{i}}[X_{i}]\notag\\ &=0\notag \end{align} となり、分散は \begin{align} V_{\overrightarrow{X}}[X_{i}] &=\int (x_{i}-0)^{2} f(\overrightarrow{x})\mathrm{d}\overrightarrow{x}\notag\\ &=\int f(x_{1})\mathrm{d}x_{1} \int f(x_{2})\mathrm{d}x_{2} \cdots \int x_{i}^{2} f(x_{i})\mathrm{d}x_{i} \cdots \int f(x_{n})\mathrm{d}x_{n}\notag\\ &=1\cdot1\cdots V_{X_{i}}[X_{i}]\cdots1\notag\\ &= V_{X_{i}}[X_{i}]\notag\\ &=1\notag \end{align} となる。共分散は \begin{align} \mathrm{Cov}_{\overrightarrow{X}}[X_{i},X_{j}] &=\int (x_{i}-E_{X_{i}}[X_{i}])(x_{j}-E_{X_{j}}[X_{j}]) f(\overrightarrow{x})\mathrm{d}\overrightarrow{x}\notag\\ &=\int f(x_{1})\mathrm{d}x_{1} \int f(x_{2})\mathrm{d}x_{2} \cdots \int (x_{i}-0) f(x_{i})\mathrm{d}x_{i} \cdots \int (x_{j}-0) f(x_{j})\mathrm{d}x_{j} \int f(x_{n})\mathrm{d}x_{n}\notag\\ &=1\cdot1\cdots E_{X_{i}}[X_{i}]\cdots E_{X_{j}}[X_{j}]\cdots1\notag\\ &=E_{X_{i}}[X_{i}]E_{X_{j}}[X_{j}]\notag\\ &=0\notag \end{align} となる。期待値を纏めて表すために期待値ベクトルを \begin{align} E_{\overrightarrow{X}}[\overrightarrow{X}] =\begin{pmatrix} E_{\overrightarrow{X}}[X_{1}] \\ E_{\overrightarrow{X}}[X_{2}] \\ \vdots \\ E_{\overrightarrow{X}}[X_{n}] \end{pmatrix} \notag \end{align} と定義する。これは先程の計算より零ベクトルである。続いて分散、共分散を纏めて表すために分散共分散行列を 行列の期待値を \begin{align} V_{\overrightarrow{X}} \left[\overrightarrow{X}\right] := E_{\overrightarrow{X}}\left[ \left(\overrightarrow{X}-E_{\overrightarrow{X}}[\overrightarrow{X}]\right) \left(\overrightarrow{X}-E_{\overrightarrow{X}}[\overrightarrow{X}]\right)^{\mathrm{T}} \right] \notag \end{align} と定義する。この括弧の中のベクトルと転置ベクトルの積は、$E_{\overrightarrow{X}}[\overrightarrow{X}]= \overrightarrow{0}$であることより \begin{align} \left(\overrightarrow{X}-E_{\overrightarrow{X}}[\overrightarrow{X}]\right) \left(\overrightarrow{X}-E_{\overrightarrow{X}}[\overrightarrow{X}]\right)^{\mathrm{T}} &= \left(\overrightarrow{X}-\overrightarrow{0}\right) \left(\overrightarrow{X}-\overrightarrow{0}\right)^{\mathrm{T}} \notag\\ &= \overrightarrow{X} \overrightarrow{X}^{\mathrm{T}} \notag\\ &= \begin{pmatrix} X_{1} \\ X_{2} \\ \vdots \\ X_{n} \\ \end{pmatrix} \begin{pmatrix} X_{1} & X_{2} & \cdots & X_{n} & \end{pmatrix} \notag\\ &= \begin{pmatrix} X_{1}X_{1} & X_{1}X_{2} & \cdots & X_{1}X_{n} \\ X_{2}X_{1} & X_{2}X_{2} & \cdots & X_{2}X_{n} \\ \vdots & \vdots & \ddots & \vdots \\ X_{n}X_{1} & X_{n}X_{2} & \cdots & X_{n}X_{n}\\ \end{pmatrix}\notag \end{align} と計算できるため \begin{align} V_{\overrightarrow{X}} \left[\overrightarrow{X}\right] &= \begin{pmatrix} E_{\overrightarrow{X}}[X_{1}X_{1}] & E_{\overrightarrow{X}}[X_{1}X_{2}] & \cdots & E_{\overrightarrow{X}}[X_{1}X_{n}]\\ E_{\overrightarrow{X}}[X_{2}X_{1}] & E_{\overrightarrow{X}}[X_{2}X_{2}] & \cdots & E_{\overrightarrow{X}}[X_{2}X_{n}]\\ \vdots & \vdots & \ddots & \vdots \\ E_{\overrightarrow{X}}[X_{n}X_{1}] & E_{\overrightarrow{X}}[X_{n}X_{2}] & \cdots & E_{\overrightarrow{X}}[X_{n}X_{n}]\\ \end{pmatrix}\notag\\ &=\begin{pmatrix} V_{\overrightarrow{X}}[X_{1}] & \mathrm{Cov}_{\overrightarrow{X}}[X_{1},X_{2}] & \cdots & \mathrm{Cov}_{\overrightarrow{X}}[X_{1},X_{n}]\\ \mathrm{Cov}_{\overrightarrow{X}}[X_{1},X_{2}] & V_{\overrightarrow{X}}[X_{2}] & \cdots & \mathrm{Cov}_{\overrightarrow{X}}[X_{2},X_{n}]\\ \vdots & \vdots &\ddots & \vdots \\ \mathrm{Cov}_{\overrightarrow{X}}[X_{1},X_{n}] & \mathrm{Cov}_{\overrightarrow{X}}[X_{2},X_{n}]& \cdots &V_{\overrightarrow{X}}[X_{n}] \\ \end{pmatrix} \notag\\ &= \begin{pmatrix} 1 & 0 & \cdots & 0 \\ 0 & 1 & \cdots & 0 \\ \vdots & \vdots &\ddots & \vdots \\ 0 & 0 & \cdots & 1 \\ \end{pmatrix} \notag\\ &= I\ \ \ (\text{単位行列}) \notag \end{align} となる。この確率変数$\overrightarrow{X}$を \[ \overrightarrow{X}=S^{-1}(\overrightarrow{Y}-\overrightarrow{m}) \] と変換する。この$\overrightarrow{Y}$については独立を前提としない。また$\overrightarrow{m},S$は$x,y$に依存しない実数定数からなるとする。この$\overrightarrow{Y}$の期待値ベクトル、分散共分散行列を求める。まず$\overrightarrow{X}$の期待値ベクトル \begin{align} E_{\overrightarrow{X}}[\overrightarrow{X}] &= \int \overrightarrow{x}f_{\overrightarrow{X}}(\overrightarrow{x}) \mathrm{d}\overrightarrow{x}\notag \end{align} は既に計算したように零ベクトルである。このことを踏まえたうえで右辺を計算する。ここではヤコブ行列を \begin{align} J\left( \frac{\partial\overrightarrow{y}}{\partial\overrightarrow{x}} \right) := \begin{pmatrix} \frac{\partial y_{1}}{\partial x_{1}} & \frac{\partial y_{1}}{\partial x_{2}} & \cdots & \frac{\partial y_{1}}{\partial x_{n}} \\ \frac{\partial y_{2}}{\partial x_{1}} & \frac{\partial y_{2}}{\partial x_{2}} & \cdots & \frac{\partial y_{2}}{\partial x_{n}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial y_{n}}{\partial x_{1}} & \frac{\partial y_{n}}{\partial x_{2}} & \cdots & \frac{\partial y_{n}}{\partial x_{n}} \\ \end{pmatrix}\notag \end{align} と表すことにする。また、この定義から \begin{align} J\left( \frac{\partial\overrightarrow{x}}{\partial\overrightarrow{y}} \right) = \begin{pmatrix} \frac{\partial x_{1}}{\partial y_{1}} & \frac{\partial x_{1}}{\partial y_{2}} & \cdots & \frac{\partial x_{1}}{\partial y_{n}} \\ \frac{\partial x_{2}}{\partial y_{1}} & \frac{\partial x_{2}}{\partial y_{2}} & \cdots & \frac{\partial x_{2}}{\partial y_{n}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial x_{n}}{\partial y_{1}} & \frac{\partial x_{n}}{\partial y_{2}} & \cdots & \frac{\partial x_{n}}{\partial y_{n}} \\ \end{pmatrix}\notag \end{align} である。$J(\partial\overrightarrow{y}/\partial\overrightarrow{x})$を求める。$y_{1}$は \[ y_{1}=m_{1}+S_{11}x_{1}+S_{12}x_{2}+\cdots+S_{1n}x_{n} \] であるため$(1,1)$成分は \[ \frac{\partial y_{1}}{\partial x_{1}}=0+S_{11}+0+\cdots+0=S_{11} \] であり、$(1,2)$成分は \[ \frac{\partial y_{1}}{\partial x_{2}}=S_{12} \]である。これは一般に \[ y_{i}=m_{i}+S_{i1}x_{1}+S_{i2}x_{2}+\cdots+S_{in}x_{n} \] であるため \[ \frac{\partial y_{i}}{\partial x_{j}}=S_{ij} \] と計算できる。このことから \begin{align} J\left( \frac{\partial\overrightarrow{y}}{\partial\overrightarrow{x}} \right) = \begin{pmatrix} \frac{\partial y_{1}}{\partial x_{1}} & \frac{\partial y_{1}}{\partial x_{2}} & \cdots & \frac{\partial y_{1}}{\partial x_{n}} \\ \frac{\partial y_{2}}{\partial x_{1}} & \frac{\partial y_{2}}{\partial x_{2}} & \cdots & \frac{\partial y_{2}}{\partial x_{n}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial y_{n}}{\partial x_{1}} & \frac{\partial y_{n}}{\partial x_{2}} & \cdots & \frac{\partial y_{n}}{\partial x_{n}} \\ \end{pmatrix} = \begin{pmatrix} S_{11} & S_{12} & \cdots & S_{1n} \\ S_{21} & S_{22} & \cdots & S_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ S_{n1} & S_{n2} & \cdots & S_{nn} \\ \end{pmatrix}\notag =S \end{align} となる。この行列に逆行列があるとき \[ I=SS^{-1} \] が成り立つ。これに$J(\partial\overrightarrow{y}/\partial\overrightarrow{x})$を代入すると \[ I= J\left( \frac{\partial\overrightarrow{y}}{\partial\overrightarrow{x}} \right) J\left( \frac{\partial\overrightarrow{y}}{\partial\overrightarrow{x}} \right) ^{-1} \] である。この$J(\partial\overrightarrow{y}/\partial\overrightarrow{x})^{-1}$は \begin{align} J\left( \frac{\partial\overrightarrow{y}}{\partial\overrightarrow{x}} \right) ^{-1}= J\left( \frac{\partial\overrightarrow{x}}{\partial\overrightarrow{y}} \right) = \begin{pmatrix} \frac{\partial x_{1}}{\partial y_{1}} & \frac{\partial x_{1}}{\partial y_{2}} & \cdots & \frac{\partial x_{1}}{\partial y_{n}} \\ \frac{\partial x_{2}}{\partial y_{1}} & \frac{\partial x_{2}}{\partial y_{2}} & \cdots & \frac{\partial x_{2}}{\partial y_{n}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial x_{n}}{\partial y_{1}} & \frac{\partial x_{n}}{\partial y_{2}} & \cdots & \frac{\partial x_{n}}{\partial y_{n}} \\ \end{pmatrix}\notag \end{align} が成り立つ。これは次の計算結果から確かめられる。上記の式が成り立つことを前提とすると、積は \begin{align} J\left( \frac{\partial\overrightarrow{y}}{\partial\overrightarrow{x}} \right) J\left( \frac{\partial\overrightarrow{x}}{\partial\overrightarrow{y}} \right) &= \begin{pmatrix} \frac{\partial y_{1}}{\partial x_{1}} & \frac{\partial y_{1}}{\partial x_{2}} & \cdots & \frac{\partial y_{1}}{\partial x_{n}} \\ \frac{\partial y_{2}}{\partial x_{1}} & \frac{\partial y_{2}}{\partial x_{2}} & \cdots & \frac{\partial y_{2}}{\partial x_{n}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial y_{n}}{\partial x_{1}} & \frac{\partial y_{n}}{\partial x_{2}} & \cdots & \frac{\partial y_{n}}{\partial x_{n}} \\ \end{pmatrix} \begin{pmatrix} \frac{\partial x_{1}}{\partial y_{1}} & \frac{\partial x_{1}}{\partial y_{2}} & \cdots & \frac{\partial x_{1}}{\partial y_{n}} \\ \frac{\partial x_{2}}{\partial y_{1}} & \frac{\partial x_{2}}{\partial y_{2}} & \cdots & \frac{\partial x_{2}}{\partial y_{n}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial x_{n}}{\partial y_{1}} & \frac{\partial x_{n}}{\partial y_{2}} & \cdots & \frac{\partial x_{n}}{\partial y_{n}} \\ \end{pmatrix}\notag \end{align} であり、 この$J(\partial\overrightarrow{y}/\partial\overrightarrow{x})$の$i$行と$J(\partial\overrightarrow{x}/\partial\overrightarrow{y})$の$j$列との積は \begin{align} \begin{pmatrix} \frac{\partial y_{i}}{\partial x_{1}} & \frac{\partial y_{i}}{\partial x_{2}} & \cdots & \frac{\partial y_{i}}{\partial x_{n}} \\ \end{pmatrix} \begin{pmatrix} \frac{\partial x_{1}}{\partial y_{j}} \\ \frac{\partial x_{2}}{\partial y_{j}}\\ \vdots \\ \frac{\partial x_{n}}{\partial y_{j}}\\ \end{pmatrix} = \frac{\partial y_{i}}{\partial x_{1}}\frac{\partial x_{1}}{\partial y_{j}}+ \frac{\partial y_{i}}{\partial x_{2}}\frac{\partial x_{2}}{\partial y_{j}}+ \cdots+ \frac{\partial y_{i}}{\partial x_{n}}\frac{\partial x_{n}}{\partial y_{j}} = \frac{\partial y_{i}} {\partial y_{j}}\notag \end{align} である。$i\neq j$のとき$\partial y_{i}/\partial y_{j}=0$であり、$i=j$のとき$\partial y_{i}/\partial y_{j}=1$である。このことから積は \[ J\left( \frac{\partial\overrightarrow{y}}{\partial\overrightarrow{x}} \right) J\left( \frac{\partial\overrightarrow{x}}{\partial\overrightarrow{y}} \right) =I \] と単位行列になることが分かる。このことから$J(\partial\overrightarrow{x}/\partial\overrightarrow{y})$の逆行列は$J(\partial\overrightarrow{y}/\partial\overrightarrow{x})$である。この結果から \[ J\left( \frac{\partial\overrightarrow{x}}{\partial\overrightarrow{y}} \right) ^{-1}= J\left( \frac{\partial\overrightarrow{y}}{\partial\overrightarrow{x}} \right) =S \] であり、この逆行列は \[ J\left( \frac{\partial\overrightarrow{y}}{\partial\overrightarrow{x}} \right) ^{-1} = J\left( \frac{\partial\overrightarrow{x}}{\partial\overrightarrow{y}} \right) =S^{-1} \] である。また行列の積の行列式は行列式の積になるため \begin{align} \det I &= \det\left( J\left( \frac{\partial\overrightarrow{y}}{\partial\overrightarrow{x}} \right) J\left( \frac{\partial\overrightarrow{x}}{\partial\overrightarrow{y}} \right) \right)\notag\\ 1 &= \det J\left( \frac{\partial\overrightarrow{y}}{\partial\overrightarrow{x}} \right) \det J\left( \frac{\partial\overrightarrow{x}}{\partial\overrightarrow{y}} \right) \notag\\ \frac{1}{\det J(\partial\overrightarrow{y}/\partial\overrightarrow{x})}& = \det J\left( \frac{\partial\overrightarrow{x}}{\partial\overrightarrow{y}} \right) \notag\\ \frac{1}{\det S} &= \det \left(S^{-1}\right) \notag \end{align} とも書ける。以上より \[ \left| J\left( \frac{\partial\overrightarrow{x}}{\partial\overrightarrow{y}}\right) \right| =|\det \left(S^{-1}\right)| = \frac{1}{|\det S|} \] である。続いて行列の積分の線形性 $\int A \overrightarrow{x} f(\overrightarrow{x}) \mathrm{d} \overrightarrow{x} =A \int \overrightarrow{x} f(\overrightarrow{x}) \mathrm{d} \overrightarrow{x}$を示す。これは \begin{align} \int A \overrightarrow{x} f(\overrightarrow{x}) \mathrm{d} \overrightarrow{x} &= \int \begin{pmatrix} A_{11} & A_{12} & \cdots & A_{1n} \\ A_{21} & A_{22} & \cdots & A_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ A_{n1} & A_{n2} & \cdots & A_{nn} \\ \end{pmatrix} \begin{pmatrix} x_{1} \\ x_{2} \\ \vdots \\ x_{n} \\ \end{pmatrix} f(\overrightarrow{x}) \mathrm{d} \overrightarrow{x} \notag\\ &= \int \begin{pmatrix} A_{11}x_{1} + A_{12}x_{2} + \cdots + A_{1n}x_{n} \\ A_{21}x_{1} + A_{22}x_{2} + \cdots + A_{2n}x_{n} \\ \vdots \\ A_{n1}x_{1} + A_{n2}x_{2} + \cdots + A_{nn}x_{n} \\ \end{pmatrix} f(\overrightarrow{x})\mathrm{d} \overrightarrow{x} \notag\\ &= \begin{pmatrix} \int(A_{11}x_{1} + A_{12}x_{2} + \cdots + A_{1n}x_{n})f(\overrightarrow{x})\mathrm{d} \overrightarrow{x} \\ \int(A_{21}x_{1} + A_{22}x_{2} + \cdots + A_{2n}x_{n})f(\overrightarrow{x})\mathrm{d} \overrightarrow{x} \\ \vdots \\ \int(A_{n1}x_{1} + A_{n2}x_{2} + \cdots + A_{nn}x_{n})f(\overrightarrow{x})\mathrm{d} \overrightarrow{x} \\ \end{pmatrix} \notag\\ &= \begin{pmatrix} A_{11}\int x_{1} f(\overrightarrow{x})\mathrm{d} \overrightarrow{x} + A_{12}\int x_{2} f(\overrightarrow{x})\mathrm{d} \overrightarrow{x} + \cdots + A_{1n}\int x_{n} f(\overrightarrow{x})\mathrm{d} \overrightarrow{x} \\ A_{21}\int x_{1} f(\overrightarrow{x})\mathrm{d} \overrightarrow{x} + A_{22}\int x_{2} f(\overrightarrow{x})\mathrm{d} \overrightarrow{x} + \cdots + A_{2n}\int x_{n} f(\overrightarrow{x})\mathrm{d} \overrightarrow{x} \\ \vdots \\ A_{n1}\int x_{1} f(\overrightarrow{x})\mathrm{d} \overrightarrow{x} + A_{n2}\int x_{2} f(\overrightarrow{x})\mathrm{d} \overrightarrow{x} + \cdots + A_{nn}\int x_{n} f(\overrightarrow{x})\mathrm{d} \overrightarrow{x} \\ \end{pmatrix} \notag\\ &= \begin{pmatrix} A_{11} & A_{12} & \cdots & A_{1n} \\ A_{21} & A_{22} & \cdots & A_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ A_{n1} & A_{n2} & \cdots & A_{nn} \\ \end{pmatrix} \begin{pmatrix} \int x_{1} f(\overrightarrow{x})\mathrm{d} \overrightarrow{x} \\ \int x_{2} f(\overrightarrow{x})\mathrm{d} \overrightarrow{x}\\ \vdots \\ \int x_{n} f(\overrightarrow{x})\mathrm{d} \overrightarrow{x} \\ \end{pmatrix} \notag\\ &=A\int \overrightarrow{x}f(\overrightarrow{x}) \mathrm{d} \overrightarrow{x}\notag \end{align} となる。これは$A$が積分と無関係な定数であれば成り立つ。先程の計算より$S$をなす$S_{ij}$は$\partial y_{i} / \partial x_{j}$であるため一見すると積分対象の変数であるように見える。しかし線形変換であるためその微分は定数になる。例えば非線形な $y=ax^2+bx+c$の微分は$\partial y/ \partial x=ax+b$と変数も残るが $y=ax+b$の微分は$\partial y/ \partial x=a$と定数項のみ残る。元々 \[ \overrightarrow{X}=S^{-1}(\overrightarrow{Y}-\overrightarrow{m}) \] と定義し、$\overrightarrow{m},S$は$x,y$に依存しない実数定数からなるとしたことから$S^{-1}$でも線形性 \[ \int S^{-1}\overrightarrow{x}f(\overrightarrow{x}) \mathrm{d} \overrightarrow{x} = S^{-1}\int \overrightarrow{x}f(\overrightarrow{x}) \mathrm{d} \overrightarrow{x} \] 成り立つ。また$S$の場合の式 \[ \int S\overrightarrow{x}f(\overrightarrow{x}) \mathrm{d} \overrightarrow{x} = S\int \overrightarrow{x}f(\overrightarrow{x}) \mathrm{d} \overrightarrow{x} \] の転置行列をとると \begin{align} \left( \int S \overrightarrow{x} f(\overrightarrow{x}) \mathrm{d} \overrightarrow{x} \right)^{\mathrm{T}} &= \left( S \int \overrightarrow{x} f(\overrightarrow{x}) \mathrm{d} \overrightarrow{x} \right)^{\mathrm{T}} \notag\\ \int \overrightarrow{x}^{\mathrm{T}} S^{\mathrm{T}} f(\overrightarrow{x}) \mathrm{d} \overrightarrow{x} &= \int \overrightarrow{x}^{\mathrm{T}} f(\overrightarrow{x}) \mathrm{d} \overrightarrow{x} S^{\mathrm{T}} \notag\\ \int f(\overrightarrow{x}) \overrightarrow{x}^{\mathrm{T}} S^{\mathrm{T}} \mathrm{d} \overrightarrow{x} &= \int f(\overrightarrow{x}) \overrightarrow{x}^{\mathrm{T}} \mathrm{d} \overrightarrow{x} S^{\mathrm{T}} \notag \end{align} が成り立つことが分かる。このことは分散共分散行列の計算で用いる。話を期待値に戻す。ヤコブ行列の計算結果と行列の積分の線形性とから \begin{align} E_{\overrightarrow{X}}[\overrightarrow{X}] &= \int \overrightarrow{x} f_{\overrightarrow{X}}(\overrightarrow{x}) \mathrm{d}\overrightarrow{x} \notag\\ &= \int (S^{-1}(\overrightarrow{y}-\overrightarrow{m})) f_{\overrightarrow{X}}(\overrightarrow{x}) \left| J\left( \frac{\partial\overrightarrow{x}}{\partial\overrightarrow{y}}\right) \right| \mathrm{d}\overrightarrow{y}\notag\\ &= S^{-1} \int (\overrightarrow{y}-\overrightarrow{m}) \frac {f_{\overrightarrow{X}}(\overrightarrow{x})} {|\det S|} \mathrm{d}\overrightarrow{y}\notag \\ &= S^{-1} \int (\overrightarrow{y}-\overrightarrow{m}) f_{\overrightarrow{Y}}(\overrightarrow{y}) \mathrm{d}\overrightarrow{y}\notag \\ &= S^{-1} \left( E_{\overrightarrow{Y}}[\overrightarrow{Y}]-\overrightarrow{m} \right) \notag \end{align} となり、この左辺は零ベクトルであるため \[ E_{\overrightarrow{Y}}[\overrightarrow{Y}]=\overrightarrow{m} \] である。この結果より$\overrightarrow{m}$は確率変数$\overrightarrow{Y}$の期待値ベクトルである。途中の式変形 \[ \frac {f_{\overrightarrow{X}}(\overrightarrow{x})} {|\det S|}= f_{\overrightarrow{Y}}(\overrightarrow{y}) \] は変数変換から成立するとした。またこの式から \begin{align} f_{\overrightarrow{Y}}(\overrightarrow{y}) &= \frac{f_{\overrightarrow{X}}(\overrightarrow{x})}{|\det S|}\notag\\ &= \frac {f_{\overrightarrow{X}}(S^{-1}(\overrightarrow{y}-\overrightarrow{m}))} {|\det S|} \notag\\ &=\frac{1}{|\det S|} \frac{1}{(2\pi)^{\frac{n}{2}} } \exp\left(- \frac{1}{2} \left(S^{-1}(\overrightarrow{y}-\overrightarrow{m})\right)^{\mathrm{T}} \left(S^{-1}(\overrightarrow{y}-\overrightarrow{m})\right) \right) \notag\\ &= \frac{1}{(2\pi)^{\frac{n}{2}} |\det S|} \exp\left(- \frac{1}{2} \left(\overrightarrow{y}-\overrightarrow{m}\right)^{T} (S^{-1})^{\mathrm{T}}S^{-1} \left(\overrightarrow{y}-\overrightarrow{m}\right) \right) \notag \end{align} と書き換えられ、更に行列 \[ \Sigma:=SS^{\mathrm{T}} \] を定義する。この逆行列は、積の逆行列の性質$(AB)^{-1}=B^{-1}A^{-1}$と正則な転置行列の性質$(A^{\mathrm{T}})^{-1}=(A^{-1})^{\mathrm{T}}$とより \[ \Sigma^{-1}=(S^{-1})^{\mathrm{T}}S^{-1} \] となる。またこの行列式は、積の行列式の性質$\det(AB)=\det A \det B$と転置行列の行列式の性質$\det S^{\mathrm{T}} =\det S$とから \[ \det \Sigma =\det S \det S^{\mathrm{T}} = (\det S)^{2} \] であるため \[ |\det S|=|\det \Sigma|^{\frac{1}{2}} \] である。$S$は実数からなる行列であるため$\Sigma$の行列式は \[ \det \Sigma = \left( \det S\right)^{2} \ge 0 \] より非負である。例えば二次の場合は \begin{align} \det S = \det \begin{pmatrix} s_{11} & s_{12} \\ s_{21} & s_{22} \\ \end{pmatrix} = s_{11}s_{22}-s_{12}s_{21}\notag \end{align} より \begin{align} \det \Sigma =\left( \det S\right)^{2} =(s_{11}s_{22}-s_{12}s_{21})^{2} \ge 0\notag \end{align} となり非負である。 このことから \[ |\det \Sigma|=\det \Sigma \] である。そのため \[ |\det S|=(\det \Sigma)^{\frac{1}{2}} \] である。以上より$\overrightarrow{Y}$の確率密度関数 \[ f_{\overrightarrow{Y}}(\overrightarrow{y}) = \frac{1}{(2\pi)^{\frac{n}{2}} (\det \Sigma)^{\frac{1}{2}} } \exp\left(- \frac{1}{2} \left(\overrightarrow{y}-\overrightarrow{m}\right)^{\mathrm{T}} \Sigma^{-1} \left(\overrightarrow{y}-\overrightarrow{m}\right) \right) \] が求まる。これの積分が一であることは積分変換で多変量正規分布に戻せば容易に示せる。 \[ \int f_{\overrightarrow{Y}}(\overrightarrow{y}) \mathrm{d} \overrightarrow{y} = \int \frac {f_{\overrightarrow{X}}(\overrightarrow{x})} {|\det S|} |\det S| \mathrm{d}\overrightarrow{x} =1 \] この事実を用いると多変数でのガウス積分が分かる。左辺の被積分関数を積分の外に出すと \begin{align} &\int f_{\overrightarrow{Y}}(\overrightarrow{y}) \mathrm{d} \overrightarrow{y} \notag\\ =& \int \frac{1}{(2\pi)^{\frac{n}{2}} (\det \Sigma)^{\frac{1}{2}} } \exp\left(- \frac{1}{2} \left(\overrightarrow{y}-\overrightarrow{m}\right)^{\mathrm{T}} \Sigma^{-1} \left(\overrightarrow{y}-\overrightarrow{m}\right) \right) \mathrm{d} \overrightarrow{y} \notag\\ =& \frac{1}{(2\pi)^{\frac{n}{2}} (\det \Sigma)^{\frac{1}{2}} } \int \exp\left(- \frac{1}{2}\overrightarrow{y}^{\mathrm{T}}\Sigma^{-1}\overrightarrow{y} + \frac{ \overrightarrow{y}^{\mathrm{T}}\Sigma^{-1}\overrightarrow{m} + \overrightarrow{m}^{\mathrm{T}}\Sigma^{-1}\overrightarrow{y} } {2} \right) \mathrm{d} \overrightarrow{y} \exp\left(-\frac{1}{2}\overrightarrow{m}^{\mathrm{T}} \Sigma^{-1}\overrightarrow{m}\right) \notag \end{align} となる。被積分関数の指数の引数の第二項の分子の$\overrightarrow{y}^{\mathrm{T}}\Sigma^{-1}\overrightarrow{m}$も $\overrightarrow{m}^{\mathrm{T}}\Sigma^{-1}\overrightarrow{y}$も成分が(1,1)の対称行列とみなせ、対称行列の転置行列は元の行列と等しいことと、 \begin{align} \left(\overrightarrow{y}^{\mathrm{T}}\Sigma^{-1}\overrightarrow{m} \right)^{\mathrm{T}} &= \left(\Sigma^{-1}\overrightarrow{m} \right)^{\mathrm{T}} \left(\overrightarrow{y}^{\mathrm{T}}\right)^{\mathrm{T}} \notag\\ &= \overrightarrow{m}^{\mathrm{T}} \left(\Sigma^{-1}\right)^{\mathrm{T}} \overrightarrow{y} \notag\\ &= \overrightarrow{m}^{\mathrm{T}} \left(\Sigma^{\mathrm{T}}\right) ^{-1} \overrightarrow{y} \notag\\ &= \overrightarrow{m}^{\mathrm{T}} \left(\left(SS^{\mathrm{T}}\right)^{\mathrm{T}}\right) ^{-1} \overrightarrow{y} \notag\\ &= \overrightarrow{m}^{\mathrm{T}} \left(SS^{\mathrm{T}}\right) ^{-1} \overrightarrow{y} \notag\\ &= \overrightarrow{m}^{\mathrm{T}}\Sigma^{-1}\overrightarrow{y}\notag \end{align} と、この二つの対称行列が転置行列の関係にあることから \[ \overrightarrow{y}^{\mathrm{T}}\Sigma^{-1}\overrightarrow{m} = \overrightarrow{m}^{\mathrm{T}}\Sigma^{-1}\overrightarrow{y} \] が成り立つ。右辺が一であることを踏まえて整理すると \[ \int \exp\left(- \frac{1}{2}\overrightarrow{y}^{\mathrm{T}}\Sigma^{-1}\overrightarrow{y} + \overrightarrow{m}^{\mathrm{T}}\Sigma^{-1}\overrightarrow{y} \right) \mathrm{d} \overrightarrow{y} = \sqrt{(2\pi)^{n} \det \Sigma} \exp\left(\frac{1}{2}\overrightarrow{m}^{\mathrm{T}} \Sigma^{-1}\overrightarrow{m}\right) \] となる。これが多変数でのガウス積分である。 或いは$A:=\Sigma^{-1}$とし$\overrightarrow{n}:=\Sigma^{-1} \overrightarrow{m}=A\overrightarrow{m}$とする。この転置行列は$\overrightarrow{n}^{\mathrm{T}}=\overrightarrow{m}^{\mathrm{T}} \Sigma^{-1}$となり、右から$\Sigma$を掛ける $\overrightarrow{n}^{\mathrm{T}} \Sigma=\overrightarrow{m}^{\mathrm{T}} $ となり$\Sigma$の逆行列は$A^{-1}$であることから$ \overrightarrow{m}^{\mathrm{T}}=\overrightarrow{n}^{\mathrm{T}}A^{-1}$となる。また$AA^{-1}=I$の行列式をとると \[ \det A \det (A^{-1})=1 \] となり、この両辺を$\det A$で割ると \[ \frac{1}{\det A}=\det(A^{-1})=\det \Sigma \] となる。以上より \[ \int \exp\left(- \frac{1}{2}\overrightarrow{y}^{\mathrm{T}}A \overrightarrow{y} + \overrightarrow{n}^{\mathrm{T}} \overrightarrow{y} \right) \mathrm{d} \overrightarrow{y} = \sqrt{ \frac{(2\pi)^{n}}{\det A} } \exp\left(\frac{1}{2}\overrightarrow{n}^{\mathrm{T}} A^{-1}\overrightarrow{n}\right) \] となる。

続いて分散共分散行列$V_{\overrightarrow{Y}}[\overrightarrow{Y}]$を求める。 \begin{align} V_{\overrightarrow{Y}} \left[\overrightarrow{Y}\right] = E_{\overrightarrow{Y}}\left[ \left(\overrightarrow{Y}-E_{\overrightarrow{Y}}[\overrightarrow{Y}]\right)\left(\overrightarrow{Y}-E_{\overrightarrow{Y}}[\overrightarrow{Y}]\right)^{\mathrm{T}} \right] \notag \end{align} この括弧の中のベクトルと転置ベクトルの積は$E_{\overrightarrow{Y}}[\overrightarrow{Y}]=\overrightarrow{m}$より \begin{align} \left(\overrightarrow{Y}-E_{\overrightarrow{Y}}[\overrightarrow{Y}]\right)\left(\overrightarrow{Y}-E_{\overrightarrow{Y}}[\overrightarrow{Y}]\right)^{\mathrm{T}} &= \begin{pmatrix} Y_{1}-m_{1} \\ Y_{2}-m_{2} \\ \vdots \\ Y_{n}-m_{n} \\ \end{pmatrix} \begin{pmatrix} Y_{1}-m_{1} & Y_{2}-m_{2} & \cdots & Y_{n}-m_{n} & \end{pmatrix} \notag\\ &= \begin{pmatrix} (Y_{1}-m_{1})(Y_{1}-m_{1}) & (Y_{1}-m_{1})(Y_{2}-m_{2}) & \cdots & (Y_{1}-m_{1})(Y_{n}-m_{n})\\ (Y_{2}-m_{2})(Y_{1}-m_{1}) & (Y_{2}-m_{2})(Y_{2}-m_{2}) & \cdots & (Y_{2}-m_{2})(Y_{n}-m_{n})\\ \vdots & \vdots & \ddots & \vdots \\ (Y_{n}-m_{n})(Y_{1}-m_{1}) & (Y_{n}-m_{n})(Y_{2}-m_{2}) & \cdots & (Y_{n}-m_{n})(Y_{n}-m_{n})\\ \end{pmatrix}\notag \end{align} と計算できるため \begin{align} V_{\overrightarrow{Y}} \left[\overrightarrow{Y}\right] &= E_{\overrightarrow{Y}} \left[ \left(\overrightarrow{Y}-E_{\overrightarrow{Y}}[\overrightarrow{Y}]\right)\left(\overrightarrow{Y}-E_{\overrightarrow{Y}}[\overrightarrow{Y}]\right)^{\mathrm{T}} \right]\notag\\ &= \begin{pmatrix} E_{\overrightarrow{Y}}[(Y_{1}-m_{1})(Y_{1}-m_{1})] & E_{\overrightarrow{Y}}[(Y_{1}-m_{1})(Y_{2}-m_{2})] & \cdots & E_{\overrightarrow{Y}}[(Y_{1}-m_{1})(Y_{n}-m_{n})]\\ E_{\overrightarrow{Y}}[(Y_{2}-m_{2})(Y_{1}-m_{1})] & E_{\overrightarrow{Y}}[(Y_{2}-m_{2})(Y_{2}-m_{2})] & \cdots & E_{\overrightarrow{Y}}[(Y_{2}-m_{2})(Y_{n}-m_{n})]\\ \vdots & \vdots & \ddots & \vdots \\ E_{\overrightarrow{Y}}[(Y_{n}-m_{n})(Y_{1}-m_{1})] & E_{\overrightarrow{Y}}[(Y_{n}-m_{n})(Y_{2}-m_{2})] & \cdots & E_{\overrightarrow{Y}}[(Y_{n}-m_{n})(Y_{n}-m_{n})]\\ \end{pmatrix}\notag \end{align} となる。これは標準正規分布で定義した分散共分散と同じものである。対角成分の分散$E_{\overrightarrow{Y}}[(Y_{i}-m_{i})(Y_{i}-m_{i})]$を$\sigma_{i}^{2}$または$\sigma_{ii}$とする。また非対角成分の共分散 $E_{\overrightarrow{Y}}[(Y_{i}-m_{i})(Y_{j}-m_{j})]$を$\sigma_{ij}$とする。すると \begin{align} V_{\overrightarrow{Y}} \left[\overrightarrow{Y}\right] &= \begin{pmatrix} \sigma_{11} & \sigma_{12} & \cdots & \sigma_{1n}\\ \sigma_{21} & \sigma_{22} & \cdots & \sigma_{2n}\\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{n1}& \sigma_{n2} & \cdots & \sigma_{nn}\\ \end{pmatrix}\notag \end{align} である。一方で \[ \overrightarrow{Y}-E_{\overrightarrow{Y}}[\overrightarrow{Y}]= \overrightarrow{Y}-\overrightarrow{m}= S\overrightarrow{X} \] であるため \begin{align} V_{\overrightarrow{Y}} \left[\overrightarrow{Y}\right] &= E_{\overrightarrow{Y}}\left[ S\overrightarrow{X}\left( S\overrightarrow{X}\right)^{\mathrm{T}} \right]\notag\\ &= E_{\overrightarrow{Y}}\left[ S\overrightarrow{X}\overrightarrow{X}^{\mathrm{T}} S^{\mathrm{T}} \right] \notag\\ &= SE_{\overrightarrow{Y}}\left[ \overrightarrow{X}\overrightarrow{X}^{\mathrm{T}} \right]S^{\mathrm{T}} \notag\\ &= S \int \overrightarrow{x}\overrightarrow{x}^{\mathrm{T}} f_{Y}(\overrightarrow{y}) \mathrm{d} \overrightarrow{y} S^{\mathrm{T}} \notag\\ &= S \int \overrightarrow{x}\overrightarrow{x}^{\mathrm{T}} \frac{f_{X}(\overrightarrow{x})}{|\det S|} |\det S| \mathrm{d}\overrightarrow{x} S^{\mathrm{T}} \notag\\ &= S E_{\overrightarrow{X}}\left[ \overrightarrow{X}\overrightarrow{X}^{\mathrm{T}} \right] S^{\mathrm{T}}\notag\\ &= S V_{\overrightarrow{X}}\left[ \overrightarrow{X}\right] S^{\mathrm{T}}\notag\\ &= SS^{\mathrm{T}} \notag\\ &= \Sigma\notag \end{align} となる。途中、多変量正規分布の分散共分散行列 $V_{\overrightarrow{X}}\left[ \overrightarrow{X}\right]$は単位行列$I$であることを利用した。この結果より$\Sigma$は分散共分散行列である。以上を纏めると多変量正規分布の期待値ベクトルは \begin{align} \overrightarrow{m} &=E_{\overrightarrow{Y}}[\overrightarrow{Y}]\notag\\ %=\int \overrightarrow{y}f_{\overrightarrow{Y}}(\overrightarrow{y})\mathrm{d}\overrightarrow{y} &= \begin{pmatrix} E_{\overrightarrow{Y}}[Y_{1}] \\ E_{\overrightarrow{Y}}[Y_{2}] \\ \vdots \\ E_{\overrightarrow{Y}}[Y_{n}] \end{pmatrix}\notag\\ &= \begin{pmatrix} m_{1} \\ m_{2} \\ \vdots \\ m_{n} \\ \end{pmatrix} \notag \end{align} であり、分散共分散行列は \begin{align} \Sigma &=V_{\overrightarrow{Y}}\left[\overrightarrow{Y}\right]\notag\\ &= \begin{pmatrix} E_{\overrightarrow{Y}}[(Y_{1}-m_{1})(Y_{1}-m_{1})] & E_{\overrightarrow{Y}}[(Y_{1}-m_{1})(Y_{2}-m_{2})] & \cdots & E_{\overrightarrow{Y}}[(Y_{1}-m_{1})(Y_{n}-m_{n})]\\ E_{\overrightarrow{Y}}[(Y_{2}-m_{2})(Y_{1}-m_{1})] & E_{\overrightarrow{Y}}[(Y_{2}-m_{2})(Y_{2}-m_{2})] & \cdots & E_{\overrightarrow{Y}}[(Y_{2}-m_{2})(Y_{n}-m_{n})]\\ \vdots & \vdots & \ddots & \vdots \\ E_{\overrightarrow{Y}}[(Y_{n}-m_{n})(Y_{1}-m_{1})] & E_{\overrightarrow{Y}}[(Y_{n}-m_{n})(Y_{2}-m_{2})] & \cdots & E_{\overrightarrow{Y}}[(Y_{n}-m_{n})(Y_{n}-m_{n})]\\ \end{pmatrix}\notag\\ &= \begin{pmatrix} \sigma_{11} & \sigma_{12} & \cdots & \sigma_{1n}\\ \sigma_{21} & \sigma_{22} & \cdots & \sigma_{2n}\\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{n1}& \sigma_{n2} & \cdots & \sigma_{nn}\\ \end{pmatrix}\notag \end{align} である。続いて相関係数を \[ \rho_{ij} := \frac{\sigma_{ij} }{\sqrt{\sigma_{ii} \sigma_{jj}}} \] と定義する。これを行列で \[ P := \begin{pmatrix} \rho_{11} & \rho_{12} & \cdots & \rho_{1n} \\ \rho_{21} & \rho_{22} & \cdots & \rho_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ \rho_{n1} & \rho_{n2} & \cdots & \rho_{nn} \\ \end{pmatrix} \] と纏める。これは添え字が等しいとき \[ \rho_{ii} = \frac{ \sigma_{ii} }{\sqrt{\sigma_{ii} \sigma_{ii}}} = \frac{ \sigma_{ii} }{ \sigma_{ii} } = 1 \] 一になり、対称性 \[ \rho_{ji} = \frac{\sigma_{ji} }{\sqrt{\sigma_{jj} \sigma_{ii}}} = \frac{\sigma_{ij} }{\sqrt{\sigma_{ii} \sigma_{jj}}} = \rho_{ij} \] がある。そのため \[ P = \begin{pmatrix} 1 & \rho_{12} & \cdots & \rho_{1n} \\ \rho_{12} & 1 & \cdots & \rho_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ \rho_{1n} & \rho_{2n} & \cdots & 1 \\ \end{pmatrix} \] である。また相関係数の定義式から \[ \sigma_{ij} = \rho_{ij} \sqrt{\sigma_{ii} \sigma_{jj}} \] と書ける。分散共分散行列は$\sigma_{ii} = \sigma_{i}^{2} $とすると \begin{align} \Sigma &=\begin{pmatrix} \sigma_{11} & \rho_{12} \sqrt{\sigma_{11} \sigma_{22}} & \cdots & \rho_{1n} \sqrt{\sigma_{11} \sigma_{nn}}\\ \rho_{12} \sqrt{ \sigma_{11}\sigma_{22} } & \sigma_{22} & \cdots & \rho_{2n} \sqrt{\sigma_{22} \sigma_{nn}}\\ \vdots & \vdots & \ddots & \vdots \\ \rho_{1n} \sqrt{ \sigma_{11}\sigma_{nn} } & \rho_{2n} \sqrt{ \sigma_{nn} \sigma_{22} } & \cdots & \sigma_{nn}\\ \end{pmatrix}\notag\\ &= \begin{pmatrix} \sigma_{1}^{2} & \rho_{12} \sigma_{1} \sigma_{2} & \cdots & \rho_{1n} \sigma_{1} \sigma_{n} \\ \rho_{12} \sigma_{1} \sigma_{2} & \sigma_{2}^{2} & \cdots & \rho_{2n} \sigma_{2} \sigma_{n} \\ \vdots & \vdots & \ddots & \vdots \\ \rho_{1n} \sigma_{1} \sigma_{n} & \rho_{2n} \sigma_{n} \sigma_{2} & \cdots & \sigma_{n}^{2}\\ \end{pmatrix} \notag \end{align} と書ける。これは \[ T:= \begin{pmatrix} \sigma_{1} \\ \sigma_{2} \\ \vdots \\ \sigma_{n} \\ \end{pmatrix}, \ \ \ U:= \mathrm{diag}(T) = \begin{pmatrix} \sigma_{1} & 0 & \cdots & 0 \\ 0 & \sigma_{2} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \sigma_{n}\\ \end{pmatrix} \] とすると分散共分散行列は \[ \Sigma = \begin{pmatrix} \sigma_{1} & 0 & \cdots & 0 \\ 0 & \sigma_{2} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \sigma_{n}\\ \end{pmatrix} \begin{pmatrix} 1 & \rho_{12} & \cdots & \rho_{1n} \\ \rho_{12} & 1 & \cdots & \rho_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ \rho_{1n} & \rho_{2n} & \cdots & 1 \\ \end{pmatrix} \begin{pmatrix} \sigma_{1} & 0 & \cdots & 0 \\ 0 & \sigma_{2} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \sigma_{n}\\ \end{pmatrix} = U PU \] と分解できる。これと行列式の性質から \[ \det \Sigma = \det U\ \det P\ \det U = \det P (\sigma_{1}\sigma_{2}\cdots\sigma_{n})^{2} \] であるため \[ |\det \Sigma |^{\frac{1}{2}} = |\det P|^{\frac{1}{2}} \prod_{i=1}^{n} \sigma_{i} \] である。特に二次元の場合は \[ |\det \Sigma |^{\frac{1}{2}} = (1-\rho_{12}^{2})^{\frac{1}{2}} \sigma_{1} \sigma_{2} \] となる。この$U,\ P$を用いて確率密度関数 \[ f_{\overrightarrow{Y}}(\overrightarrow{y}) = \frac{1}{(2\pi)^{\frac{n}{2}} (\det \Sigma)^{\frac{1}{2}} } \exp\left(- \frac{1}{2} \left(\overrightarrow{y}-\overrightarrow{m}\right)^{\mathrm{T}} \Sigma^{-1} \left(\overrightarrow{y}-\overrightarrow{m}\right) \right) \] を書き換える。指数関数の変数は \[ - \frac{1}{2} \left(\overrightarrow{y}-\overrightarrow{m}\right)^{\mathrm{T}} \Sigma^{-1} \left(\overrightarrow{y}-\overrightarrow{m}\right) = -\frac{1}{2} \left(\overrightarrow{y}-\overrightarrow{m}\right)^{\mathrm{T}} U^{-1}P^{-1}U^{-1} \left(\overrightarrow{y}-\overrightarrow{m}\right) \] と書ける。新しくベクトルを \[ \overrightarrow{z} := U^{-1} \left(\overrightarrow{y}-\overrightarrow{m}\right) \] と定義する。$U$は対称行列であるため \begin{align} \overrightarrow{z}^{\mathrm{T}} &= \left\{ U^{-1} \left(\overrightarrow{y}-\overrightarrow{m}\right) \right\}^{\mathrm{T}} \notag\\ &= \left(\overrightarrow{y}-\overrightarrow{m}\right)^{\mathrm{T}}U^{-1} \notag \end{align} となる。以上より \[ f_{\overrightarrow{Y}}(\overrightarrow{y}) = \frac{1}{ \prod_{i=1}^{n} (2\pi \sigma_{ii} )^{\frac{1}{2}} (\det P)^{\frac{1}{2}} } \exp\left(- \frac{1}{2} \overrightarrow{z}^{\mathrm{T}} P^{-1} \overrightarrow{z} \right) \] とも書ける。また \[ f_{\overrightarrow{Z}}(\overrightarrow{z}) := \frac{ f_{\overrightarrow{Y}}(\overrightarrow{y}) }{ \left| \frac{\partial \overrightarrow{z} }{\partial \overrightarrow{y} } \right| } \] と定義する。$U$は対称行列であるため \[ \left| \frac{\partial \overrightarrow{z} }{\partial \overrightarrow{y} } \right| = \left| U^{-1} \right| = \left|\sigma_{1} \sigma_{2} \cdots \sigma_{n} \right|^{-1} = \left|\prod_{i=1}^{n} \sigma_{ii} \right|^{-\frac{1}{2}} \] となる。そのため \[ f_{\overrightarrow{Z}}(\overrightarrow{z}) = \frac{1}{ (2\pi )^{\frac{n}{2}} (\det P)^{\frac{1}{2}} } \exp\left(- \frac{1}{2} \overrightarrow{z}^{\mathrm{T}} P^{-1} \overrightarrow{z} \right) \] である。この期待値は \begin{align} E_{\overrightarrow{Z}}[\overrightarrow{Z}] &=U^{-1}E_{\overrightarrow{Y}}[\overrightarrow{Y}-\overrightarrow{m}] \notag\\ &=0 \notag \end{align} であり、分散共分散行列は \begin{align} V_{\overrightarrow{Z}} \left[\overrightarrow{Z}\right] &= E_{\overrightarrow{Z}}\left[ \overrightarrow{Z} \overrightarrow{Z}^{\mathrm{T}} \right]\notag\\ &= E_{\overrightarrow{Z}}\left[ U^{-1}S\overrightarrow{X}\left( U^{-1}S\overrightarrow{X}\right)^{\mathrm{T}} \right]\notag\\ &= U^{-1}S E_{\overrightarrow{X}}\left[ \overrightarrow{X}\overrightarrow{X}^{\mathrm{T}} \right] S^{\mathrm{T}}U^{-1} \notag\\ &= U^{-1}S I S^{\mathrm{T}}U^{-1} \notag\\ &= U^{-1}\Sigma U^{-1} \notag\\ &= P \notag \end{align} である。