Матричное нормальное распределение - Matrix normal distribution

Матрица нормальная

Обозначение	${\displaystyle {\mathcal {MN}}_{n,p}(\mathbf {M} ,\mathbf {U} ,\mathbf {V} )}$
Параметры	${\displaystyle \mathbf {M} }$ место расположения (настоящий ${\displaystyle n\times p}$ матрица ) ${\displaystyle \mathbf {U} }$ шкала (положительно определенный настоящий ${\displaystyle n\times n}$ матрица ) ${\displaystyle \mathbf {V} }$ шкала (положительно определенный настоящий ${\displaystyle p\times p}$ матрица )
Поддерживать	${\displaystyle \mathbf {X} \in \mathbb {R} ^{n\times p}}$
PDF	${\displaystyle {\frac {\exp \left(-{\frac {1}{2}}\,\mathrm {tr} \left[\mathbf {V} ^{-1}(\mathbf {X} -\mathbf {M} )^{T}\mathbf {U} ^{-1}(\mathbf {X} -\mathbf {M} )\right]\right)}{(2\pi )^{np/2}|\mathbf {V} |^{n/2}|\mathbf {U} |^{p/2}}}}$
Иметь в виду	${\displaystyle \mathbf {M} }$
Дисперсия	${\displaystyle \mathbf {U} }$ (между рядами) и ${\displaystyle \mathbf {V} }$ (между столбцами)

В статистика, то матричное нормальное распределение или же матричное гауссово распределение это распределение вероятностей это обобщение многомерное нормальное распределение к матричнозначным случайным величинам.

Определение

В функция плотности вероятности для случайной матрицы Икс (п × п), которая следует нормальному матричному распределению ${\displaystyle {\mathcal {MN}}_{n,p}(\mathbf {M} ,\mathbf {U} ,\mathbf {V} )}$ имеет вид:

${\displaystyle p(\mathbf {X} \mid \mathbf {M} ,\mathbf {U} ,\mathbf {V} )={\frac {\exp \left(-{\frac {1}{2}}\,\mathrm {tr} \left[\mathbf {V} ^{-1}(\mathbf {X} -\mathbf {M} )^{T}\mathbf {U} ^{-1}(\mathbf {X} -\mathbf {M} )\right]\right)}{(2\pi )^{np/2}|\mathbf {V} |^{n/2}|\mathbf {U} |^{p/2}}}}$

куда ${\displaystyle \mathrm {tr} }$ обозначает след и M является п × п, U является п × п и V является п × п.

Нормаль матрицы связана с многомерное нормальное распределение следующим образом:

${\displaystyle \mathbf {X} \sim {\mathcal {MN}}_{n\times p}(\mathbf {M} ,\mathbf {U} ,\mathbf {V} ),}$

если и только если

${\displaystyle \mathrm {vec} (\mathbf {X} )\sim {\mathcal {N}}_{np}(\mathrm {vec} (\mathbf {M} ),\mathbf {V} \otimes \mathbf {U} )}$

куда ${\displaystyle \otimes }$ обозначает Кронекер продукт и ${\displaystyle \mathrm {vec} (\mathbf {M} )}$ обозначает векторизация из ${\displaystyle \mathbf {M} }$.

Доказательство

Эквивалентность между вышеуказанными матрица нормальная и многомерный нормальный функции плотности можно показать, используя несколько свойств след и Кронекер продукт, следующее. Начнем с аргумента экспоненты нормальной матрицы PDF:

${\displaystyle {\begin{aligned}&\;\;\;\;-{\frac {1}{2}}{\text{tr}}\left[\mathbf {V} ^{-1}(\mathbf {X} -\mathbf {M} )^{T}\mathbf {U} ^{-1}(\mathbf {X} -\mathbf {M} )\right]\\&=-{\frac {1}{2}}{\text{vec}}\left(\mathbf {X} -\mathbf {M} \right)^{T}{\text{vec}}\left(\mathbf {U} ^{-1}(\mathbf {X} -\mathbf {M} )\mathbf {V} ^{-1}\right)\\&=-{\frac {1}{2}}{\text{vec}}\left(\mathbf {X} -\mathbf {M} \right)^{T}\left(\mathbf {V} ^{-1}\otimes \mathbf {U} ^{-1}\right){\text{vec}}\left(\mathbf {X} -\mathbf {M} \right)\\&=-{\frac {1}{2}}\left[{\text{vec}}(\mathbf {X} )-{\text{vec}}(\mathbf {M} )\right]^{T}\left(\mathbf {V} \otimes \mathbf {U} \right)^{-1}\left[{\text{vec}}(\mathbf {X} )-{\text{vec}}(\mathbf {M} )\right]\end{aligned}}}$

который является аргументом экспоненты многомерной нормальной PDF. Доказательство завершается использованием детерминантного свойства: ${\displaystyle |\mathbf {V} \otimes \mathbf {U} |=|\mathbf {V} |^{n}|\mathbf {U} |^{p}.}$

Характеристики

Если ${\displaystyle \mathbf {X} \sim {\mathcal {MN}}_{n\times p}(\mathbf {M} ,\mathbf {U} ,\mathbf {V} )}$, то у нас есть следующие свойства:^[1][2]

Ожидаемые значения

Среднее или ожидаемое значение является:

${\displaystyle E[\mathbf {X} ]=\mathbf {M} }$

и у нас есть следующие ожидания второго порядка:

${\displaystyle E[(\mathbf {X} -\mathbf {M} )(\mathbf {X} -\mathbf {M} )^{T}]=\mathbf {U} \operatorname {tr} (\mathbf {V} )}$

${\displaystyle E[(\mathbf {X} -\mathbf {M} )^{T}(\mathbf {X} -\mathbf {M} )]=\mathbf {V} \operatorname {tr} (\mathbf {U} )}$

куда ${\displaystyle \operatorname {tr} }$ обозначает след.

В более общем смысле, для матриц подходящего размера А,B,C:

${\displaystyle {\begin{aligned}E[\mathbf {X} \mathbf {A} \mathbf {X} ^{T}]&=\mathbf {U} \operatorname {tr} (\mathbf {A} ^{T}\mathbf {V} )+\mathbf {MAM} ^{T}\\E[\mathbf {X} ^{T}\mathbf {B} \mathbf {X} ]&=\mathbf {V} \operatorname {tr} (\mathbf {U} \mathbf {B} ^{T})+\mathbf {M} ^{T}\mathbf {BM} \\E[\mathbf {X} \mathbf {C} \mathbf {X} ]&=\mathbf {V} \mathbf {C} ^{T}\mathbf {U} +\mathbf {MCM} \end{aligned}}}$

Трансформация

Транспонировать преобразовать:

${\displaystyle \mathbf {X} ^{T}\sim {\mathcal {MN}}_{p\times n}(\mathbf {M} ^{T},\mathbf {V} ,\mathbf {U} )}$

Линейное преобразование: пусть D (р-к-п), быть полным классифицировать г ≤ п и C (п-к-s), иметь полное звание s ≤ p, тогда:

${\displaystyle \mathbf {DXC} \sim {\mathcal {MN}}_{r\times s}(\mathbf {DMC} ,\mathbf {DUD} ^{T},\mathbf {C} ^{T}\mathbf {VC} )}$

Пример

Представим себе образец п независимый п-мерные случайные величины, одинаково распределенные согласно многомерное нормальное распределение:

${\displaystyle \mathbf {Y} _{i}\sim {\mathcal {N}}_{p}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}){\text{ with }}i\in \{1,\ldots ,n\}}$.

При определении п × п матрица ${\displaystyle \mathbf {X} }$ для чего я-я строка ${\displaystyle \mathbf {Y} _{i}}$, мы получаем:

${\displaystyle \mathbf {X} \sim {\mathcal {MN}}_{n\times p}(\mathbf {M} ,\mathbf {U} ,\mathbf {V} )}$

где каждая строка ${\displaystyle \mathbf {M} }$ равно ${\displaystyle {\boldsymbol {\mu }}}$, то есть ${\displaystyle \mathbf {M} =\mathbf {1} _{n}\times {\boldsymbol {\mu }}^{T}}$, ${\displaystyle \mathbf {U} }$ это п × п единичная матрица, то есть строки независимы, и ${\displaystyle \mathbf {V} ={\boldsymbol {\Sigma }}}$.

Оценка параметра максимального правдоподобия

Данный k матрицы, каждая размером п × п, обозначенный ${\displaystyle \mathbf {X} _{1},\mathbf {X} _{2},\ldots ,\mathbf {X} _{k}}$, которые, как мы предполагаем, были отобраны i.i.d. из нормального распределения матрицы оценка максимального правдоподобия параметров можно получить, максимизируя:

${\displaystyle \prod _{i=1}^{k}{\mathcal {MN}}_{n\times p}(\mathbf {X} _{i}\mid \mathbf {M} ,\mathbf {U} ,\mathbf {V} ).}$

Решение для среднего имеет замкнутый вид, а именно

${\displaystyle \mathbf {M} ={\frac {1}{k}}\sum _{i=1}^{k}\mathbf {X} _{i}}$

но параметры ковариации - нет. Однако эти параметры можно итеративно максимизировать путем обнуления их градиентов при:

${\displaystyle \mathbf {U} ={\frac {1}{kp}}\sum _{i=1}^{k}(\mathbf {X} _{i}-\mathbf {M} )\mathbf {V} ^{-1}(\mathbf {X} _{i}-\mathbf {M} )^{T}}$

и

${\displaystyle \mathbf {V} ={\frac {1}{kn}}\sum _{i=1}^{k}(\mathbf {X} _{i}-\mathbf {M} )^{T}\mathbf {U} ^{-1}(\mathbf {X} _{i}-\mathbf {M} ),}$

См. Например ^[3] и ссылки в нем. Параметры ковариации не идентифицируются в том смысле, что для любого масштабного коэффициента s> 0, у нас есть:

${\displaystyle {\mathcal {MN}}_{n\times p}(\mathbf {X} \mid \mathbf {M} ,\mathbf {U} ,\mathbf {V} )={\mathcal {MN}}_{n\times p}(\mathbf {X} \mid \mathbf {M} ,s\mathbf {U} ,1/s\mathbf {V} ).}$

Получение значений из распределения

Выборка из нормального распределения матрицы - это частный случай процедуры выборки для многомерное нормальное распределение. Позволять ${\displaystyle \mathbf {X} }$ быть п к п матрица нп независимых выборок из стандартного нормального распределения, так что

${\displaystyle \mathbf {X} \sim {\mathcal {MN}}_{n\times p}(\mathbf {0} ,\mathbf {I} ,\mathbf {I} ).}$

Тогда пусть

${\displaystyle \mathbf {Y} =\mathbf {M} +\mathbf {A} \mathbf {X} \mathbf {B} ,}$

так что

${\displaystyle \mathbf {Y} \sim {\mathcal {MN}}_{n\times p}(\mathbf {M} ,\mathbf {AA} ^{T},\mathbf {B} ^{T}\mathbf {B} ),}$

куда А и B может быть выбран Разложение Холецкого или аналогичная операция извлечения квадратного корня из матрицы.

Отношение к другим дистрибутивам

Давид (1981) обсуждает связь матричнозначного нормального распределения с другими распределениями, включая Распределение Уишарта, Обратное распределение Вишарта и матричное t-распределение, но использует другие обозначения, чем здесь.

Смотрите также

• Многомерное нормальное распределение.

Рекомендации

1. А. К. Гупта; Д. К. Нагар (22 октября 1999 г.). "Глава 2: НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ МАТРИЦЫ ИЗМЕНЕНИЯ". Матричные распределения переменных. CRC Press. ISBN  978-1-58488-046-2. Получено 23 мая 2014.
2. Дин, Шаньшань; Р. Деннис Кук (2014). «РАЗМЕРНАЯ СКЛАДКА PCA И PFC ДЛЯ МАТРИЧНЫХ ПРЕДИКТОРОВ». Statistica Sinica. 24 (1): 463–492.
3. Гланц, Хантер; Карвалью, Луис. "Алгоритм ожидания-максимизации для нормального распределения матрицы". arXiv:1309.6609.

• Давид, А. (1981). «Некоторая теория распределения матричных переменных: Обозначения и байесовское приложение». Биометрика. 68 (1): 265–274. Дои:10.1093 / biomet / 68.1.265. JSTOR  2335827. МИСТЕР  0614963.
• Dutilleul, P (1999). «Алгоритм MLE для матричного нормального распределения». Журнал статистических вычислений и моделирования. 64 (2): 105–123. Дои:10.1080/00949659908811970.
• Арнольд, С.Ф. (1981), Теория линейных моделей и многомерный анализ, Нью-Йорк: Джон Уайли и сыновья, ISBN  0471050652