Естественная экспоненциальная семья - Natural exponential family

В вероятность и статистика, а естественная экспоненциальная семья (NEF) является классом распределения вероятностей это частный случай экспоненциальная семья (EF).

Определение

Функция распределения вероятностей (PDF) для одномерного случая (скалярная область, скалярный параметр)

Естественные экспоненциальные семейства (NEF) являются подмножеством экспоненциальные семейства. NEF - это экспоненциальное семейство, в котором естественный параметр η и естественная статистика Т(Икс) оба идентичны. Распределение в экспоненциальная семья с параметром θ можно написать с функция плотности вероятности (PDF)

${displaystyle f_{X}(xmid heta )=h(x) exp {Big (} eta ( heta )T(x)-A( heta ) {Big )},!,}$

куда ${displaystyle h(x)}$ и ${displaystyle A( heta )}$ являются известными функциями, поэтому распределение в естественном экспоненциальном семействе с параметром θ может быть записано с помощью PDF

${displaystyle f_{X}(xmid heta )=h(x) exp {Big (} heta x-A( heta ) {Big )},!.}$

[Обратите внимание, что несколько иное обозначение используется создателем NEF, Карлом Моррисом.^[1] Моррис использует ω вместо η и ψ вместо А.]

Функция распределения вероятностей (PDF) общего случая (многомерная область и / или параметр)

Предположим, что ${displaystyle mathbf {x} in {mathcal {X}}subseteq mathbb {R} ^{p}}$, то естественное экспоненциальное семейство порядка п имеет функцию плотности или массы вида:

${displaystyle f_{X}(mathbf {x} mid {oldsymbol { heta }})=h(mathbf {x} ) exp {Big (}{oldsymbol { heta }}^{m {T}}mathbf {x} -A({oldsymbol { heta }}) {Big )},!,}$

где в этом случае параметр ${displaystyle {oldsymbol { heta }}in mathbb {R} ^{p}.}$

Производящая функция момента и кумулянта

Член естественной экспоненциальной семьи имеет функция, производящая момент (MGF) вида

${displaystyle M_{X}(mathbf {t} )=exp {Big (} A({oldsymbol { heta }}+mathbf {t} )-A({oldsymbol { heta }}) {Big )},.}$

В кумулянтная производящая функция по определению является логарифмом MGF, поэтому

${displaystyle K_{X}(mathbf {t} )=A({oldsymbol { heta }}+mathbf {t} )-A({oldsymbol { heta }}),.}$

Примеры

Пять наиболее важных одномерных случаев:

• нормальное распределение с известной дисперсией
• распределение Пуассона
• гамма-распределение с известным параметром формы α (или же k в зависимости от используемого набора обозначений)
• биномиальное распределение с известным количеством испытаний, п
• отрицательное биномиальное распределение с известными ${displaystyle r}$

Эти пять примеров - пуассоновский, биномиальный, отрицательный биномиальный, нормальный и гамма - представляют собой специальное подмножество NEF, называемое NEF с квадратичным функция дисперсии (NEF-QVF), потому что дисперсию можно записать как квадратичную функцию от среднего. NEF-QVF обсуждаются ниже.

Распределения, такие как экспоненциальный, хи-квадрат, Рэлей, Weibull, Бернулли, и геометрические распределения являются частными случаями перечисленных выше пяти распределений. Многие распространенные дистрибутивы являются либо NEF, либо могут быть связаны с NEF. Например: распределение хи-квадрат это частный случай гамма-распределение. В Распределение Бернулли это биномиальное распределение с п = 1 проба. В экспоненциальное распределение - гамма-распределение с параметром формы α = 1 (или k = 1). В Рэлей и Распределения Вейбулла каждый может быть записан в терминах экспоненциального распределения.

Некоторые экспоненциальные семейные распределения не являются NEF. В логнормальный и Бета-распределение находятся в экспоненциальном семействе, но не в естественном экспоненциальном семействе.

Параметризация большинства вышеперечисленных распределений написана иначе, чем параметризация, обычно используемая в учебниках и на указанных выше страницах. Например, приведенная выше параметризация отличается от параметризации в связанной статье в случае Пуассона. Две параметризации связаны соотношением ${displaystyle heta =log(lambda )}$, где λ - средний параметр, так что плотность можно записать как

${displaystyle f(k; heta )={frac {1}{k!}}exp {Big (} heta k-exp( heta ) {Big )} ,}$

за ${displaystyle heta in mathbb {R} }$, так

${displaystyle h(k)={frac {1}{k!}},{ ext{ and }}A( heta )=exp( heta ) .}$

Эта альтернативная параметризация может значительно упростить вычисления в математическая статистика. Например, в Байесовский вывод, а апостериорное распределение вероятностей рассчитывается как произведение двух распределений. Обычно этот расчет требует записи функций распределения вероятностей (PDF) и интегрирования; однако с помощью описанной выше параметризации этого расчета можно избежать. Вместо этого отношения между распределениями можно абстрагировать благодаря свойствам NEF, описанным ниже.

Примером многомерного случая является полиномиальное распределение с известным количеством испытаний.

Характеристики

Свойства естественного экспоненциального семейства можно использовать для упрощения вычислений с использованием этих распределений.

Одномерный случай

1. Кумулянты NEF могут быть рассчитаны как производные от кумулянтной производящей функции NEF. N-й кумулянт - это n-я производная производящей функции кумулянта по т оценивается в т = 0.

В кумулянтная производящая функция является

${displaystyle K_{X}(t)=A( heta +t)-A( heta ),.}$

Первый кумулянт

${displaystyle kappa _{1}=K_{X}'(t){Big |}_{t=0}=left.{frac {d}{dt}}A( heta +t)ight|_{t=0},.}$

Среднее значение - это первый момент и всегда равно первому кумулянту, поэтому

${displaystyle mu _{1}=kappa _{1}=operatorname {E} [X]=K'_{X}(0)=A'( heta ),.}$

Дисперсия всегда является вторым кумулянтом, и она всегда связана с первым и вторым моментами соотношением

${displaystyle operatorname {Var} [X]=kappa _{2}=mu _{2}-mu _{1}^{2},,}$

так что

${displaystyle operatorname {Var} [X]=K''_{X}(0)=A''( heta ),.}$

Точно так же пй кумулянт

${displaystyle kappa _{n}=A^{(n)}( heta ),.}$

2. Естественные экспоненциальные семейства (NEF) замкнуты относительно свертки.^{[нужна цитата ]}

Данный независимые одинаково распределенные (iid) ${displaystyle X_{1},ldots ,X_{n}}$ с раздачей из NEF, то ${displaystyle sum _{i=1}^{n}X_{i},}$ является NEF, хотя и не обязательно оригинальным NEF. Это следует из свойств производящей функции кумулянта.

3. В функция дисперсии для случайных величин с распределением NEF можно записать в терминах среднего.^{[нужна цитата ]}

${displaystyle operatorname {Var} (X)=V(mu ).}$

4. Первые два момента распределения NEF однозначно определяют распределение внутри этого семейства распределений.^{[нужна цитата ]}

${displaystyle Xsim operatorname {NEF} [mu ,V(mu )].}$

Многомерный случай

В многомерном случае вектор среднего и ковариационная матрица равны^{[нужна цитата ]}

${displaystyle operatorname {E} [X]=abla A({oldsymbol { heta }}){ ext{ and }}operatorname {Cov} [X]=abla abla ^{m {T}}A({oldsymbol { heta }}),,}$

куда${displaystyle abla }$ это градиент и ${displaystyle abla abla ^{m {T}}}$ это Матрица Гессе.

Естественные экспоненциальные семейства с квадратичными функциями дисперсии (NEF-QVF)

Частным случаем естественных экспоненциальных семейств являются семейства с квадратичными функциями дисперсии. Шесть NEF имеют квадратичные функции дисперсии (QVF), в которых дисперсия распределения может быть записана как квадратичная функция от среднего. Они называются NEF-QVF. Свойства этих распределений впервые были описаны Карл Моррис.^[2]

${displaystyle operatorname {Var} (X)=V(mu )=u _{0}+u _{1}mu +u _{2}mu ^{2}.}$

Шесть NEF-QVF

Шесть NEF-QVF записаны здесь в увеличивающейся сложности отношения между дисперсией и средним значением.

1. Нормальное распределение с фиксированной дисперсией ${displaystyle Xsim N(mu ,sigma ^{2})}$ является NEF-QVF, потому что дисперсия постоянна. Дисперсию можно записать ${displaystyle operatorname {Var} (X)=V(mu )=sigma ^{2}}$, поэтому дисперсия является функцией среднего значения степени 0.

2. Распределение Пуассона. ${displaystyle Xsim operatorname {Poisson} (mu )}$ является NEF-QVF, потому что все распределения Пуассона имеют дисперсию, равную среднему ${displaystyle operatorname {Var} (X)=V(mu )=mu }$, поэтому дисперсия является линейной функцией среднего.

3. Гамма-распределение. ${displaystyle Xsim operatorname {Gamma} (r,lambda )}$ является NEF-QVF, потому что среднее значение гамма-распределения равно ${displaystyle mu =rlambda }$ а дисперсия гамма-распределения равна ${displaystyle operatorname {Var} (X)=V(mu )=mu ^{2}/r}$, поэтому дисперсия является квадратичной функцией среднего.

4. Биномиальное распределение. ${displaystyle Xsim operatorname {Binomial} (n,p)}$ является NEF-QVF, потому что среднее значение ${displaystyle mu =np}$ и дисперсия ${displaystyle operatorname {Var} (X)=np(1-p)}$ что может быть записано в терминах среднего как${displaystyle V(X)=-np^{2}+np=-mu ^{2}/n+mu .}$

5. Отрицательное биномиальное распределение. ${displaystyle Xsim operatorname {NegBin} (n,p)}$ является NEF-QVF, потому что среднее значение ${displaystyle mu =np/(1-p)}$ и дисперсия${displaystyle V(mu )=mu ^{2}/n+mu .}$

6. Распределение (не очень известное), порожденное обобщенным^{[требуется разъяснение ]} гиперболическое секущее распределение (NEF-GHS) имеет^{[нужна цитата ]} ${displaystyle V(mu )=mu ^{2}/n+n}$ и ${displaystyle mu >0.}$

Свойства NEF-QVF

Свойства NEF-QVF могут упростить вычисления, в которых используются эти распределения.

1. Натуральные экспоненциальные семейства с квадратичными дисперсионными функциями (NEF-QVF) замкнуты относительно сверток линейного преобразования.^{[нужна цитата ]} То есть свертка линейного преобразования NEF-QVF также является NEF-QVF, хотя и не обязательно исходной.

Данный независимые одинаково распределенные (iid) ${displaystyle X_{1},ldots ,X_{n}}$ с раздачей из NEF-QVF. Свертка линейного преобразования NEF-QVF также является NEF-QVF.

Позволять ${displaystyle Y=sum _{i=1}^{n}(X_{i}-b)/c,}$ свертка линейного преобразования Икс. Среднее значение Y является ${displaystyle mu ^{*}=n(mu -b)/c,}$. Дисперсия Y может быть записан в терминах функции дисперсии исходного NEF-QVF. Если исходный NEF-QVF имел функцию дисперсии

${displaystyle operatorname {Var} (X)=V(mu )=u _{0}+u _{1}mu +u _{2}mu ^{2},}$

тогда новый NEF-QVF имеет функцию дисперсии

${displaystyle operatorname {Var} (Y)=V^{*}(mu ^{*})=u _{0}^{*}+u _{1}^{*}mu +u _{2}^{*}mu ^{2},}$

куда

${displaystyle u _{0}^{*}=nV(b)/c^{2},,}$

${displaystyle u _{1}^{*}=V'(b)/c,,}$

${displaystyle u _{2}^{*}/n=u _{2}/n,.}$

2. Пусть ${displaystyle X_{1}}$ и ${displaystyle X_{2}}$ - независимая НЭФ с тем же параметром θ, и пусть ${displaystyle Y=X_{1}+X_{2}}$. Тогда условное распределение ${displaystyle X_{1}}$ данный ${displaystyle Y}$ имеет квадратичную дисперсию в ${displaystyle Y}$ если и только если ${displaystyle X_{1}}$ и ${displaystyle X_{2}}$ являются NEF-QVF. Примеры таких условных распределений: нормальный, биномиальный, бета, гипергеометрический и геометрические распределения, которые не все NEF-QVF.^[1]

3. NEF-QVF имеют сопряженные априорные распределения от μ в системе распределений Пирсона (также называемой Распределение Пирсона хотя система распределений Пирсона на самом деле является семейством распределений, а не отдельным распределением.) Примерами сопряженных априорных распределений распределений NEF-QVF являются нормальный, гамма, обратная гамма, бета, F-, и т- раздачи. Опять же, не все эти конъюгированные приоры являются NEF-QVF.^[1]

4. Если ${displaystyle Xmid mu }$ имеет распределение NEF-QVF и μ имеет сопряженное априорное распределение, тогда маргинальные распределения являются хорошо известными распределениями.^[1]

Эти свойства вместе с указанными выше обозначениями могут упростить вычисления в математическая статистика это обычно делается с использованием сложных вычислений и расчетов.

Рекомендации

1. Моррис К. (2006) "Естественные экспоненциальные семейства", Энциклопедия статистических наук.
2. Моррис С. (1982) "Естественные экспоненциальные семейства с квадратичными функциями дисперсии". Анна. Стат., 10(1), 65–80.

• Моррис К. (1982) Натуральные экспоненциальные семейства с квадратичными дисперсионными функциями: статистическая теория. Отделение математики, Институт статистики, Техасский университет, Остин.