Функция создания моментов - Moment-generating function

В теория вероятности и статистика, то момент-производящая функция ценного случайная переменная альтернативная спецификация его распределение вероятностей. Таким образом, он обеспечивает основу для альтернативного пути получения аналитических результатов по сравнению с непосредственной работой с функции плотности вероятности или кумулятивные функции распределения. Особенно простые результаты получены для функций распределений, порождающих моменты, определяемых взвешенными суммами случайных величин. Однако не все случайные величины имеют функции, производящие моменты.

Как следует из названия, момент производящая функция может использоваться для вычисления распределения моменты: the пмомент около 0 - это п-я производная функции создания момента, оцениваемая как 0.

В дополнение к распределениям с действительными значениями (одномерные распределения), функции, генерирующие моменты, могут быть определены для векторных или матричных случайных величин и даже могут быть расширены на более общие случаи.

Производящая момент функция вещественнозначного распределения не всегда существует, в отличие от характеристическая функция. Существуют связи между поведением функции распределения момента, порождающей момент, и свойствами распределения, такими как наличие моментов.

Определение

Производящая момент функция случайная переменная Икс является

${\displaystyle M_{X}(t):=\operatorname {E} \left[e^{tX}\right],\quad t\in \mathbb {R} ,}$

где бы это ожидание существуют. Другими словами, производящая момент функция Икс это ожидание случайной величины ${\displaystyle e^{tX}}$. В более общем плане, когда ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\mathrm {T} }}$, ${\displaystyle n}$-размерный случайный вектор, и ${\displaystyle \mathbf {t} }$ - фиксированный вектор, используется ${\displaystyle \mathbf {t} \cdot \mathbf {X} =\mathbf {t} ^{\mathrm {T} }\mathbf {X} }$ вместо того${\displaystyle tX}$:

${\displaystyle M_{\mathbf {X} }(\mathbf {t} ):=\operatorname {E} \left(e^{\mathbf {t} ^{\mathrm {T} }\mathbf {X} }\right).}$

${\displaystyle M_{X}(0)}$ всегда существует и равен 1. Однако ключевая проблема с функциями, производящими момент, состоит в том, что моменты и функция, производящая момент, могут не существовать, поскольку интегралы не обязательно сходятся абсолютно. Напротив, характеристическая функция или преобразование Фурье всегда существует (потому что это интеграл от ограниченной функции на пространстве конечных мера ), и для некоторых целей может использоваться вместо него.

Функция, генерирующая момент, названа так потому, что ее можно использовать для нахождения моментов распределения.^[1] Расширение серии ${\displaystyle e^{tX}}$ является

${\displaystyle e^{t\,X}=1+t\,X+{\frac {t^{2}\,X^{2}}{2!}}+{\frac {t^{3}\,X^{3}}{3!}}+\cdots +{\frac {t^{n}\,X^{n}}{n!}}+\cdots .}$

Следовательно

${\displaystyle {\begin{aligned}M_{X}(t)=\operatorname {E} (e^{t\,X})&=1+t\operatorname {E} (X)+{\frac {t^{2}\operatorname {E} (X^{2})}{2!}}+{\frac {t^{3}\operatorname {E} (X^{3})}{3!}}+\cdots +{\frac {t^{n}\operatorname {E} (X^{n})}{n!}}+\cdots \\&=1+tm_{1}+{\frac {t^{2}m_{2}}{2!}}+{\frac {t^{3}m_{3}}{3!}}+\cdots +{\frac {t^{n}m_{n}}{n!}}+\cdots ,\end{aligned}}}$

где ${\displaystyle m_{n}}$ это ${\displaystyle n}$th момент. Дифференцировать ${\displaystyle M_{X}(t)}$ ${\displaystyle i}$ раз относительно ${\displaystyle t}$ и установка ${\displaystyle t=0}$, получаем ${\displaystyle i}$ый момент о происхождении, ${\displaystyle m_{i}}$;увидеть Расчеты моментов ниже.

Если ${\displaystyle X}$ является непрерывной случайной величиной, следующее соотношение между ее порождающей функцией момента ${\displaystyle M_{X}(t)}$ и двустороннее преобразование Лапласа функции плотности вероятности ${\displaystyle f_{X}(x)}$ держит:

${\displaystyle M_{X}(t)={\mathcal {L}}\{f_{X}\}(-t),}$

поскольку двустороннее преобразование Лапласа PDF задается как

${\displaystyle {\mathcal {L}}\{f_{X}\}(s)=\int _{-\infty }^{\infty }e^{-sx}f_{X}(x)\,dx,}$

и определение функции создания моментов расширяется (на закон бессознательного статистика ) к

${\displaystyle M_{X}(t)=\operatorname {E} \left[e^{tX}\right]=\int _{-\infty }^{\infty }e^{tx}f_{X}(x)\,dx.}$

Это согласуется с характеристической функцией ${\displaystyle X}$ будучи Вращение фитиля из ${\displaystyle M_{X}(t)}$ когда существует функция, производящая момент, как характеристическая функция непрерывной случайной величины ${\displaystyle X}$ это преобразование Фурье функции плотности вероятности ${\displaystyle f_{X}(x)}$, и вообще когда функция ${\displaystyle f(x)}$ имеет экспоненциальный порядок, преобразование Фурье ${\displaystyle f}$ представляет собой вращение Вика его двустороннего преобразования Лапласа в области сходимости. Видеть связь преобразований Фурье и Лапласа для дополнительной информации.

Примеры

Вот несколько примеров функции создания момента и характеристической функции для сравнения. Видно, что характеристическая функция - это Вращение фитиля момент производящей функции ${\displaystyle M_{X}(t)}$ когда последний существует.

Распределение	Функция создания моментов ${\displaystyle M_{X}(t)}$	Характеристическая функция ${\displaystyle \varphi (t)}$
Вырожденный ${\displaystyle \delta _{a}}$	${\displaystyle e^{ta}}$	${\displaystyle e^{ita}}$
Бернулли ${\displaystyle P(X=1)=p}$	${\displaystyle 1-p+pe^{t}}$	${\displaystyle 1-p+pe^{it}}$
Геометрический ${\displaystyle (1-p)^{k-1}\,p}$	${\displaystyle {\frac {pe^{t}}{1-(1-p)e^{t}}}}$ ${\displaystyle \forall t<-\ln(1-p)}$	${\displaystyle {\frac {pe^{it}}{1-(1-p)\,e^{it}}}}$
Биномиальный ${\displaystyle B(n,p)}$	${\displaystyle \left(1-p+pe^{t}\right)^{n}}$	${\displaystyle \left(1-p+pe^{it}\right)^{n}}$
Отрицательный бином ${\displaystyle \operatorname {NB} (r,p)}$	${\displaystyle \left({\frac {pe^{t}}{1-e^{t}+pe^{t}}}\right)^{r}}$	${\displaystyle \left({\frac {pe^{it}}{1-e^{it}+pe^{it}}}\right)^{r}}$
Пуассон ${\displaystyle \operatorname {Pois} (\lambda )}$	${\displaystyle e^{\lambda (e^{t}-1)}}$	${\displaystyle e^{\lambda (e^{it}-1)}}$
Равномерное (непрерывное) ${\displaystyle \operatorname {U} (a,b)}$	${\displaystyle {\frac {e^{tb}-e^{ta}}{t(b-a)}}}$	${\displaystyle {\frac {e^{itb}-e^{ita}}{it(b-a)}}}$
Равномерное (дискретное) ${\displaystyle \operatorname {DU} (a,b)}$	${\displaystyle {\frac {e^{at}-e^{(b+1)t}}{(b-a+1)(1-e^{t})}}}$	${\displaystyle {\frac {e^{ait}-e^{(b+1)it}}{(b-a+1)(1-e^{it})}}}$
Лаплас ${\displaystyle L(\mu ,b)}$	${\displaystyle {\frac {e^{t\mu }}{1-b^{2}t^{2}}},~|t|<1/b}$	${\displaystyle {\frac {e^{it\mu }}{1+b^{2}t^{2}}}}$
Нормальный ${\displaystyle N(\mu ,\sigma ^{2})}$	${\displaystyle e^{t\mu +{\frac {1}{2}}\sigma ^{2}t^{2}}}$	${\displaystyle e^{it\mu -{\frac {1}{2}}\sigma ^{2}t^{2}}}$
Хи-квадрат ${\displaystyle \chi _{k}^{2}}$	${\displaystyle (1-2t)^{-{\frac {k}{2}}}}$	${\displaystyle (1-2it)^{-{\frac {k}{2}}}}$
Нецентральный хи-квадрат ${\displaystyle \chi _{k}^{2}(\lambda )}$	${\displaystyle e^{\lambda t/(1-2t)}(1-2t)^{-{\frac {k}{2}}}}$	${\displaystyle e^{i\lambda t/(1-2it)}(1-2it)^{-{\frac {k}{2}}}}$
Гамма ${\displaystyle \Gamma (k,\theta )}$	${\displaystyle (1-t\theta )^{-k},~\forall t<{\tfrac {1}{\theta }}}$	${\displaystyle (1-it\theta )^{-k}}$
Экспоненциальный ${\displaystyle \operatorname {Exp} (\lambda )}$	${\displaystyle \left(1-t\lambda ^{-1}\right)^{-1},~t<\lambda }$	${\displaystyle \left(1-it\lambda ^{-1}\right)^{-1}}$
Многомерный нормальный ${\displaystyle N(\mathbf {\mu } ,\mathbf {\Sigma } )}$	${\displaystyle e^{\mathbf {t} ^{\mathrm {T} }\left({\boldsymbol {\mu }}+{\frac {1}{2}}\mathbf {\Sigma t} \right)}}$	${\displaystyle e^{\mathbf {t} ^{\mathrm {T} }\left(i{\boldsymbol {\mu }}-{\frac {1}{2}}{\boldsymbol {\Sigma }}\mathbf {t} \right)}}$
Коши ${\displaystyle \operatorname {Cauchy} (\mu ,\theta )}$	Не существует	${\displaystyle e^{it\mu -\theta |t|}}$
Многомерный Коши ${\displaystyle \operatorname {MultiCauchy} (\mu ,\Sigma )}$[2]	Не существует	${\displaystyle \!\,e^{i\mathbf {t} ^{\mathrm {T} }{\boldsymbol {\mu }}-{\sqrt {\mathbf {t} ^{\mathrm {T} }{\boldsymbol {\Sigma }}\mathbf {t} }}}}$

Расчет

Функция создания момента - это математическое ожидание функции случайной величины, ее можно записать как:

• Для дискретного функция массы вероятности, ${\displaystyle M_{X}(t)=\sum _{i=1}^{\infty }e^{tx_{i}}\,p_{i}}$
• Для непрерывного функция плотности вероятности, ${\displaystyle M_{X}(t)=\int _{-\infty }^{\infty }e^{tx}f(x)\,dx}$
• В общем случае: ${\displaystyle M_{X}(t)=\int _{-\infty }^{\infty }e^{tx}\,dF(x)}$, с использованием Интеграл Римана – Стилтьеса., и где ${\displaystyle F}$ это кумулятивная функция распределения.

Обратите внимание, что для случая, когда ${\displaystyle X}$ имеет непрерывный функция плотности вероятности ${\displaystyle f(x)}$, ${\displaystyle M_{X}(-t)}$ это двустороннее преобразование Лапласа из ${\displaystyle f(x)}$.

${\displaystyle {\begin{aligned}M_{X}(t)&=\int _{-\infty }^{\infty }e^{tx}f(x)\,dx\\&=\int _{-\infty }^{\infty }\left(1+tx+{\frac {t^{2}x^{2}}{2!}}+\cdots +{\frac {t^{n}x^{n}}{n!}}+\cdots \right)f(x)\,dx\\&=1+tm_{1}+{\frac {t^{2}m_{2}}{2!}}+\cdots +{\frac {t^{n}m_{n}}{n!}}+\cdots ,\end{aligned}}}$

где ${\displaystyle m_{n}}$ это ${\displaystyle n}$th момент.

Линейные преобразования случайных величин

Если случайная величина ${\displaystyle X}$ имеет функцию производства моментов ${\displaystyle M_{X}(t)}$, тогда ${\displaystyle \alpha X+\beta }$ имеет функцию производства моментов ${\displaystyle M_{\alpha X+\beta }(t)=e^{\beta t}M_{X}(\alpha t)}$

${\displaystyle M_{\alpha X+\beta }(t)=E[e^{(\alpha X+\beta )t}]=e^{\beta t}E[e^{\alpha Xt}]=e^{\beta t}M_{X}(\alpha t)}$

Линейная комбинация независимых случайных величин

Если ${\displaystyle S_{n}=\sum _{i=1}^{n}a_{i}X_{i}}$, где Икс_я являются независимыми случайными величинами, а а_я являются константами, то функция плотности вероятности для S_п это свертка функций плотности вероятности каждого из Икс_я, а производящая функция для S_п дан кем-то

${\displaystyle M_{S_{n}}(t)=M_{X_{1}}(a_{1}t)M_{X_{2}}(a_{2}t)\cdots M_{X_{n}}(a_{n}t)\,.}$

Векторнозначные случайные величины

За векторные случайные величины ${\displaystyle \mathbf {X} }$ с настоящий компонентов, функция создания момента задается

${\displaystyle M_{X}(\mathbf {t} )=E\left(e^{\langle \mathbf {t} ,\mathbf {X} \rangle }\right)}$

где ${\displaystyle \mathbf {t} }$ вектор и ${\displaystyle \langle \cdot ,\cdot \rangle }$ это скалярное произведение.

Важные свойства

Функции, порождающие моменты, положительны и бревенчато-выпуклый, с участием M(0) = 1.

Важным свойством функции создания момента является то, что она однозначно определяет распределение. Другими словами, если ${\displaystyle X}$ и ${\displaystyle Y}$ - две случайные величины и для всех значенийт,

${\displaystyle M_{X}(t)=M_{Y}(t),\,}$

тогда

${\displaystyle F_{X}(x)=F_{Y}(x)\,}$

для всех значений Икс (или эквивалентно Икс и Y имеют такое же распределение). Это утверждение не эквивалентно утверждению «если два распределения имеют одинаковые моменты, то они идентичны во всех точках». Это связано с тем, что в некоторых случаях моменты существуют, а функции, производящей момент, нет, потому что предел

${\displaystyle \lim _{n\rightarrow \infty }\sum _{i=0}^{n}{\frac {t^{i}m_{i}}{i!}}}$

может не существовать. В логнормальное распределение является примером того, когда это происходит.

Расчеты моментов

Функция, генерирующая момент, называется так потому, что, если она существует на открытом интервале вокруг т = 0, то это экспоненциальная производящая функция из моменты из распределение вероятностей:

${\displaystyle m_{n}=E\left(X^{n}\right)=M_{X}^{(n)}(0)=\left.{\frac {d^{n}M_{X}}{dt^{n}}}\right|_{t=0}.}$

То есть с п будучи неотрицательным целым числом, пмомент около 0 - это п-я производная производящей функции момента, вычисленная на т = 0.

Другие свойства

Неравенство Дженсена дает простую нижнюю границу для функции создания момента:

${\displaystyle M_{X}(t)\geq e^{\mu t},}$

где ${\displaystyle \mu }$ среднее значение Икс.

Верхняя граница функции создания момента может использоваться в сочетании с Неравенство Маркова ограничить верхний хвост реальной случайной величины Икс. Это утверждение также называют Чернов граница. С ${\displaystyle x\mapsto e^{xt}}$ монотонно возрастает при ${\displaystyle t>0}$, у нас есть

${\displaystyle P(X\geq a)=P(e^{tX}\geq e^{ta})\leq e^{-at}E[e^{tX}]=e^{-at}M_{X}(t)}$

для любого ${\displaystyle t>0}$ и любой а, при условии ${\displaystyle M_{X}(t)}$ существуют. Например, когда Икс стандартное нормальное распределение и ${\displaystyle a>0}$, мы можем выбрать ${\displaystyle t=a}$ и напомним, что ${\displaystyle M_{X}(t)=e^{t^{2}/2}}$. Это дает ${\displaystyle P(X\geq a)\leq e^{-a^{2}/2}}$, что в пределах 1+а точного значения.

Различные леммы, например Лемма Хёффдинга или Неравенство Беннета обеспечивают границы функции создания момента в случае ограниченной случайной величины с нулевым средним.

Когда ${\displaystyle X}$ неотрицательна, производящая функция момента дает простую и полезную оценку моментов:

${\displaystyle E[X^{m}]\leq \left({\frac {m}{te}}\right)^{m}M_{X}(t),}$

Для любого ${\displaystyle X,m\geq 0}$ и ${\displaystyle t>0}$.

Это следует из простого неравенства ${\displaystyle 1+x\leq e^{x}}$ в который мы можем заменить ${\displaystyle x'=tx/m-1}$ подразумевает ${\displaystyle tx/m\leq e^{tx/m-1}}$ для любого ${\displaystyle x,t,m\in \mathbb {R} }$.Сейчас если ${\displaystyle t>0}$ и ${\displaystyle x,m\geq 0}$, это можно изменить на ${\displaystyle x^{m}\leq (m/(te))^{m}e^{tx}}$.Ожидание с обеих сторон дает предел ${\displaystyle E[X^{m}]}$ с точки зрения ${\displaystyle E[e^{tX}]}$.

В качестве примера рассмотрим ${\displaystyle X\sim {\text{Chi-Squared}}}$ с ${\displaystyle k}$ степени свободы. потом мы знаем ${\displaystyle M_{X}(t)=(1-2t)^{-k/2}}$.Выбор ${\displaystyle t=m/(2m+k)}$ и подключившись к границе, мы получаем

${\displaystyle E[X^{m}]\leq (1+2m/k)^{k/2}e^{-m}(k+2m)^{m}.}$

Мы знаем это в этом случае правильная граница ${\displaystyle E[X^{m}]\leq 2^{m}\Gamma (m+k/2)/\Gamma (k/2)}$. Для сравнения оценок можно рассмотреть асимптотику при больших ${\displaystyle k}$Здесь оценка Mgf равна ${\displaystyle k^{m}(1+m^{2}/k+O(1/k^{2}))}$, где действительная оценка ${\displaystyle k^{m}(1+(m^{2}-m)/k+O(1/k^{2}))}$Таким образом, оценка Mgf в этом случае очень сильна.

Отношение к другим функциям

С функцией создания момента связан ряд других трансформирует распространены в теории вероятностей:

Характеристическая функция

В характеристическая функция ${\displaystyle \varphi _{X}(t)}$ связана с производящей момент функцией через ${\displaystyle \varphi _{X}(t)=M_{iX}(t)=M_{X}(it):}$ характеристическая функция является производящей момент функцией iX или производящая функция момента Икс оценивается на мнимой оси. Эту функцию также можно рассматривать как преобразование Фурье из функция плотности вероятности, который, следовательно, может быть выведен из него с помощью обратного преобразования Фурье.

Кумулянт-производящая функция

В кумулянт-производящая функция определяется как логарифм функции, производящей момент; некоторые вместо этого определяют функцию генерации кумулянта как логарифм характеристическая функция, в то время как другие называют это последним второй кумулянт-производящая функция.

Вероятностно-производящая функция

В функция, генерирующая вероятность определяется как ${\displaystyle G(z)=E\left[z^{X}\right].\,}$ Отсюда сразу следует, что ${\displaystyle G(e^{t})=E\left[e^{tX}\right]=M_{X}(t).\,}$

Смотрите также

• Энтропийная ценность под угрозой
• Факториальная производящая функция момента
• Функция оценки
• Проблема моментов гамбургера

Рекомендации

Цитаты

1. Балмер, М. Г. (1979). Принципы статистики. Дувр. С. 75–79. ISBN  0-486-63760-3.
2. Kotz et al.^{[требуется полная цитата ]} п. 37 с использованием 1 как числа степеней свободы для восстановления распределения Коши

Источники

• Казелла, Джордж; Бергер, Роджер. Статистические выводы (2-е изд.). С. 59–68. ISBN  978-0-534-24312-8.