Совместное распределение вероятностей - Joint probability distribution

${\displaystyle X}$

${\displaystyle Y}$

${\displaystyle p(X)}$

${\displaystyle p(Y)}$

Многие выборочные наблюдения (черные) показаны из совместного распределения вероятностей. Также показаны предельные плотности.

Данный случайные переменные ${\displaystyle X,Y,\ldots }$, которые определены на вероятностное пространство, то совместное распределение вероятностей за ${\displaystyle X,Y,\ldots }$ это распределение вероятностей что дает вероятность того, что каждый из ${\displaystyle X,Y,\ldots }$ попадает в любой конкретный диапазон или дискретный набор значений, указанных для этой переменной. В случае только двух случайных величин это называется двумерное распределение, но эта концепция обобщается на любое количество случайных величин, давая многомерное распределение.

Совместное распределение вероятностей может быть выражено как совместное кумулятивная функция распределения или с точки зрения совместного функция плотности вероятности (в случае непрерывные переменные ) или совместный функция массы вероятности (в случае дискретный переменные). Их, в свою очередь, можно использовать для поиска двух других типов распределений: предельное распределение дает вероятности для любой из переменных без ссылки на какие-либо конкретные диапазоны значений для других переменных, а условное распределение вероятностей дающие вероятности для любого подмножества переменных, обусловленные конкретными значениями остальных переменных.

Примеры

Рисует из урны

Предположим, что каждая из двух урн содержит вдвое больше красных шаров, чем синих шаров, и не содержит других, и предположим, что из каждой урны случайным образом выбирается один шар, причем два розыгрыша не зависят друг от друга. Позволять ${\displaystyle A}$ и ${\displaystyle B}$ быть дискретными случайными величинами, связанными с результатами розыгрыша из первой и второй урн соответственно. Вероятность вытащить красный шар из любой из урн составляет 2/3, а вероятность вытащить синий шар - 1/3. Совместное распределение вероятностей можно представить в виде следующей таблицы:

	A = красный	A = синий	P (B)
B = красный	(2/3)(2/3)=4/9	(1/3)(2/3)=2/9	4/9+2/9=2/3
B = синий	(2/3)(1/3)=2/9	(1/3)(1/3)=1/9	2/9+1/9=1/3
P (А)	4/9+2/9=2/3	2/9+1/9=1/3

Каждая из четырех внутренних ячеек показывает вероятность конкретной комбинации результатов двух ничьих; эти вероятности являются совместным распределением. В любой одной ячейке вероятность возникновения конкретной комбинации (поскольку ничьи независимы) является произведением вероятности указанного результата для A и вероятности указанного результата для B. Сумма вероятностей в этих четырех ячейках равна 1, как это всегда верно для вероятностных распределений.

Более того, последняя строка и последний столбец дают распределение предельной вероятности для A и маргинального распределения вероятностей для B соответственно. Например, для A первая из этих ячеек дает сумму вероятностей того, что A будет красным, независимо от того, какая вероятность для B в столбце над ячейкой возникает, как 2/3. Таким образом, маргинальное распределение вероятностей для ${\displaystyle A}$ дает ${\displaystyle A}$вероятности безусловный на ${\displaystyle B}$, на полях таблицы.

Подбрасывание монет

Рассмотрим переворот двух честные монеты; позволять ${\displaystyle A}$ и ${\displaystyle B}$ быть дискретными случайными величинами, связанными с результатами первого и второго подбрасывания монеты соответственно. Каждый бросок монеты - это Бернулли суд и имеет Распределение Бернулли. Если на монете отображается «орел», тогда соответствующая случайная величина принимает значение 1, в противном случае - значение 0. Вероятность каждого из этих исходов равна 1/2, поэтому маргинальные (безусловные) функции плотности равны

${\displaystyle P(A)=1/2\quad {\text{for}}\quad A\in \{0,1\};}$

${\displaystyle P(B)=1/2\quad {\text{for}}\quad B\in \{0,1\}.}$

Совместная функция масс вероятности ${\displaystyle A}$ и ${\displaystyle B}$ определяет вероятности для каждой пары исходов. Все возможные исходы

${\displaystyle (A=0,B=0),(A=0,B=1),(A=1,B=0),(A=1,B=1).}$

Поскольку каждый исход одинаково вероятен, совместная функция массы вероятности принимает вид

${\displaystyle P(A,B)=1/4\quad {\text{for}}\quad A,B\in \{0,1\}.}$

Поскольку подбрасывания монеты независимы, функция совместной вероятностной массы является произведением маргиналов:

${\displaystyle P(A,B)=P(A)P(B)\quad {\text{for}}\quad A,B\in \{0,1\}.}$

Бросая кости

Рассмотрим бросок честного кубика и позвольте ${\displaystyle A=1}$ если число четное (например, 2, 4 или 6) и ${\displaystyle A=0}$ иначе. Кроме того, пусть ${\displaystyle B=1}$ если число простое (например, 2, 3 или 5) и ${\displaystyle B=0}$ иначе.

	1	2	3	4	5	6
А	0	1	0	1	0	1
B	0	1	1	0	1	0

Тогда совместное распределение ${\displaystyle A}$ и ${\displaystyle B}$, выраженная как функция массы вероятности, равна

${\displaystyle \mathrm {P} (A=0,B=0)=P\{1\}={\frac {1}{6}},\quad \quad \mathrm {P} (A=1,B=0)=P\{4,6\}={\frac {2}{6}},}$

${\displaystyle \mathrm {P} (A=0,B=1)=P\{3,5\}={\frac {2}{6}},\quad \quad \mathrm {P} (A=1,B=1)=P\{2\}={\frac {1}{6}}.}$

Сумма этих вероятностей обязательно равна 1, поскольку вероятность немного комбинация ${\displaystyle A}$ и ${\displaystyle B}$ происходит 1.

Пример из реальной жизни:

Рассмотрим производственное предприятие, которое заполняет пластиковые бутылки стиральным порошком. Измеряется вес каждой бутылки (Y) и объем содержащегося в ней стирального порошка (X).

Распределение предельной вероятности

Если в случайном эксперименте определяется более одной случайной величины, важно различать совместное распределение вероятностей X и Y и распределение вероятностей каждой переменной в отдельности. Индивидуальное распределение вероятностей случайной величины называется ее предельным распределением вероятностей. В общем, предельное распределение вероятностей X может быть определено из совместного распределения вероятностей X и других случайных величин.

Если совместная функция плотности вероятности случайной величины X и Y равна ${\displaystyle f_{X,Y}(x,y)}$ , предельная функция плотности вероятности X и Y равна:

${\displaystyle f_{X}(x)=\int f_{XY}(x,y)\;dy}$ , ${\displaystyle f_{Y}(y)=\int f_{XY}(x,y)\;dx}$

где первый интеграл берется по всем точкам в диапазоне (X, Y), для которых X = x, а второй интеграл по всем точкам в диапазоне (X, Y), для которых Y = y.^[1]

Совместная кумулятивная функция распределения

Для пары случайных величин ${\displaystyle X,Y}$, совместная интегральная функция распределения (CDF) ${\displaystyle F_{XY}}$ дан кем-то^{[2]:п. 89}

${\displaystyle F_{X,Y}(x,y)=\operatorname {P} (X\leq x,Y\leq y)}$

(Уравнение 1)

где правая часть представляет собой вероятность что случайная величина ${\displaystyle X}$ принимает значение меньше или равное ${\displaystyle x}$ и который ${\displaystyle Y}$ принимает значение меньше или равное ${\displaystyle y}$.

За ${\displaystyle N}$ случайные переменные ${\displaystyle X_{1},\ldots ,X_{N}}$, совместный CDF ${\displaystyle F_{X_{1},\ldots ,X_{N}}}$ дан кем-то

${\displaystyle F_{X_{1},\ldots ,X_{N}}(x_{1},\ldots ,x_{N})=\operatorname {P} (X_{1}\leq x_{1},\ldots ,X_{N}\leq x_{N})}$

(Уравнение 2)

Толкование ${\displaystyle N}$ случайные величины как случайный вектор ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{N})^{T}}$ дает более короткое обозначение:

${\displaystyle F_{\mathbf {X} }(\mathbf {x} )=\operatorname {P} (X_{1}\leq x_{1},\ldots ,X_{N}\leq x_{N})}$

Совместная функция плотности или функция массы

Дискретный корпус

Сустав функция массы вероятности из двух дискретные случайные величины ${\displaystyle X,Y}$ является:

${\displaystyle p_{X,Y}(x,y)=\mathrm {P} (X=x\ \mathrm {and} \ Y=y)}$

(Уравнение 3)

или написано в терминах условных распределений

${\displaystyle p_{X,Y}(x,y)=\mathrm {P} (Y=y\mid X=x)\cdot \mathrm {P} (X=x)=\mathrm {P} (X=x\mid Y=y)\cdot \mathrm {P} (Y=y)}$

куда ${\displaystyle \mathrm {P} (Y=y\mid X=x)}$ это вероятность из ${\displaystyle Y=y}$ при условии ${\displaystyle X=x}$.

Обобщением предыдущего случая двух переменных является совместное распределение вероятностей ${\displaystyle n\,}$ дискретные случайные величины ${\displaystyle X_{1},X_{2},\dots ,X_{n}}$ который:

${\displaystyle p_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=\mathrm {P} (X_{1}=x_{1}{\text{ and }}\dots {\text{ and }}X_{n}=x_{n})}$

(Уравнение 4)

или эквивалентно

${\displaystyle {\begin{aligned}p_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})&=\mathrm {P} (X_{1}=x_{1})\cdot \mathrm {P} (X_{2}=x_{2}\mid X_{1}=x_{1})\\&\cdot \mathrm {P} (X_{3}=x_{3}\mid X_{1}=x_{1},X_{2}=x_{2})\\&\dots \\&\cdot P(X_{n}=x_{n}\mid X_{1}=x_{1},X_{2}=x_{2},\dots ,X_{n-1}=x_{n-1}).\end{aligned}}}$.

Эта личность известна как цепное правило вероятности.

Поскольку это вероятности, в случае двух переменных имеем

${\displaystyle \sum _{i}\sum _{j}\mathrm {P} (X=x_{i}\ \mathrm {and} \ Y=y_{j})=1,\,}$

который обобщает для ${\displaystyle n\,}$ дискретные случайные величины ${\displaystyle X_{1},X_{2},\dots ,X_{n}}$ к

${\displaystyle \sum _{i}\sum _{j}\dots \sum _{k}\mathrm {P} (X_{1}=x_{1i},X_{2}=x_{2j},\dots ,X_{n}=x_{nk})=1.\;}$

Непрерывный случай

В соединение функция плотности вероятности ${\displaystyle f_{X,Y}(x,y)}$ для двух непрерывные случайные величины определяется как производная совместной кумулятивной функции распределения (см. Уравнение 1):

${\displaystyle f_{X,Y}(x,y)={\frac {\partial ^{2}F_{X,Y}(x,y)}{\partial x\partial y}}}$

(Уравнение 5)

Это равно:

${\displaystyle f_{X,Y}(x,y)=f_{Y\mid X}(y\mid x)f_{X}(x)=f_{X\mid Y}(x\mid y)f_{Y}(y)}$

куда ${\displaystyle f_{Y\mid X}(y\mid x)}$ и ${\displaystyle f_{X\mid Y}(x\mid y)}$ являются условные распределения из ${\displaystyle Y}$ данный ${\displaystyle X=x}$ и из ${\displaystyle X}$ данный ${\displaystyle Y=y}$ соответственно, и ${\displaystyle f_{X}(x)}$ и ${\displaystyle f_{Y}(y)}$ являются маржинальные распределения за ${\displaystyle X}$ и ${\displaystyle Y}$ соответственно.

Определение естественным образом распространяется на более чем две случайные величины:

${\displaystyle f_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})={\frac {\partial ^{n}F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})}{\partial x_{1}\ldots \partial x_{n}}}}$

(Уравнение 6)

Опять же, поскольку это вероятностные распределения, мы имеем

${\displaystyle \int _{x}\int _{y}f_{X,Y}(x,y)\;dy\;dx=1}$

соответственно

${\displaystyle \int _{x_{1}}\ldots \int _{x_{n}}f_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})\;dx_{n}\ldots \;dx_{1}=1}$

Смешанный случай

«Плотность смешанных стыков» может быть определена, если одна или несколько случайных величин являются непрерывными, а другие случайные величины - дискретными. С одной переменной каждого типа мы имеем

${\displaystyle {\begin{aligned}f_{X,Y}(x,y)=f_{X\mid Y}(x\mid y)\mathrm {P} (Y=y)=\mathrm {P} (Y=y\mid X=x)f_{X}(x).\end{aligned}}}$

Один пример ситуации, в которой кто-то может пожелать найти кумулятивное распределение одной случайной величины, которая является непрерывной, и другой случайной величины, которая является дискретной, возникает, когда кто-то желает использовать логистическая регрессия в прогнозировании вероятности двоичного результата Y в зависимости от значения непрерывно распределенного результата ${\displaystyle X}$. Один должен используйте «смешанную» плотность соединений при нахождении кумулятивного распределения этого двоичного результата, потому что входные переменные ${\displaystyle (X,Y)}$ изначально были определены таким образом, что нельзя было коллективно присвоить им ни функцию плотности вероятности, ни функцию массы вероятности. Формально, ${\displaystyle f_{X,Y}(x,y)}$ - функция плотности вероятности ${\displaystyle (X,Y)}$ с уважением к мера продукта на соответствующих поддерживает из ${\displaystyle X}$ и ${\displaystyle Y}$. Затем любое из этих двух разложений можно использовать для восстановления совместной кумулятивной функции распределения:

${\displaystyle {\begin{aligned}F_{X,Y}(x,y)&=\sum \limits _{t\leq y}\int _{s=-\infty }^{x}f_{X,Y}(s,t)\;ds.\end{aligned}}}$

Это определение обобщается на смесь произвольного числа дискретных и непрерывных случайных величин.

Дополнительные свойства

Совместное распределение для независимых переменных

В общем, две случайные величины ${\displaystyle X}$ и ${\displaystyle Y}$ находятся независимый тогда и только тогда, когда совместная кумулятивная функция распределения удовлетворяет

${\displaystyle F_{X,Y}(x,y)=F_{X}(x)\cdot F_{Y}(y)}$

Две дискретные случайные величины ${\displaystyle X}$ и ${\displaystyle Y}$ независимы тогда и только тогда, когда совместная функция массы вероятности удовлетворяет

${\displaystyle P(X=x\ {\mbox{and}}\ Y=y)=P(X=x)\cdot P(Y=y)}$

для всех ${\displaystyle x}$ и ${\displaystyle y}$.

По мере того как количество независимых случайных событий растет, соответствующее значение совместной вероятности быстро уменьшается до нуля в соответствии с отрицательным экспоненциальным законом.

Точно так же две абсолютно непрерывные случайные величины независимы тогда и только тогда, когда

${\displaystyle f_{X,Y}(x,y)=f_{X}(x)\cdot f_{Y}(y)}$

для всех ${\displaystyle x}$ и ${\displaystyle y}$. Это означает, что получение любой информации о значении одной или нескольких случайных величин приводит к условному распределению любой другой переменной, которое идентично ее безусловному (маргинальному) распределению; таким образом, никакая переменная не предоставляет никакой информации ни о какой другой переменной.

Совместное распределение для условно зависимых переменных

Если подмножество ${\displaystyle A}$ переменных ${\displaystyle X_{1},\cdots ,X_{n}}$ является условно зависимый учитывая другое подмножество ${\displaystyle B}$ этих переменных, то функция массы вероятности совместного распределения равна ${\displaystyle \mathrm {P} (X_{1},\ldots ,X_{n})}$. ${\displaystyle \mathrm {P} (X_{1},\ldots ,X_{n})}$ равно ${\displaystyle P(B)\cdot P(A\mid B)}$. Следовательно, он может быть эффективно представлен распределениями вероятностей меньшей размерности ${\displaystyle P(B)}$ и ${\displaystyle P(A\mid B)}$. Такие отношения условной независимости можно представить в виде Байесовская сеть или же функции связки.

Ковариация

Когда две или несколько случайных величин определены в вероятностном пространстве, полезно описать, как они изменяются вместе; то есть полезно измерить взаимосвязь между переменными. Распространенной мерой связи между двумя случайными величинами является ковариация. Ковариация - это мера линейной связи между случайными величинами. Если связь между случайными величинами нелинейна, ковариация может не зависеть от этой связи.

Ковариация между случайной величиной X и Y, обозначенная как cov (X, Y), равна:

${\displaystyle \sigma _{XY}=E[(X-\mu _{x})(Y-\mu _{y})]=E(XY)-\mu _{x}\mu _{y}}$^[3]

Корреляция

Существует еще одна мера связи между двумя случайными величинами, которую часто легче интерпретировать, чем ковариацию.

Корреляция просто масштабирует ковариацию как произведение стандартного отклонения каждой переменной. Следовательно, корреляция - это безразмерная величина, которую можно использовать для сравнения линейных отношений между парами переменных в разных единицах измерения. Если точки в совместном распределении вероятностей X и Y, которые получают положительную вероятность, имеют тенденцию падать вдоль линии положительного (или отрицательного) наклона, ρ_XY близка к +1 (или -1). Если ρ_XY равно +1 или -1, можно показать, что точки в совместном распределении вероятностей, которые получают положительную вероятность, попадают точно по прямой. Говорят, что две случайные величины с ненулевой корреляцией коррелированы. Подобно ковариации, корреляция - это мера линейной связи между случайными величинами.

Корреляция между случайными величинами X и Y, обозначенная как

${\displaystyle \rho _{XY}={\frac {cov(X,Y)}{\sqrt {V(X)V(Y)}}}={\frac {\sigma _{XY}}{\sigma _{X}\sigma _{Y}}}}$

Важные именованные дистрибутивы

Именованные совместные распределения, которые часто встречаются в статистике, включают многомерное нормальное распределение, то многомерное стабильное распределение, то полиномиальное распределение, то отрицательное полиномиальное распределение, то многомерное гипергеометрическое распределение, а эллиптическое распределение.

Смотрите также

• Байесовское программирование
• Дерево Чау – Лю
• Условная возможность
• Копула (теория вероятностей)
• Теорема распада
• Многовариантная статистика
• Статистическая интерференция
• Попарно независимое распределение

Рекомендации

1. Монтгомери, Дуглас К. (19 ноября 2013 г.). Прикладная статистика и вероятность для инженеров. Рангер, Джордж К. (Шестое изд.). Хобокен, штат Нью-Джерси. ISBN  978-1-118-53971-2. OCLC  861273897.
2. Парк, Кун Иль (2018). Основы вероятностных и случайных процессов с приложениями к коммуникациям. Springer. ISBN  978-3-319-68074-3.
3. Монтгомери, Дуглас К. (19 ноября 2013 г.). Прикладная статистика и вероятность для инженеров. Рангер, Джордж К. (Шестое изд.). Хобокен, штат Нью-Джерси. ISBN  978-1-118-53971-2. OCLC  861273897.

внешняя ссылка

• «Совместное распространение», Энциклопедия математики, EMS Press, 2001 [1994]
• «Многомерное распределение», Энциклопедия математики, EMS Press, 2001 [1994]
• Современное введение в вероятность и статистику: понимание, почему и как. Деккинг, Мишель, 1946-. Лондон: Спрингер. 2005 г. ISBN  978-1-85233-896-1. OCLC  262680588.
• «Совместная непрерывная функция плотности». PlanetMath.
• Mathworld: совместная функция распределения