Мультиномиальное распределение - Multinomial distribution

Полиномиальный

Параметры	${\displaystyle n>0}$ количество испытаний (целое число ) ${\displaystyle p_{1},\ldots ,p_{k}}$ вероятности событий (${\displaystyle \Sigma p_{i}=1}$)
Поддерживать	${\displaystyle x_{i}\in \{0,\dots ,n\},\,\,\,\,i\in \{1,\dots ,k\}}$ ${\displaystyle \Sigma x_{i}=n\!}$
PMF	${\displaystyle {\frac {n!}{x_{1}!\cdots x_{k}!}}p_{1}^{x_{1}}\cdots p_{k}^{x_{k}}}$
Иметь в виду	${\displaystyle \operatorname {E} (X_{i})=np_{i}}$
Дисперсия	${\displaystyle \operatorname {Var} (X_{i})=np_{i}(1-p_{i})}$ ${\displaystyle \operatorname {Cov} (X_{i},X_{j})=-np_{i}p_{j}~~(i\neq j)}$
Энтропия	${\displaystyle -\log(n!)-n\sum _{i=1}^{k}p_{i}\log(p_{i})+\sum _{i=1}^{k}\sum _{x_{i}=0}^{n}{\binom {n}{x_{i}}}p_{i}^{x_{i}}(1-p_{i})^{n-x_{i}}\log(x_{i}!)}$
MGF	${\displaystyle {\biggl (}\sum _{i=1}^{k}p_{i}e^{t_{i}}{\biggr )}^{n}}$
CF	${\displaystyle \left(\sum _{j=1}^{k}p_{j}e^{it_{j}}\right)^{n}}$ где ${\displaystyle i^{2}=-1}$
PGF	${\displaystyle {\biggl (}\sum _{i=1}^{k}p_{i}z_{i}{\biggr )}^{n}{\text{ for }}(z_{1},\ldots ,z_{k})\in \mathbb {C} ^{k}}$

В теория вероятности, то полиномиальное распределение является обобщением биномиальное распределение. Например, он моделирует вероятность подсчета для каждой стороны k-сторонний штамп п раз. За п независимый испытания, каждое из которых приводит к успеху ровно одного из k категории, где каждая категория имеет заданную фиксированную вероятность успеха, полиномиальное распределение дает вероятность любой конкретной комбинации количества успехов для различных категорий.

Когда k равно 2 и п равно 1, полиномиальное распределение - это Распределение Бернулли. Когда k равно 2 и п больше 1, это биномиальное распределение. Когда k больше 2 и п равно 1, это категориальное распределение.

В Распределение Бернулли моделирует результат единого Бернулли суд. Другими словами, он моделирует, переворачивает ли (возможно, пристрастный ) монета один раз приведет либо к успеху (получение головы), либо к провалу (получение хвоста). В биномиальное распределение обобщает это на количество голов от выполнения п независимые броски (испытания Бернулли) одной и той же монеты. Полиномиальное распределение моделирует результат п эксперименты, где результат каждого испытания имеет категориальное распределение, например, прокатка k-сторонний штамп п раз.

Позволять k - фиксированное конечное число. Математически мы имеем k возможные взаимоисключающие исходы с соответствующими вероятностями п₁, ..., п_k, и п независимые судебные процессы. Поскольку k результаты являются взаимоисключающими, и одно должно произойти, мы имеем п_я ≥ 0 для я = 1, ..., k и ${\displaystyle \sum _{i=1}^{k}p_{i}=1}$. Тогда если случайные величины Икс_я указать количество раз номер результата я наблюдается над п испытания, вектор Икс = (Икс₁, ..., Икс_k) следует полиномиальному распределению с параметрами п и п, где п = (п₁, ..., п_k). Хотя испытания независимы, их результаты Икс являются зависимыми, потому что их необходимо суммировать до n.

В некоторых областях, таких как обработка естественного языка, категориальное и полиномиальное распределения являются синонимами, и обычно говорят о полиномиальном распределении, когда категориальное распределение на самом деле имеется в виду. Это связано с тем, что иногда удобно выразить результат категориального распределения как вектор «1 из K» (вектор с одним элементом, содержащим 1, а все остальные элементы содержат 0), а не как целое число. В диапазоне ${\displaystyle 1\dots K}$; в этой форме категориальное распределение эквивалентно полиномиальному распределению по одному испытанию.

Технические характеристики

Вероятностная функция масс

Предположим, кто-то проводит эксперимент по извлечению п шары из k разные цвета из мешка, заменяя извлеченные шары после каждого розыгрыша. Шары одного цвета эквивалентны. Обозначим переменную, которая представляет собой количество извлеченных цветных шаров. я (я = 1, ..., k) так как Икс_я, и обозначим как п_я вероятность того, что данное извлечение будет цветным я. В функция массы вероятности этого полиномиального распределения:

${\displaystyle {\begin{aligned}f(x_{1},\ldots ,x_{k};n,p_{1},\ldots ,p_{k})&{}=\Pr(X_{1}=x_{1}{\text{ and }}\dots {\text{ and }}X_{k}=x_{k})\\&{}={\begin{cases}{\displaystyle {n! \over x_{1}!\cdots x_{k}!}p_{1}^{x_{1}}\times \cdots \times p_{k}^{x_{k}}},\quad &{\text{when }}\sum _{i=1}^{k}x_{i}=n\\\\0&{\text{otherwise,}}\end{cases}}\end{aligned}}}$

для неотрицательных целых чисел Икс₁, ..., Икс_k.

Функция массы вероятности может быть выражена с помощью гамма-функция в качестве:

${\displaystyle f(x_{1},\dots ,x_{k};p_{1},\ldots ,p_{k})={\frac {\Gamma (\sum _{i}x_{i}+1)}{\prod _{i}\Gamma (x_{i}+1)}}\prod _{i=1}^{k}p_{i}^{x_{i}}.}$

Эта форма показывает свое сходство с Распределение Дирихле, что является его сопряженный предшествующий.

Визуализация

Как срезы обобщенного треугольника Паскаля

Так же, как можно интерпретировать биномиальное распределение как (нормализованные) одномерные (1D) срезы Треугольник Паскаля, так же можно интерпретировать полиномиальное распределение как двумерные (треугольные) срезы Пирамида паскаля, или 3D / 4D / + (пирамидальные) срезы многомерных аналогов треугольника Паскаля. Это показывает интерпретацию ассортимент распределения: дискретизированные равноматериальные «пирамиды» в произвольной размерности, т.е. а симплекс с сеткой.^{[нужна цитата ]}

В качестве полиномиальных коэффициентов

Точно так же, как можно интерпретировать биномиальное распределение как полиномиальные коэффициенты ${\displaystyle (p+(1-p))^{n}}$ в развернутом виде можно интерпретировать полиномиальное распределение как коэффициенты ${\displaystyle (p_{1}+p_{2}+p_{3}+\cdots +p_{k})^{n}}$ при расширении. (Обратите внимание, что, как и в случае биномиального распределения, коэффициенты должны в сумме равняться 1.) Это происхождение названия "полиномиальный распределение".

Характеристики

В ожидается количество раз результат я наблюдалось за п испытания

${\displaystyle \operatorname {E} (X_{i})=np_{i}.\,}$

В ковариационная матрица составляет. Каждая диагональная запись - это отклонение биномиально распределенной случайной величины, и поэтому

${\displaystyle \operatorname {Var} (X_{i})=np_{i}(1-p_{i}).\,}$

Недиагональные записи - это ковариации:

${\displaystyle \operatorname {Cov} (X_{i},X_{j})=-np_{i}p_{j}\,}$

за я, j отчетливый.

Все ковариации отрицательны, поскольку для фиксированного п, увеличение одного компонента полиномиального вектора требует уменьшения другого компонента.

Когда эти выражения объединяются в матрицу с я, j элемент ${\displaystyle \operatorname {cov} (X_{i},X_{j}),}$ в результате k × k положительно-полуопределенный ковариационная матрица ранга k - 1. В частном случае, когда k = п и где п_я все равны, ковариационная матрица центрирующая матрица.

Записи соответствующих корреляционная матрица находятся

${\displaystyle \rho (X_{i},X_{i})=1.}$

${\displaystyle \rho (X_{i},X_{j})={\frac {\operatorname {Cov} (X_{i},X_{j})}{\sqrt {\operatorname {Var} (X_{i})\operatorname {Var} (X_{j})}}}={\frac {-p_{i}p_{j}}{\sqrt {p_{i}(1-p_{i})p_{j}(1-p_{j})}}}=-{\sqrt {\frac {p_{i}p_{j}}{(1-p_{i})(1-p_{j})}}}.}$

Обратите внимание, что размер выборки выпадает из этого выражения.

Каждый из k компоненты по отдельности имеет биномиальное распределение с параметрами п и п_я, для соответствующего значения нижнего индекса я.

В поддержка полиномиального распределения - это множество

${\displaystyle \{(n_{1},\dots ,n_{k})\in \mathbb {N} ^{k}\mid n_{1}+\cdots +n_{k}=n\}.\,}$

Количество его элементов

${\displaystyle {n+k-1 \choose k-1}.}$

Матричные обозначения

В матричных обозначениях

${\displaystyle \operatorname {E} (\mathbf {X} )=n\mathbf {p} ,\,}$

и

${\displaystyle \operatorname {Var} (\mathbf {X} )=n\lbrace \operatorname {diag} (\mathbf {p} )-\mathbf {p} \mathbf {p} ^{\rm {T}}\rbrace ,\,}$

с п^Т = вектор-строка, транспонированная вектор-столбец п.

пример

Предположим, что на трехсторонних выборах в большой стране кандидат A получил 20% голосов, кандидат B получил 30% голосов, а кандидат C получил 50% голосов. Если шесть избирателей выбраны случайным образом, какова вероятность того, что в выборке будет ровно один сторонник кандидата A, два сторонника кандидата B и три сторонника кандидата C?

Примечание. Поскольку мы предполагаем, что число голосующих велико, разумно и допустимо считать вероятности неизменными после того, как избиратель будет выбран для выборки. С технической точки зрения это выборка без замены, поэтому правильным распределением является многомерное гипергеометрическое распределение, но распределения сходятся по мере роста населения.

${\displaystyle \Pr(A=1,B=2,C=3)={\frac {6!}{1!2!3!}}(0.2^{1})(0.3^{2})(0.5^{3})=0.135}$

Выборка из полиномиального распределения

Сначала измените порядок параметров ${\displaystyle p_{1},\ldots ,p_{k}}$ таким образом, чтобы они были отсортированы в порядке убывания (это только для ускорения вычислений и не является строго необходимым). Теперь для каждого испытания нарисуйте вспомогательную переменную Икс из равномерного (0, 1) распределения. Результирующий результат - компонент

${\displaystyle j=\min \left\{j'\in \{1,\dots ,k\}:\left(\sum _{i=1}^{j'}p_{i}\right)-X\geq 0\right\}.}$

{Икс_j = 1, Икс_k = 0 для k ≠ j } - одно наблюдение из полиномиального распределения с ${\displaystyle p_{1},\ldots ,p_{k}}$ и п = 1. Сумма независимых повторений этого эксперимента представляет собой наблюдение из полиномиального распределения с п равно количеству таких повторений.

Для моделирования из полиномиального распределения

Для моделирования из полиномиального распределения могут использоваться различные методы. Очень простое решение - использовать однородный генератор псевдослучайных чисел на (0,1). Сначала разделим интервал (0,1) наk подынтервалы, равные по длине вероятностям k категории. Затем мы генерируем п независимых псевдослучайных чисел, чтобы определить, в каком из k интервалы, которые они встречаются, и подсчитывают количество появлений в каждом интервале.

пример

Если у нас есть:

Категории	1	2	3	4	5	6
Вероятности	0.15	0.20	0.30	0.16	0.12	0.07
Верхние пределы подынтервалов	0.15	0.35	0.65	0.81	0.93	1.00

Затем с помощью такого программного обеспечения, как Excel, мы можем использовать следующий рецепт:

Ячейки:	Ай	Би	Ci	...	Gi
Формулы:	Рэнд ()	= Если ($ Ai <0,15; 1; 0)	= Если (И ($ Ai> = 0,15; $ Ai <0,35); 1; 0)	...	= Если ($ Ai> = 0,93; 1; 0)

После этого мы будем использовать такие функции, как SumIf, для накопления наблюдаемых результатов по категориям и для вычисления оценочной ковариационной матрицы для каждой моделируемой выборки.

Другой способ - использовать дискретный генератор случайных чисел. В этом случае категории должны быть помечены или перемаркированы числовыми значениями.

В обоих случаях результатом является полиномиальное распределение с k категории. Это эквивалентно с непрерывным случайным распределением для моделирования k независимые стандартизованные нормальные распределения или мультинормальное распределение N (0, I), имеющее k компоненты одинаково распределены и статистически независимы.

Поскольку количество всех категорий должно быть суммировано с количеством испытаний, количество категорий всегда имеет отрицательную корреляцию.^[1]

Тесты эквивалентности для полиномиальных распределений

Цель проверки эквивалентности - установить соответствие между теоретическим полиномиальным распределением и наблюдаемой частотой счета. Теоретическое распределение может быть полностью заданным полиномиальным распределением или параметрическим семейством полиномиальных распределений.

Позволять ${\displaystyle q}$ обозначим теоретическое полиномиальное распределение и пусть ${\displaystyle p}$ быть истинным основным распределением. Распределения ${\displaystyle p}$ и ${\displaystyle q}$ считаются эквивалентными, если ${\displaystyle d(p,q)<\varepsilon }$ на расстоянии ${\displaystyle d}$ и параметр допуска ${\displaystyle \varepsilon >0}$. Задача проверки эквивалентности ${\displaystyle H_{0}=\{d(p,q)\geq \varepsilon \}}$ против ${\displaystyle H_{1}=\{d(p,q)<\varepsilon \}}$. Истинное основное распределение ${\displaystyle p}$ неизвестно. Вместо этого частота счета ${\displaystyle p_{n}}$ наблюдаются, где ${\displaystyle n}$ размер выборки. Тест эквивалентности использует ${\displaystyle p_{n}}$ отказаться ${\displaystyle H_{0}}$. Если ${\displaystyle H_{0}}$ можно отвергнуть, то эквивалентность между ${\displaystyle p}$ и ${\displaystyle q}$ отображается на заданном уровне значимости. Тест эквивалентности евклидова расстояния можно найти в учебнике Веллека (2010).^[2] Тест эквивалентности для общей дистанции вариации разработан в Ostrovski (2017).^[3] Точный критерий эквивалентности для конкретного кумулятивного расстояния предложен Фреем (2009).^[4]

Расстояние между истинным базовым распределением ${\displaystyle p}$ и семейство полиномиальных распределений ${\displaystyle {\mathcal {M}}}$ определяется ${\displaystyle d(p,{\mathcal {M}})=\min _{h\in {\mathcal {M}}}d(p,h)}$. Тогда задача проверки эквивалентности дается формулой ${\displaystyle H_{0}=\{d(p,{\mathcal {M}})\geq \varepsilon \}}$ и ${\displaystyle H_{1}=\{d(p,{\mathcal {M}})<\varepsilon \}}$. Расстояние ${\displaystyle d(p,{\mathcal {M}})}$ обычно вычисляется с использованием численной оптимизации. Тесты для этого случая недавно были разработаны Островским (2018).^[5]

Связанные дистрибутивы

• Когда k = 2, полиномиальным распределением является биномиальное распределение.
• Категориальное распределение, распределение каждого испытания; за k = 2, это Распределение Бернулли.
• В Распределение Дирихле это сопряженный предшествующий полинома в Байесовская статистика.
• Дирихле-полиномиальное распределение.
• Бета-биномиальная модель.
• Отрицательное полиномиальное распределение
• Принцип Харди – Вайнберга (это трехчленное распределение с вероятностями ${\displaystyle (\theta ^{2},2\theta (1-\theta ),(1-\theta )^{2})}$)

Рекомендации

Цитаты

1. "1.7 - Мультиномиальное распределение | STAT 504". onlinecourses.science.psu.edu. Получено 2016-09-11.
2. Веллек, Стефан (2010). Проверка статистических гипотез эквивалентности и неполноценности. Чепмен и Холл / CRC. ISBN  978-1439808184.
3. Островский, Владимир (май 2017). «Проверка эквивалентности полиномиальных распределений». Письма о статистике и вероятности. 124: 77–82. Дои:10.1016 / j.spl.2017.01.004. S2CID  126293429.Официальная веб-ссылка (требуется подписка). Альтернативная бесплатная веб-ссылка.
4. Фрей, Джесси (март 2009 г.). «Точный полиномиальный тест на эквивалентность». Канадский статистический журнал. 37: 47–59. Дои:10.1002 / cjs.10000.Официальная веб-ссылка (требуется подписка).
5. Островский, Владимир (март 2018). «Проверка эквивалентности семейств полиномиальных распределений с применением модели независимости». Письма о статистике и вероятности. 139: 61–66. Дои:10.1016 / j.spl.2018.03.014. S2CID  126261081.Официальная веб-ссылка (требуется подписка). Альтернативная бесплатная веб-ссылка.

Источники

• Эванс, Мортон; Гастингс, Николас; Павлин, Брайан (2000). Статистические распределения (3-е изд.). Нью-Йорк: Вили. стр.134 –136. ISBN  0-471-37124-6.
• Вайсштейн, Эрик В. «Мультиномиальное распределение». MathWorld. Wolfram Research.