Расстояние Хеллингера - Hellinger distance

В вероятность и статистика, то Расстояние Хеллингера (тесно связанный, хотя и отличный от Бхаттачарья расстояние ) используется для количественной оценки сходства между двумя распределения вероятностей. Это тип ж-расхождение. Расстояние Хеллингера определяется в терминах Интеграл Хеллингера, который был введен Эрнст Хеллингер в 1909 г.^[1][2]

Определение

Теория меры

Чтобы определить расстояние Хеллингера в терминах теория меры, позволять п и Q обозначить два вероятностные меры которые абсолютно непрерывный относительно третьей вероятностной меры λ. Квадрат расстояния Хеллингера между п и Q определяется как количество

${displaystyle H^{2}(P,Q)={frac {1}{2}}displaystyle int left({sqrt {frac {dP}{dlambda }}}-{sqrt {frac {dQ}{dlambda }}}ight)^{2}dlambda .}$

Вот, dP / dλ и dQ / dλ - это Производные Радона – Никодима из п и Q соответственно. Это определение не зависит от λ, поэтому расстояние Хеллингера между п и Q не изменится, если λ заменить другой вероятностной мерой, относительно которой оба п и Q абсолютно непрерывны. Для компактности приведенная выше формула часто записывается как

${displaystyle H^{2}(P,Q)={frac {1}{2}}int left({sqrt {dP}}-{sqrt {dQ}}ight)^{2}.}$

Теория вероятностей с использованием меры Лебега

Чтобы определить расстояние Хеллингера в терминах элементарной теории вероятностей, мы берем λ как Мера Лебега, так что dP / dλ и dQ / dλ просто функции плотности вероятности. Если обозначить плотности как ж и г, соответственно, квадрат расстояния Хеллингера может быть выражен как стандартный интеграл исчисления

${displaystyle H^{2}(f,g)={frac {1}{2}}int left({sqrt {f(x)}}-{sqrt {g(x)}}ight)^{2},dx=1-int {sqrt {f(x)g(x)}},dx,}$

где вторую форму можно получить, развернув квадрат и используя тот факт, что интеграл от плотности вероятности по его области равен 1.

Расстояние Хеллингера ЧАС(п, Q) удовлетворяет свойству (выводимому из Неравенство Коши – Шварца )

${displaystyle 0leq H(P,Q)leq 1.}$

Дискретные распределения

Для двух дискретных распределений вероятностей ${displaystyle P=(p_{1},ldots ,p_{k})}$ и ${displaystyle Q=(q_{1},ldots ,q_{k})}$, их расстояние Хеллингера определяется как

${displaystyle H(P,Q)={frac {1}{sqrt {2}}};{sqrt {sum _{i=1}^{k}({sqrt {p_{i}}}-{sqrt {q_{i}}})^{2}}},}$

что напрямую связано с Евклидова норма разности векторов квадратного корня, т.е.

${displaystyle H(P,Q)={frac {1}{sqrt {2}}};{igl |}{sqrt {P}}-{sqrt {Q}}{igr |}_{2}.}$

Также, ${displaystyle 1-H^{2}(P,Q)=sum _{i=1}^{k}{sqrt {p_{i}q_{i}}}.}$

Свойства

Расстояние Хеллингера образует ограниченный метрика на Космос распределений вероятностей по заданному вероятностное пространство.

Максимальное расстояние 1 достигается, когда п присваивает нулевую вероятность каждому набору, которому Q присваивает положительную вероятность, и наоборот.

Иногда фактор ${displaystyle 1/{sqrt {2}}}$ перед интегралом опускается, и в этом случае расстояние Хеллингера изменяется от нуля до квадратного корня из двух.

Расстояние Хеллингера связано с Коэффициент Бхаттачарьи ${displaystyle BC(P,Q)}$ как это можно определить как

${displaystyle H(P,Q)={sqrt {1-BC(P,Q)}}.}$

Расстояния Хеллингера используются в теории последовательный и асимптотическая статистика.^[3][4]

Квадрат расстояния Хеллингера между двумя нормальные распределения ${displaystyle scriptstyle P,sim ,{mathcal {N}}(mu _{1},sigma _{1}^{2})}$ и ${displaystyle scriptstyle Q,sim ,{mathcal {N}}(mu _{2},sigma _{2}^{2})}$ является:

${displaystyle H^{2}(P,Q)=1-{sqrt {frac {2sigma _{1}sigma _{2}}{sigma _{1}^{2}+sigma _{2}^{2}}}},e^{-{frac {1}{4}}{frac {(mu _{1}-mu _{2})^{2}}{sigma _{1}^{2}+sigma _{2}^{2}}}}.}$

Квадрат расстояния Хеллингера между двумя многомерные нормальные распределения ${displaystyle scriptstyle P,sim ,{mathcal {N}}(mu _{1},sum _{1})}$ и ${displaystyle scriptstyle Q,sim ,{mathcal {N}}(mu _{2},sum _{2})}$ является

^[5]

${displaystyle H^{2}(P,Q)=1-{frac {det(sum _{1})^{1/4}det(sum _{2})^{1/4}}{det left({frac {sum _{1}+sum _{2}}{2}}ight)^{1/2}}}exp left{-{frac {1}{8}}(mu _{1}-mu _{2})^{T}left({frac {sum _{1}+sum _{2}}{2}}ight)^{-1}(mu _{1}-mu _{2})ight}}$

Квадрат расстояния Хеллингера между двумя экспоненциальные распределения ${displaystyle scriptstyle P,sim ,{m {{Exp}(alpha )}}}$ и ${displaystyle scriptstyle Q,sim ,{m {{Exp}(eta )}}}$ является:

${displaystyle H^{2}(P,Q)=1-{frac {2{sqrt {alpha eta }}}{alpha +eta }}.}$

Квадрат расстояния Хеллингера между двумя Распределения Вейбулла ${displaystyle scriptstyle P,sim ,{m {{W}(k,alpha )}}}$ и ${displaystyle scriptstyle Q,sim ,{m {{W}(k,eta )}}}$ (где ${displaystyle k}$ - общий параметр формы и ${displaystyle alpha ,,eta }$ параметры масштаба соответственно):

${displaystyle H^{2}(P,Q)=1-{frac {2(alpha eta )^{k/2}}{alpha ^{k}+eta ^{k}}}.}$

Квадрат расстояния Хеллингера между двумя Распределения Пуассона с параметрами скорости ${displaystyle alpha }$ и ${displaystyle eta }$, так что ${displaystyle scriptstyle P,sim ,{m {{Poisson}(alpha )}}}$ и ${displaystyle scriptstyle Q,sim ,{m {{Poisson}(eta )}}}$, является:

${displaystyle H^{2}(P,Q)=1-e^{-{frac {1}{2}}({sqrt {alpha }}-{sqrt {eta }})^{2}}.}$

Квадрат расстояния Хеллингера между двумя Бета-распределения ${displaystyle scriptstyle P,sim ,{ ext{Beta}}(a_{1},b_{1})}$ и ${displaystyle scriptstyle Q,sim ,{ ext{Beta}}(a_{2},b_{2})}$ является:

${displaystyle H^{2}(P,Q)=1-{frac {Bleft({frac {a_{1}+a_{2}}{2}},{frac {b_{1}+b_{2}}{2}}ight)}{sqrt {B(a_{1},b_{1})B(a_{2},b_{2})}}}}$

где ${displaystyle B}$ это Бета-функция.

Подключение с полным изменением расстояния

Расстояние Хеллингера ${displaystyle H(P,Q)}$ и общее расстояние вариации (или статистическое расстояние) ${displaystyle delta (P,Q)}$ связаны следующим образом:^[6]

${displaystyle H^{2}(P,Q)leq delta (P,Q)leq {sqrt {2}}H(P,Q),.}$

Эти неравенства непосредственно следуют из неравенств между 1-норма и 2-норма.

Смотрите также

• Статистическое расстояние
• Дивергенция Кульбака – Лейблера
• Бхаттачарья расстояние
• Общее расстояние вариации
• Информационная метрика Fisher

Заметки

1. Никулин, М. (2001) [1994], «Расстояние Хеллингера», Энциклопедия математики, EMS Press
2. Хеллингер, Эрнст (1909), "Neue Begründung der Theorie quadratischer Formen von unendlichvielen Veränderlichen", Журнал für die reine und angewandte Mathematik (на немецком), 136: 210–271, Дои:10.1515 / crll.1909.136.210, JFM  40.0393.01
3. Торгерсон, Эрик (1991). «Сравнение статистических экспериментов». Энциклопедия математики. 36. Издательство Кембриджского университета.
4. Лизе, Фридрих; Миске, Клаус-Дж. (2008). Статистическая теория принятия решений: оценка, тестирование и выбор. Springer. ISBN  0-387-73193-8.
5. Пардо, Л. (2006). Статистический вывод, основанный на показателях расхождения. Нью-Йорк: Чепмен и Холл / CRC. п. 51. ISBN  1-58488-600-5.
6. Харша, Прахлад (23 сентября 2011 г.). «Конспект по сложности общения» (PDF).

использованная литература

• Ян, Грейс Ло; Ле Кам, Люсьен М. (2000). Асимптотика в статистике: некоторые основные концепции. Берлин: Springer. ISBN  0-387-95036-2.
• Vaart, A. W. van der. Асимптотическая статистика (Кембриджские серии по статистической и вероятностной математике). Кембридж, Великобритания: Издательство Кембриджского университета. ISBN  0-521-78450-6.
• Поллард, Дэвид Э. (2002). Руководство пользователя по измерению теоретической вероятности. Кембридж, Великобритания: Издательство Кембриджского университета. ISBN  0-521-00289-3.