Критерий знаков

Критерий знаков (sign test) используется для проверки того, что две выборки извлечены из одной и той же генеральной совокупности (имеют одну и ту же функцию распределения).

Обычно данный критерий применяют для того, чтобы выявить эффект какого-либо воздействия, сравнивая показатели по одной и той же выборке до и после этого воздействия. Например, прибыльность торговли группы трейдеров до и после того, как им сообщили какой-то паттерн. При этом не учитывается величина сдвига показателей, а только направление (ухудшился показатель или нет). Т.е. критерий знаков использует только знаки различий между двумя числами (отсюда и название). Иногда его называют ранговым критерием проверки гипотез или G-критерием.

Критерий знаков не связан с заданием каких-то конкретных значений параметров распределения, поэтому на основе этого критерия формулируются так называемые непараметрические статистические гипотезы.

Данный критерий не требует, чтобы генеральная совокупность подчинялась нормальному или какому-либо другому распределению. Единственное предположение — распределение должно быть непрерывным.

Из-за своей общности критерий знаков обладает небольшой мощностью по сравнению с параметрическими критериями. При размере выборки \(n=6\) его мощность составляет 95%, но она быстро падает с ростом \(n\), асимптотически приближаясь к 63%. Например, при \(n=13\) мощность примерна равна 75%.

Все непараметрические критерии (в том числе, и критерий знаков) обычно используют, когда объём рассматриваемых выборок невелик (менее 100). Для больших выборок можно предполагать нормальный закон распределения и использовать более мощные параметрические критерии. При больших \(n\) мощность критерия знаков составляет примерно 2/3 мощности критерия Стьюдента.

Примеры задач

Задача 1 (тест на случайность). В серии из n подбрасываний монеты орёл выпал k раз. Можно ли считать монету “честной” (симметричной)?

Математическая постановка: Задана бинарная простая выборка \((b_1, b_2,\ldots , b_n), \;\; b_i \in {0,\, 1}\) (кодируем результаты подбрасывания монеты 1 и 0; выпадению орла соответствует 1). Нулевая гипотеза \(H_0 : \; P\{b=1\} = 0.5\) (предположение о симметричности монеты).

Статистика критерия — число выпадений орла:

\[k = \sum_{i=1}^n {b_i} .\]

Допустим, рассматривается двусторонняя альтернативная гипотеза \(H_1 : \; P\{b=1\} \neq 0.5\) (вероятность выпадения орла не равна 1/2). Тогда при выбранном уровне значимости \(\alpha\) нулевая гипотеза отвергается, если левый хвост биноминального распределения с параметром \(p=0.5\):

\[\text{Bin}_p (n, k) = 2^{-n} \sum_{i=0}^k {C^i_n}\]

окажется за пределами отрезка \([ \alpha / 2, \, 1 - \alpha / 2 ]\). Здесь

\[C_n\, ^i = \binom{n}{i} = \frac{n!}{i! \, (n-i)! }\]

— число сочетаний из \(n\) элементов по \(i\) (биноминальный коэффициент). Восклицательным знаком обозначается факториал (произведение целых чисел от 1 до n):

\[n! = 1\cdot2\cdot\ldots (n-1)\cdot n; \;\;\; \; 0! = 1.\]

Для двусторонней задачи пи-величина (p-value) равна \(2\cdot \text{Bin}_p (n, \min(k, n-k))\).

Если рассматривается левосторонняя альтернативная гипотеза \(H_1 : \; P\{b=1\} < 0.5\) (вероятность выпадения орла меньше 1/2), то нулевая гипотеза отвергается при \(\text{Bin}_p (n, k) < \alpha\). Т.е. в данном случае пи-величина равна \(\text{Bin}_p (n, k)\).

Против правосторонней альтернативы \(H_1 : \; P\{b=1\} > 0.5\) (вероятность выпадения орла больше 1/2) нулевая гипотеза отвергается при \(\text{Bin}_p (n, n-k) < \alpha\). Другими словами, в данном случае пи-величина равна \(\text{Bin}_p (n, n-k)\).

Задача 2 (тест на случайность). Аналитик перед началом торговой сессии для заданного актива предсказывает цвет сегодняшней свечи, т.е. итоговое направление дня (вверх или вниз). Эксперимент продолжался n рабочих дней. Прогноз оказался правильным k раз. Можно ли утверждать, что аналитик умеет правильно прогнозировать направление рынка? Или результаты эксперимента можно объяснить случайным угадыванием, т.е. следовать прогнозам этого аналитика — то же самое, что открывать позиции, подбрасывая монетку?

Данная задача эквивалентна предыдущей: орёл — прогноз верный, решка — не верный. Нулевая гипотеза: \(P = 0.5\) — вероятность угадать правильное направление равна 0.5, т.е. прогнозы аналитика не лучше монетки. Альтернативная гипотеза: \(P > 0.5\) — аналитик предсказывает направление рынка лучше, чем монетка.

Задача 3 (наличие положительного эффекта). Трейдер выполнил тестирование некоторой торговой системы и получил значения каждого из N показателей эффективности (профит-фактор, коэффициент Шарпа и т.д.). Все показатели для него одинаково важны. Затем он добавил к правилам торговой системы дополнительный фильтр (ещё одно или несколько правил) и повторил тестирование; в результате был получен второй набор тех же показателей: k показателей улучшили свои значения, m показателей не изменились, остальные показатели ухудшили свои значения. Можно ли утверждать, что добавление нового фильтра улучшило торговую систему?

Для применения критерия знаков в этой задаче надо закодировать изменение каждого показателя, обусловленное добавлением новых правил, как 1 (значение показателя улучшилось — орёл), 0 (значение показателя не изменилось) и -1 (значение показателя ухудшилось — решка). Затем надо исключить из рассмотрения нулевые результаты и далее учитывать только изменившиеся показатели. Тогда данная задача сводится к предыдущей со значениями параметров \(n = N-m\) и \(k\). Нулевая гипотеза: изменения показателей носят случайный характер (отрицательные встречаются так же часто, как и положительные). Альтернативная гипотеза: изменения показателей смещены в положительную сторону.

Задача 4 (эквивалентность методик). Два трейдера предложили две разные методики оценки эффективности торговых систем. Было проведено тестирование N торговых систем. Для каждой системы было получено значение некоторого итогового показателя с точки зрения первой и с точки зрения второй методики. Для k торговых систем с точки зрения второй методики значение итогового показателя оказалось больше, в m случаях значение показателя не изменилось, в остальных случаях оно стало меньше. Нулевая гипотеза: обе методики эквивалентны, т.е. одинаково оценивают торговые системы. Альтернативная гипотеза: методики не эквивалентны.

Данная задача сводится к первой (симметричная монетка для разностей показателя). Как и в предыдущей задаче, надо отбросить случаи с неизменившимся значением показателя.

Пример использования критерия знаков в R

В пакете статистических вычислений R критерий знаков реализован в виде функции:

binom.test(k, n, p, alternative, conf.level)

где k — число “успехов” (соответствует выпадению орла в задаче 1); n — число испытаний (число изменившихся параметров в задачах 3 и 4); p — предполагаемая вероятность успеха, по умолчанию равна 0.5; alternative"two.sided", "less" или "greater" для трёх вариантов альтернативных гипотез (см. задачу 1), по умолчанию "two.sided"; conf.level — доверительная вероятность, по умолчанию 0.95, что соответствует уровню значимости \(\alpha=0.05\).

Например, решим задачу 1 со значениями параметров \(n=11\); \(k=7\):

> binom.test(7, 11, p=0.5)

Exact binomial test
data:  7 and 11
number of successes = 7, number of trials = 11, p-value = 0.5488
alternative hypothesis: true probability of success is not equal to 0.5
95 percent confidence interval:
 0.3079047 0.8907366
sample estimates:
probability of success
             0.6363636

Поскольку пи-величина оказалась велика, у нас нет оснований отвергать симметричность монетки, которая из 11 испытаний 7 раз упала орлом вверх.

Теперь рассмотрим этот же тест с такой же пропорцией выпадений орла и решки, но в 10 раз увеличим число испытаний, т.е. \(n=110\); \(k=70\):

> binom.test(70, 110, p=0.5)

Exact binomial test
data:  70 and 110
number of successes = 70, number of trials = 110, p-value = 0.005447
alternative hypothesis: true probability of success is not equal to 0.5
95 percent confidence interval:
 0.5392105 0.7259758
sample estimates:
probability of success
             0.6363636

Пи-величина мала, гипотеза о симметричности монетки должна быть отвергнута.

Теперь решим задачу 2 при \(n=110\); \(k=70\). Здесь мы имеем другую альтернативную гипотезу:

> binom.test(70, 110, p=0.5, alternative="greater")

Exact binomial test
data:  70 and 110
number of successes = 70, number of trials = 110, p-value = 0.002724
alternative hypothesis: true probability of success is greater than 0.5
95 percent confidence interval:
 0.5542501 1.0000000
sample estimates:
probability of success
             0.6363636

Принимается альтернативная гипотеза: прогнозы аналитика лучше бросания монетки.

Пример использования критерия знаков в Excel

В Microsoft Excel для вычисления биноминального распределения \(\text{Bin}_p (n, k)\) имеется функция:

БИНОМ.РАСП(число_успехов; число_испытаний; вероятность_успеха; интегральная)

Для двустороннего теста число успехов — это \(\min(k, \, n-k)\), для левостороннего \(k\), для правостороннего \(n-k\); число испытаний — \(n\), вероятность успеха — \(p\). Параметр интегральная в данном случае необходимо задавать равным 1 или ИСТИНА (True). В англоязычной версии Excel данная функция называется Binom.Dist.

Например, для решения двусторонней задачи 1 при \(n=11\); \(k=7\) надо в любой ячейке написать формулу:

=2*БИНОМ.РАСП(МИН(7;11-7);11;0.5;1)

Получим ту же самую пи-величину 0.5488, что и при использовании R.

Для решения правосторонней задачи 2 при \(n=110\); \(k=70\) надо в любой ячейке написать формулу:

=БИНОМ.РАСП(110-70;110;0.5;1)

Получим ту же самую пи-величину 0.002724, что и при использовании R.

Ссылки


Теги: Математика, Математическая статистика, Язык R, Excel




Комментарии

Комментариев пока нет.

* Обязательные поля
(Не публикуется)
 
Жирный Курсив Подчеркнутый Перечеркнутый Степень Индекс Код PHP Код Кавычки Вставить линию Вставить маркированный список Вставить нумерованный список Вставить ссылку Вставить e-mail Вставить изображение Вставить видео
 
Улыбка Печаль Удивление Смех Злость Язык Возмущение Ухмылка Подмигнуть Испуг Круто Скука Смущение Несерьёзно Шокирован
 
1000
Captcha
Refresh
 
Введите код:
 
Запомнить информацию введенную в поля формы.