Проверка гипотез #

Почти в каждой таблице результатов DataSuite есть столбец p, и это число истолковывают неверно чаще любого другого в статистике. Эта страница объясняет, что оно означает и при каких условиях вообще что-то значит, а также разбирает связанные с ним понятия: нулевую гипотезу, статистику критерия, уровень значимости, односторонние и двусторонние критерии, способ показать, что эффекта нет, и то, что происходит, когда проверяют много гипотез сразу. Предварительных знаний не требуется. Числа получены на данных кафе, подготовленных так, как описано на той странице, и каждое из них можно воспроизвести в модуле сравнительного анализа, а первый пример из раздела об эквивалентности — в модуле корреляционного анализа.

Вопрос, на который отвечает критерий #

Проверка гипотезы начинается с вопроса о генеральной совокупности, то есть обо всех людях или объектах, которые интересуют исследователя, а отвечать на него приходится по выборке — по тем, кто есть в данных. Владельцу кафе важен каждый участник программы лояльности, нынешний и будущий, а в файле их 200. Различие в выборке — это факт. Вопрос в том, можно ли по нему судить о генеральной совокупности. И это настоящий вопрос: другие 200 участников дали бы другие числа.

В терминах приложения сравнение двух групп проверяет, различается ли зависимая переменная (измеряемая величина) между двумя уровнями группирующей переменной, которая делит наблюдения на группы. На данных кафе вопрос звучит так: различается ли средний чек до смены меню, чек_до, у участников двух филиалов? В выборке различается. У участников из «Набережной» он в среднем равен 7.91 (стандартное отклонение 2.97, 101 участник), у участников из «Привокзальной» — 9.52 (стандартное отклонение 4.05, 99 участников), разница составляет 1.61. Критерий отвечает на вопрос, мог ли разрыв такой величины получиться просто из-за того, кто случайно попал в выборку, если на самом деле филиалы не различаются.

Тот же вопрос встречается повсюду, только с другими словами: медсестра сравнивает два отделения по числу дней до выздоровления (отделение → группирующая переменная, дни → зависимая переменная); учитель сравнивает два класса по баллу за контрольную (класс → группирующая, балл → зависимая); маркетолог сравнивает две версии страницы по времени, проведённому на ней (версия → группирующая, время → зависимая). Критерию безразлично, как называются переменные, важны только их роли.

Нулевая гипотеза (H₀) — утверждение, что искать нечего: группы не различаются, от условия к условию ничего не меняется, переменные не связаны. Любой критерий исходит из того, что она верна, и оценивает, насколько неожиданными тогда оказались бы данные. Для кафе нулевая гипотеза звучит так: «участники из „Набережной“ и „Привокзальной“ в среднем тратят за визит одинаково». Критерии строят на нулевой гипотезе, а не на том утверждении, которое хочется доказать, потому что «ничего нет» — утверждение точное: из него ясно, чего ожидать, и это можно рассчитать. Утверждение «что-то есть» такой точности не даёт. По сути, это доказательство от противного, только вероятностное: допускают, что ничего не происходит, смотрят, насколько плохо данные согласуются с этим допущением, и отвергают его, если согласуются достаточно плохо.

Альтернативная гипотеза (H₁) — то, что верно, если неверна нулевая: средние различаются, изменение не равно нулю, связь есть. Она бывает двусторонней, когда различие допускается в любом направлении, и односторонней, когда направление названо заранее. Как выбирать между ними, объяснено ниже, в разделе об односторонних и двусторонних критериях.

Статистика критерия #

Критерий — столбец с названием процедуры, по которой получена строка: t-критерий Уэлча, критерий Шапиро — Уилка, Левена, Льюнга — Бокса, лог-ранговый критерий. Смотреть на него нужно раньше, чем на любое число в строке. По названию понятно, к какой нулевой гипотезе относятся статистика и p этой строки, а значит, как их понимать (см. раздел «Какая нулевая гипотеза»). Несколько строк под одним заголовком — это несколько проверок, выполненных приложением. Нередко у них разные нулевые гипотезы, иногда одна и та же гипотеза проверяется с разных сторон, и каждую строку истолковывают по её собственному названию. Что сравнивает каждый критерий и когда он уместен, описано в разделе «Критерии по названиям», как выбирают между ними — в таблице решений, а в руководстве модуля есть статья о каждом критерии, который он выполняет.

Значение критерия (статистика критерия) — одно число, в которое сведена вся выборка: насколько данные далеки от ожидаемого при нулевой гипотезе, в единицах случайного разброса. При сравнении двух групп это разность средних, делённая на её стандартную ошибку, то есть на то, насколько эта разность колебалась бы от выборки к выборке. Если статистика близка к нулю, данные похожи на то, что предсказывает нулевая гипотеза, если далека — не похожи. Буква статистики указывает на её семейство (t, F, χ², W, U, z), а какой критерий её дал, сказано в руководстве модуля.

На данных кафе t-критерий Уэлча для чек_до с группировкой по филиал даёт t = −3.20: разрыв 1.61 примерно втрое больше собственной стандартной ошибки. Знак зависит от порядка групп. Приложение ставит «Набережную» первой, поэтому статистика считается как «Набережная» минус «Привокзальная», и отрицательное t означает, что в «Привокзальной» чек выше.

t — отношение оценки (разности средних, коэффициента регрессии, корреляции) к её стандартной ошибке. Это основная статистика для малых и средних выборок. Её опорное распределение немного шире нормальной кривой (насколько — зависит от числа степеней свободы), поэтому t не завышает силу свидетельства, когда сам разброс оценён по немногим наблюдениям.

F — отношение двух мер изменчивости: разброса между средними групп к разбросу внутри групп (дисперсионный анализ) или изменчивости, объяснённой моделью, к необъяснённой (регрессия). Отрицательным оно быть не может и растёт, когда группы расходятся или модель действительно что-то объясняет. У F два числа степеней свободы: для числителя и для знаменателя.

χ² (хи-квадрат) показывает, насколько наблюдаемые частоты отличаются от частот, ожидаемых при нулевой гипотезе, в сумме по всем ячейкам таблицы. Так проверяют, например, связана ли готовность рекомендовать кафе с филиалом. Кроме того, χ² сравнивает соответствие двух моделей данным, и тогда нулевая гипотеза состоит в том, что более простой модели достаточно. В конфирматорном факторном анализе и моделировании структурными уравнениями χ² проверяет, согласуется ли модель с данными, и малое p там — плохой знак, как объяснено в разделе «Какая нулевая гипотеза».

W — статистика критерия знаковых рангов Вилкоксона, который ранжирует парные разности вместо того, чтобы их усреднять. Так же обозначается статистика критерия нормальности Шапиро — Уилка: она принимает значения от 0 до 1, и значение, близкое к 1, означает, что выборка похожа на нормальную. О каком W идёт речь, указано в подписи таблицы.

U — статистика Манна — Уитни: сколько раз наблюдение одной группы оказывается по рангу выше наблюдения другой, если перебрать все пары. Критерий проверяет, склонна ли одна группа принимать более высокие значения, чем другая, и не делает никаких допущений о форме распределений. В R и в некоторых таблицах эта статистика обозначается W.

z — статистика на шкале стандартного нормального распределения, то есть число стандартных ошибок, отделяющих оценку от нулевой гипотезы. Её используют, когда выборка настолько велика, что разброс можно считать известным, а не оценённым: для долей, некоторых коэффициентов корреляции и регрессии, ранговых критериев на больших выборках. Значение |z| больше 1.96 соответствует двустороннему p меньше 0.05.

df (степени свободы) — число независимых единиц информации, на которых основана статистика: грубо говоря, объём выборки минус число величин, оценённых по ходу расчёта. От df зависит форма опорного распределения, по которому находят p-значение. У t-критерия Стьюдента для двух групп из 101 и 99 наблюдений 200 − 2 = 198 степеней свободы. t-критерий Уэлча не объединяет разбросы двух групп и, если они различаются, уменьшает это число: для филиалов кафе получается 179.5. Дробное df — не ошибка. Для таблицы частот df равно (число строк − 1) × (число столбцов − 1). Указывать df нужно вместе со статистикой, потому что одно и то же t значит разное при 5 степенях свободы и при 500.

p-значение #

p — вероятность того, что статистика критерия окажется так же далеко от ожидаемого при нулевой гипотезе значения, как наблюдаемая, или ещё дальше, если нулевая гипотеза верна. В этой оговорке и заключено всё определение. Для филиалов кафе p = 0.002: если бы средний чек в двух филиалах на самом деле был одинаков, разрыв в 1.61 или больше в ту или другую сторону получался бы примерно в двух выборках из тысячи. Малое p означает, что данные плохо согласуются с нулевой гипотезой. Это мера неожиданности данных при условии, что «ничего не происходит», и ничего больше.

Объяснить, чем p-значение не является, сложнее, и это важнее:

• Это не вероятность того, что нулевая гипотеза верна. p-значение описывает данные при условии нулевой гипотезы, а не нулевую гипотезу при условии данных. p = 0.002 не означает, что филиалы одинаковы с вероятностью 0.2%.
• Это не вероятность того, что результат «случаен». Случай отчасти влияет на любой результат, а p показывает, как часто один только случай даёт настолько же крайний результат.
• Это не размер эффекта. При достаточно большой выборке ничтожное различие даёт p < 0.001, а на малой выборке и крупное различие не доходит до 0.05. Насколько велик эффект, показывают показатели размера эффекта и доверительный интервал, и в отчёте они должны стоять рядом с p.
• Это не устойчивое свойство результата. Другие 200 участников дали бы другое p. Значение 0.002 следует понимать как «сильное свидетельство против нулевой гипотезы в этой выборке», а не как неизменное свойство кафе.

Какая нулевая гипотеза #

p-значение относится к своей нулевой гипотезе, и то, какой результат желателен, зависит от того, что это за гипотеза. В сравнении нулевая гипотеза — «различия нет», поэтому исследователь обычно надеется на малое p. Но многие критерии в приложении устроены наоборот. У критерия нормальности нулевая гипотеза — «переменная распределена нормально», и малое p означает, что распределение не нормально. На данных кафе критерий Шапиро — Уилка даёт W = 0.93, p < 0.001 для переменной ожидание, у которой на гистограмме хорошо виден длинный правый хвост, и W = 0.98, p = 0.013 для чек_до, где отклонение мягче. Так же обстоит дело с критериями равенства дисперсий (Левена, F-критерий), сферичности (Моучли) и соответствия модели (χ² в КФА и МСУ): там «значимо» означает, что допущение нарушено или модель не согласуется с данными. Прежде чем истолковывать p, нужно выяснить, какова его нулевая гипотеза. Об этом сказано в подписи таблицы и в руководстве модуля.

Уровень значимости для проверки допущений — порог, который приложение применяет к таким «перевёрнутым» критериям отдельно от основного уровня значимости. Логика здесь обратная: более высокий порог (0.10 вместо 0.05) делает проверку допущения строже, потому что она отмечает больше отклонений. Порог задаётся в Настройках, а что выясняет каждая проверка допущения и чем опасно его нарушение, объяснено на странице о допущениях.

Какой уровень значимости действует в таблице, зависит от нулевой гипотезы критерия. Если нулевая гипотеза утверждает, что с данными, допущением или моделью всё в порядке, критерий оценивается на уровне значимости для проверки допущений. Таковы проверки нормальности и равенства дисперсий, диагностика остатков подогнанной модели, χ²-критерий точного соответствия и критерий близкого соответствия в КФА и МСУ, Δχ² шага проверки инвариантности, критерий Льюнга — Бокса для автокорреляции, KPSS с нулевой гипотезой о стационарности. Благодаря этому снижение основного уровня никогда не делает проверку мягче: при сниженном основном уровне невыделенное p выглядело бы как «всё в порядке» и вводило бы в заблуждение. Вывод о гипотезе или модели (сравнение, коэффициент, F-критерий модели, критерий единичного корня с нулевой гипотезой о том, что ряд не стационарен) делается на основном уровне значимости. На нём же оценивается и сравнение моделей, которые исследователь задал сам, например Δχ² при сравнении моделей в МСУ. Нужен ли добавленный путь — это гипотеза самого исследователя, а не проверка, которую выполняет приложение. Тот же Δχ² на шаге инвариантности, напротив, выясняет, можно ли вообще сравнивать группы. Оба уровня могут встретиться в одной таблице. В таблице стационарности анализа временных рядов KPSS оценивается на уровне для допущений, а ADF и PP рядом с ним — на основном. Именно это разделение сохраняет согласованность выводов двух критериев, когда уровни заданы по-разному. При основном уровне 0.01 и уровне для допущений 0.05 критерий ADF с p = 0.03 не отвергает нулевую гипотезу (единичный корень остаётся), а KPSS с тем же p отвергает её (гипотеза о стационарности отпадает), и оба критерия признают ряд нестационарным. Если бы KPSS оценивался на основном уровне, он назвал бы ряд стационарным вопреки ADF. Какие таблицы на каком уровне оцениваются, перечислено на странице настроек.

Как приложение показывает p #

По умолчанию p-значение выводится с тремя десятичными знаками, и значение меньше 0.0005 показывается не строкой нулей, а как < 0.001. В настройках p-значений вместо числа можно выводить категорию (p ≤ 0.05) или скрыть столбец. Значимые p-значения можно выделять полужирным, цветом или фоном, а к статистике критерия добавлять звёздочки (*, **, ***) при p не выше 0.05, 0.01 и 0.001. Если включена поправка на множественные сравнения, форматирование и звёздочки определяются скорректированным p, а не исходным.

Значимость #

Уровень значимости (α) — значение p, ниже которого результат называют значимым. Его фиксируют до проверки. Обычно берут 0.05: если нулевая гипотеза верна, критерий случайно преодолеет этот порог в одном случае из двадцати. Это соглашение, а не закон природы. Уровень 0.01 даёт меньше ложных тревог ценой большего числа пропусков, и в одних областях принят один уровень, в других — другой. Сравнение филиалов кафе (p = 0.002) значимо на любом из них. В приложении порог задаётся настройкой Уровень значимости.

Статистическая значимость означает только одно: p оказалось ниже α. Она не означает, что эффект большой, важный или доказанный, а «незначимый» результат не означает, что эффекта нет. Он означает лишь, что данные не позволили отвергнуть нулевую гипотезу. Чтобы показать отсутствие эффекта, нужен критерий эквивалентности. «Значимый» здесь — термин, который лишь выглядит как обычное слово, и большинство ошибочных толкований статистики начинается с того, что его понимают в обычном смысле.

Интерпретация — столбец, где приложение описывает числа строки словами. В нём стоит вывод о значимости относительно уровня значимости (по скорректированному p, если включена поправка), а если в строке есть размер эффекта и направление различия, то и градация размера эффекта (малый, средний, большой), и направление. Поэтому строка филиалов кафе выглядит так: «Значимое различие, малый эффект, 1 < 2». Рядом с индексом соответствия или диагностическим показателем в этом столбце стоит вывод, описанный для этой таблицы в руководстве модуля. Столбец сопоставляет каждое число с его порогом и никогда не подводит итог исследования.

Показатель — столбец таблицы вида «ключ–значение», где названо, что сообщает каждая строка: количество, отношение, критерий, порог, выбор, сделанный при запуске. Результат строки стоит рядом, в столбце Значение. Такая таблица — список разных величин, а не значения одной величины по наблюдениям. Пример — сводка диагностики: объём выборки, доля пропущенных значений, мера адекватности выборки, найденные выбросы. Поэтому каждую строку оценивают по её собственным меркам, и каждому названию в столбце посвящена своя статья в руководстве модуля.

Значение — столбец таблицы вида «ключ–значение» с результатом каждой строки: числом, количеством, процентом, критерием, записанным целиком (χ² со степенями свободы и p), или словом, если строка сообщает о сделанном выборе, например о том, какой метод оценивания использован. Единица измерения и смысл значения определяются строкой, названной в столбце Показатель, и у двух строк одной таблицы может не быть ничего общего, кроме столбца. Цветом модуль отмечает результат проверки: зелёный значит, что проверка пройдена, жёлтый — что стоит присмотреться, красный — что проверка не пройдена. Фраза вместо числа объясняет, почему число получить не удалось. Что означает значение и от чего зависит его цвет, сказано в статье об этой строке в руководстве модуля.

Результат на границе #

После смены меню выросло и число визитов, в среднем на 0.64 визита на участника за восемь недель. Парный t-критерий даёт t = 1.96, df = 199, p = 0.051: результат незначим, не хватило одной тысячной. Неверный вывод — «число визитов не изменилось». Верный вывод — данные не исключают ни роста, ни его отсутствия: 95-процентный доверительный интервал изменения, от −0.003 до 1.28 визита, едва захватывает ноль. Значения p = 0.051 и p = 0.049 свидетельствуют одинаково. Отчёт, который называет первое «незначимым», а второе «значимым» (или, того хуже, вовсе умалчивает о первом), описывает случайность конкретной выборки, а не кафе. Нужно привести точное p, оценку и её интервал, чтобы читатель видел, насколько близко к порогу оказался результат. Результату у самого порога помогут новые данные, а не другой критерий.

По обе стороны от α лежат две возможные ошибки.

Ошибка I рода — ложная тревога, то есть отвержение верной нулевой гипотезы. Её частота равна α: при α = 0.05 ошибочно отвергается одна верная нулевая гипотеза из двадцати.

Ошибка II рода — пропуск, то есть сохранение неверной нулевой гипотезы. Её частота зависит от того, насколько велик реальный эффект и насколько велика выборка. Дополняет её до единицы мощность — вероятность обнаружить эффект, который действительно есть, а как рассчитать объём выборки, нужный для достаточной мощности, объяснено на странице о мощности и объёме выборки.

Односторонние и двусторонние критерии #

Двусторонний критерий допускает в альтернативной гипотезе различие в любом направлении, и p-значение учитывает оба хвоста опорного распределения: как часто статистика оказалась бы так же далеко от нуля, выше или ниже него. В приложении этот вариант везде выбран по умолчанию, и только он оправдан, если направление не было определено до знакомства с данными.

Односторонний критерий предполагает, что направление зафиксировано заранее («в „Привокзальной“ тратят больше», а не «филиалы различаются»), и учитывается только один хвост. В предсказанном направлении p-значение вдвое меньше двустороннего, а в противоположном близко к 1, что бы ни показали данные. На данных кафе двустороннее p для сравнения филиалов равно 0.002. Если для параметра Направление критерия выбрать Односторонний (Группа 1 < Группа 2), то есть «Набережная» меньше «Привокзальной», p равно 0.0008 (приложение округляет его до 0.001), а при Односторонний (Группа 1 > Группа 2) — 0.999. Односторонний критерий оправдан, когда направление выбрано до знакомства с данными и исследователь готов сообщить «свидетельств нет», если данные укажут в другую сторону. Выбрать хвост, посмотрев на средние, — значит произвольно уменьшить p вдвое, и рецензент, заметивший это, будет с подозрением относиться ко всем остальным числам.

Проверка эквивалентности #

Все критерии выше проверяют нулевую гипотезу «ничего не происходит» и ищут свидетельства против неё. В разделе о значимости уже сказано, что значит их не найти: незначимое p одинаково совместимо и с отсутствием эффекта, и с эффектом, слишком малым, чтобы выборка такого объёма его обнаружила. Но иногда нужно именно отрицательное утверждение: смена меню не изменила время ожидания, удовлетворённость не зависит от возраста участника. Чтобы его обосновать, нулевую гипотезу приходится развернуть.

Критерий эквивалентности — критерий с нулевой гипотезой, обратной обычной: эффект не меньше границы Δ (группы различаются на Δ или больше в ту или другую сторону, корреляция не слабее Δ). Отвергнуть такую гипотезу — значит получить прямое свидетельство того, что эффект меньше Δ, то есть пренебрежимо мал. Обычный критерий и критерий эквивалентности отвечают по одним и тем же данным на разные вопросы: есть ли свидетельство эффекта и есть ли свидетельство того, что эффект слишком мал, чтобы иметь значение. Ответы не зависят друг от друга. Различие может оказаться значимым и эквивалентным одновременно, если эффект реален, но меньше Δ. Может не подтвердиться ни то ни другое, если выборка слишком мала, чтобы ответить хотя бы на один из вопросов. В приложении это группа Эквивалентность в списке Направление критерия сравнительного анализа и параметр Граница пренебрежимо малой корреляции (TOST) корреляционного анализа.

TOST (два односторонних критерия) — способ проверить эквивалентность. Перевёрнутая нулевая гипотеза «эффект по модулю не меньше Δ» распадается на две: «эффект не меньше +Δ» и «эффект не больше −Δ». Каждую проверяют односторонним критерием относительно своей границы. Эффект лежит между −Δ и +Δ, только если отвергнуты обе, поэтому сообщается большее из двух p-значений. Его сравнивают с уровнем значимости, как любое другое p: если оно ниже α, показано, что эффект меньше Δ. Корреляционный анализ выводит это p в столбце p (Δ) рядом с обычным p, когда граница задана, а сравнительный анализ — в столбце p (экви.) вместе с двумя односторонними p-значениями.

Граница эквивалентности — это Δ, наибольший эффект, который ещё можно считать пренебрежимо малым. Без неё критерий эквивалентности невозможен: слово «пренебрежимый» ничего не значит, пока не сказано, насколько малое достаточно мало. Границу выбирают до знакомства с данными и выражают в единицах того эффекта, который она ограничивает: разность средних — в единицах зависимой переменной или в стандартных отклонениях, корреляцию — на её собственной шкале от −1 до 1. Это та же величина, которую страница о планировании называет наименьшим интересующим размером эффекта, и вывод целиком зависит от неё. При широкой границе эквивалентность легко показать, но такой вывод ничего не стоит. При узкой для него нужна большая выборка. Если подобрать границу уже по результатам, ровно такой ширины, чтобы её пройти, критерий обесценится точно так же, как при выборе хвоста после взгляда на средние. В сравнительном анализе она задаётся параметром Граница эквивалентности (Δ), в корреляционном — параметром Граница пренебрежимо малой корреляции (TOST).

Пренебрежимый эффект — эффект меньше границы эквивалентности, и такое утверждение позволяет сделать только критерий эквивалентности. Незначимое p этого не позволяет никогда: «нет значимого различия» означает лишь, что данные не дали отвергнуть нулевую гипотезу, а это совместимо с эффектом любого размера, если выборка слишком мала, чтобы его обнаружить. Градация, которую столбец Интерпретация присваивает размеру эффекта (пренебрежимо малый эффект ниже порога малого), — тоже не критерий. Она сравнивает точечную оценку с фиксированной планкой и ничего не сообщает о том, насколько далеко от неё может лежать значение в генеральной совокупности. Вывод «эффект пренебрежимо мал» обосновывают p TOST ниже α или интервал (1 − 2α), целиком лежащий внутри ±Δ.

Доверительный интервал (1 − 2α) — интервал, по которому получается тот же вывод, что и по TOST: два односторонних критерия на уровне α отвергают нулевую гипотезу ровно тогда, когда доверительный интервал уровня 1 − 2α (90-процентный при α = 0.05) целиком лежит между −Δ и +Δ. Он уже 95-процентного интервала, который приложение выводит в других местах, и если сравнивать с ±Δ более широкий интервал, свидетельство в пользу эквивалентности окажется заниженным. Сравнительный анализ в режиме эквивалентности строит интервал разности на уровне 1 − 2α и указывает уровень в заголовке столбца. Корреляционный анализ оставляет обычный интервал, а уровень для эквивалентности указывает в подписи под таблицей.

Нехужесть — утверждение, что группа 1 уступает группе 2 не больше чем на границу Δ. Это та половина критерия эквивалентности, которая нужна, когда плохо только различие в одну сторону: дешёвый рецепт, более короткая процедура, новый филиал — в каждом случае важно, не хуже ли новое того, что было. Проверяется она одним односторонним критерием относительно одной границы. Если лучше бо́льшие значения, нулевая гипотеза — «группа 1 уступает группе 2 на Δ или больше», а альтернативная — группа 1 − группа 2 > −Δ. Если лучше меньшие значения (время ожидания, доля ошибок, стоимость), параметр Предпочтительное направление переворачивает неравенство, и альтернативная гипотеза принимает вид группа 1 − группа 2 < Δ. Доказывать различие не нужно, достаточно показать, что любое различие остаётся по нужную сторону от границы. Вывод совпадает с тем, лежит ли интервал (1 − 2α) целиком выше −Δ (или, при перевёрнутом неравенстве, ниже Δ). По столбцу оценка (общая оценка кафе) нехужесть «Набережной» по сравнению с «Привокзальной» при границе в полбалла подтверждается: p = 0.0006 при Δ = 0.5, и нижний конец 90-процентного интервала (−0.06) лежит с большим запасом выше −0.5. В приложении это вариант Нехужесть в группе Эквивалентность списка Направление критерия.

Превосходство — зеркальное утверждение: группа 1 превосходит группу 2 не меньше чем на Δ. Альтернативная гипотеза — группа 1 − группа 2 > Δ, если лучше бо́льшие значения, и группа 1 − группа 2 < −Δ, если меньшие. Это снова один односторонний критерий относительно одной границы. От обычного одностороннего критерия эта проверка отличается тем, какой порог должно преодолеть различие. Односторонний критерий требует любого различия в предсказанном направлении, сколь угодно малого, а превосходство — различия не меньше границы. Поэтому значимое различие, меньшее Δ, проходит первый критерий и не проходит второй. В терминах интервала превосходство означает, что интервал (1 − 2α) целиком лежит за Δ. На данных кафе преимущество «Набережной» в 0.40 балла по столбцу оценка не даёт превосходства на полбалла: p = 0.643 при Δ = 0.5, а нижний конец интервала, −0.06, далёк от 0.5, которых требует это утверждение. В том же списке вариант называется Превосходство.

Критерий минимального эффекта (MET) — это TOST наоборот. Его нулевая гипотеза — различие лежит внутри ±Δ, то есть слишком мало, чтобы иметь значение, а альтернативная — различие больше Δ в ту или другую сторону. Это снова два односторонних критерия, по одному на каждую границу, но теперь достаточно отвергнуть одну из двух нулевых гипотез, поэтому сообщается меньшее из двух p. Предпочтительное направление не требуется, поскольку критерий симметричен относительно Δ. Критерий выясняет, достаточно ли велик эффект, чтобы быть существенным, и строже обычного критерия так же, как превосходство: значимое различие, меньшее Δ, его не проходит. Для столбца оценка при сравнении филиалов p = 0.643 при Δ = 0.5, как и у превосходства, потому что преимущество 0.40 ближе к верхней границе, а одностороннее p для нижней границы равно 0.999. Вариант называется Минимальный эффект (MET), и его p выводится в столбце p (MET), тогда как у трёх остальных — в столбце p (экви.).

Связана ли на данных кафе удовлетворённость участника (оценка) с его возрастом (возраст)? Корреляционный анализ на 188 участниках, указавших и то и другое, даёт r = −0.06, p = 0.43: свидетельств связи нет, но нет пока и свидетельств её отсутствия. Если параметру Граница пренебрежимо малой корреляции (TOST) задать значение 0.2 (корреляция слабее этой ничего не изменила бы в том, как кафе обращается с посетителями), в столбце p (Δ) появится 0.024: при α = 0.05 показано, что связь пренебрежимо мала. При границе 0.1 p (Δ) = 0.28, и такого вывода сделать нельзя. Интервал приводит к тому же: 90-процентный интервал от −0.18 до 0.06 лежит внутри ±0.2, но не внутри ±0.1, потому что по выборке из 188 наблюдений нельзя отличить корреляцию −0.06 от −0.15. Оба вывода верны. Какой из них попадёт в отчёт, зависит от границы, а её задал владелец ещё до получения данных — сами данные её не выбирали.

Тот же разворот в сравнительном анализе: различается ли оценка между филиалами? t-критерий Уэлча на 193 участниках, поставивших оценку, показывает, что в «Набережной» она на 0.40 балла выше (7.49 против 7.10), t(169.8) = 1.45, p = 0.148: свидетельств различия нет, но нет пока и свидетельств его отсутствия. Если выбрать в списке Направление критерия вариант Эквивалентность (TOST) с границей 0.5 в режиме Нестандартизованное (полбалла на шкале 0–10 — наибольшее расхождение филиалов, которое допустил бы владелец), в столбце p (экви.) появится 0.357: эквивалентность не показана. При Δ = 1 это p равно 0.015, и показано, что филиалы различаются меньше чем на балл. 90-процентный интервал разности, от −0.06 до 0.85, приводит к тому же выводу: он лежит внутри ±1, но не внутри ±0.5. Как и в случае корреляции, какое утверждение попадёт в отчёт, решает граница, а не данные.

Много проверок сразу #

При α = 0.05 у каждой верной нулевой гипотезы вероятность ложной тревоги — одна двадцатая. Если проверить шесть верных нулевых гипотез, вероятность того, что хотя бы одна окажется «значимой», составит 1 − 0.95⁶ = 26%, а при двадцати — 64%. Исследование, где проверяют многое, а в отчёт включают только то, что прошло порог 0.05, по большей части описывает шум, даже если никто ничего не подтасовывал.

В анкете кафе шесть пунктов, и сравнить все шесть между филиалами t-критерием Уэлча — значит один раз запустить сравнительный анализ с шестью зависимыми переменными и получить шесть критериев:

Без поправки значимы два пункта из шести: участники из «Привокзальной» ниже оценивают приветливость персонала и быстроту обслуживания. Три пункта о еде и обратный пункт медленно различий не показывают. Но при шести критериях вероятность хотя бы одной ложной тревоги, когда никаких различий нет, — примерно одна четвёртая, поэтому по исходному столбцу нельзя судить так, будто каждый критерий проведён отдельно от остальных.

Поправка на множественные сравнения повышает планку для каждого критерия так, чтобы семейство критериев в целом удерживало выбранную частоту ошибок. Приложение применяет метод, выбранный в Настройках, к каждому распознанному семейству: зависимым переменным одного запуска, парам в таблице апостериорных сравнений, ячейкам корреляционной матрицы. Скорректированное p можно выводить рядом с исходным или вместо него. Методы различаются тем, что гарантируют:

Групповая вероятность ошибки (FWER) — вероятность хотя бы одной ложной тревоги где-либо в семействе. Если держать её на уровне 0.05, то в исследовании, где на самом деле ничего нет, вероятность сообщить хотя бы об одном значимом результате равна 5%. Её контролируют методы Бонферрони, Холма, Хохберга и Хоммеля.

Доля ложных открытий (FDR) — ожидаемая доля ложных тревог среди значимых результатов. Если держать её на уровне 0.05, то среди результатов, признанных значимыми, шумом окажется в среднем один из двадцати. Эта гарантия слабее, зато сохраняет гораздо больше мощности, когда реальных эффектов много. Её контролируют методы Бенджамини — Хохберга и Бенджамини — Екутели.

• Бонферрони — каждое p умножается на число критериев (если произведение больше единицы, берут единицу). Это самый старый и самый консервативный метод: при многих критериях он скрывает реальные эффекты. На пунктах анкеты — 0.095 и 0.076.
• Холм — p-значения упорядочивают от меньшего к большему, наименьшее умножают на число критериев, следующее — на число на единицу меньше и так далее, а на первом незначимом процедура останавливается. Гарантия та же, что у метода Бонферрони, а мощность никогда не ниже, так что предпочесть Бонферрони можно разве что по привычке рецензента. На пунктах анкеты — 0.076 и 0.079.
• Хохберг — процедура Холма, проведённая в обратном порядке, от наибольшего p. Она немного мощнее и корректна, когда критерии независимы или связаны положительно, а сравнения одних и тех же групп по родственным показателям обычно именно таковы.
• Хоммель — дальнейшее уточнение метода Хохберга при том же условии: ещё немного мощнее, но объяснить его сложнее.
• Бенджамини — Хохберг (FDR) — контролирует долю ложных открытий. p-значения упорядочивают, и k-е наименьшее из них значимо, если оно ниже k/m × α. Это стандартный выбор для разведочного анализа со многими критериями, где пропустить реальный эффект дороже, чем пойти по нескольким ложным следам. На пунктах анкеты — 0.047 и 0.047.
• Бенджамини — Екутели (FDR) — даёт гарантию метода Бенджамини — Хохберга при любой зависимости между критериями ценой более сильной поправки. Подходит для семейств, где критерии могут быть связаны отрицательно.

p (скорр.) — скорректированное p-значение, то есть исходное p после применения выбранного метода. Его сравнивают с уровнем значимости точно так же, как исходное. Когда оно выведено, вердикт Значимо и звёздочки значимости определяются им, а не исходным столбцом.

Какую поправку выбрать #

Разумный выбор по умолчанию — метод Холма: он делает то же, что метод Бонферрони, но мощнее и не требует допущений о том, как связаны критерии. Метод Бенджамини — Хохберга подходит для разведочного анализа, например для скрининга многих исходов или большой корреляционной матрицы, где несколько ложных следов среди многих открытий — приемлемая цена за то, чтобы не пропустить настоящие эффекты. Метода Бонферрони ждут в некоторых областях и некоторые рецензенты, и для семейства из двух-трёх критериев вреда от него нет. Важнее самого выбора то, что он сделан до знакомства с результатами и указан в отчёте вместе с размером семейства, к которому применялась поправка.

На пунктах анкеты от выбора зависит сам вывод. С поправкой Холма ни один пункт об обслуживании не проходит порог 0.05 (0.076 и 0.079), а с поправкой Бенджамини — Хохберга проходят оба (0.047). Противоречия здесь нет: методы гарантируют разное, а данные попали как раз в ту область, где гарантии расходятся. Корректный отчёт приводит и исходные, и скорректированные значения и называет выбранную гарантию: «Участники из „Привокзальной“ ниже оценили приветливость персонала и быстроту обслуживания (p = 0.016 и 0.013 без поправки). С поправкой Холма по шести пунктам ни одно из различий не достигло значимости (p = 0.079 и 0.076)». Результат, который держится только при самой мягкой поправке, — повод проверить его на новых данных, а не вывод.

Как описать критерий в отчёте #

В отчёте о критерии указывают статистику и степени свободы, точное p-значение (с двумя-тремя десятичными знаками или < 0.001), направление и размер эффекта с доверительным интервалом, объём выборки и все решения, повлиявшие на p: одно- или двусторонний критерий; уровень значимости, если он отличается от 0.05; поправку и размер семейства, к которому она применялась. Два результата по кафе в таком виде:

• До смены меню участники из «Привокзальной» тратили за визит больше, чем участники из «Набережной»: 9.52 против 7.91, разность 1.61 (95% ДИ от 0.62 до 2.60). t-критерий Уэлча: t(179.5) = −3.20, p = 0.002, n = 99 и 101.
• После смены меню чек за визит вырос в среднем на 1.09 (стандартное отклонение изменения 2.86, 95% ДИ от 0.69 до 1.49). Парный t-критерий: t(198) = 5.37, p < 0.001, n = 199. Один участник, у которого средний чек после смены меню отражал заказ кейтеринга, исключён, как описано на странице о данных кафе.

Полный контрольный список для критериев сравнительного анализа приведён в его руководстве, и такой же список для своих критериев есть в руководстве каждого модуля.

Где это встречается в DataSuite #

• Сравнительный анализ — в каждой таблице критерия приводятся статистика, df, p и интерпретация. Параметр Направление критерия задаёт одно- или двусторонний критерий, а его группа Эквивалентность включает TOST, проверку нехужести, проверку превосходства и критерий минимального эффекта. Все они работают относительно значения Граница эквивалентности (Δ). Несколько зависимых переменных или апостериорных пар образуют семейство, к которому применяется поправка.
• Корреляционный анализ — критерий для каждого коэффициента проверяет нулевую гипотезу «связи нет». Параметр Граница пренебрежимо малой корреляции (TOST) разворачивает эту гипотезу для каждой пары и выводит результат в столбце p (Δ). Матрица коэффициентов — это семейство, и модуль предупреждает, если поправка не задана.
• Регрессионный анализ — t (или z) и p каждого коэффициента проверяют гипотезу «при остальных предикторах этот ничего не добавляет», а F модели — гипотезу «ни один предиктор ничего не добавляет».
• Анализ распределения — критерии нормальности: нулевая гипотеза в них — «распределение нормально», и малое p означает отклонение от нормальности.
• Факторный анализ и моделирование структурными уравнениями и конфирматорный факторный анализ — χ² соответствия модели с нулевой гипотезой «модель согласуется с данными». На достаточно большой выборке он значим почти для любой модели.
• Временные ряды, анализ времени до события и метаанализ — критерии стационарности, лог-ранговый критерий и критерии гетерогенности. Все они истолковываются так, как описано выше, когда известна их нулевая гипотеза.
• Настройки — уровень значимости, уровень значимости для проверки допущений, формат вывода p-значений и поправка на множественные сравнения. Все они действуют сразу во всём приложении.