Параметрические и непараметрические критерии #

Критерии в списке сравнительного анализа идут парами. Рядом с t-критерием стоит критерий Манна — Уитни, рядом с однофакторным дисперсионным анализом — критерий Краскела — Уоллиса, рядом с парным t-критерием — критерий знаковых рангов Вилкоксона, а в корреляционном анализе рядом с коэффициентом Пирсона предложен коэффициент Спирмена. В каждой паре один критерий параметрический, другой непараметрический. К ним обычно прилагается совет «если данные не нормальны, берите непараметрический». Совет этот верен достаточно часто, чтобы его повторяли, и ошибочен достаточно часто, чтобы посвятить ему отдельную страницу. Ниже объясняется, что означают оба слова, что такое ранг и какую гипотезу на самом деле проверяет ранговый критерий, где два семейства согласны и где расходятся, какие робастные критерии занимают место между ними, какими путями получается p-значение и как выбирать. Все числа взяты из данных кафе, подготовленных так, как описано на той странице, а каждый упомянутый критерий есть в модуле сравнения или корреляции.

Два семейства критериев #

Параметрический критерий исходит из того, что данные (или случайный шум в них) подчиняются распределению, которое задаётся несколькими параметрами, — почти всегда нормальному распределению со средним и стандартным отклонением, — и проверяет гипотезу именно об этих параметрах: различаются ли два средних, равен ли нулю наклон. t-критерии, дисперсионный анализ и родственные ему методы, корреляция Пирсона и обычная регрессия — всё это параметрические методы. В терминах ролей приложения параметрическое сравнение двух групп проверяет, различается ли среднее зависимой переменной на двух уровнях группирующей переменной. На данных кафе t-критерий Уэлча для чек_до по филиалам даёт такой результат: среднее в «Набережной» 7.91 (SD 2.97), в «Привокзальной» 9.52 (SD 4.05), t(179.5) = −3.20, p = 0.002, разность −1.61 с 95% ДИ [−2.60, −0.62]. Своей точностью критерий обязан этому допущению: он учитывает точное расстояние от каждого значения до группового среднего, и если модель верна, ни один метод не извлечёт из данных больше. Приблизительно нормальными должны быть значения внутри каждой группы, а не зависимая переменная, объединённая по всем группам. К тому же, как только в каждой группе набирается несколько десятков наблюдений, центральная предельная теорема делает заметные отклонения от нормальности несущественными. Насколько заметными они могут быть, сказано в разделе о нормальности.

Непараметрический критерий не делает никаких допущений о форме распределения, из которого получены значения. Большинство таких критериев работает не с самими значениями, а с их рангами: это критерии Манна — Уитни, знаковых рангов Вилкоксона, Краскела — Уоллиса и Фридмана, а также корреляции Спирмена и Кендалла. Критерий Манна — Уитни на том же сравнении даёт средний ранг 88.5 в «Набережной» и 112.7 в «Привокзальной», U = 3788, p = 0.003. Вывод тот же, хотя ни одна сумма чека в расчёте не участвовала. Само название при этом неточно в двух отношениях. Во-первых, эти критерии не свободны от допущений: все они предполагают независимость наблюдений, а чтобы толковать такой критерий как сравнение медиан, нужно ещё одно допущение (о нём ниже). Во-вторых, не всякая непараметрическая процедура что-то ранжирует: перестановочные и точные критерии, о которых речь пойдёт дальше, работают с самими значениями. Объединяет семейство то, что его p-значения не зависят от того, нормальна ли генеральная совокупность или имеет какую-либо другую заданную форму.

Свободный от распределения — более точное название этого свойства. Распределение статистики критерия при нулевой гипотезе известно, как бы ни была устроена генеральная совокупность: если нулевая гипотеза верна, все расстановки рангов (или меток групп) равновероятны, и поведение статистики выводится из подсчёта расстановок, а не из формулы, описывающей совокупность. Поэтому p-значению рангового критерия можно доверять уже при десяти наблюдениях в группе, тогда как p-значение t-критерия опирается на нормальность, которую по десяти наблюдениям не подтвердить.

Медсестра сравнивает сроки выздоровления в двух отделениях, учитель — баллы за контрольную в двух классах, маркетолог — время на странице при двух вариантах дизайна. Выбор у всех один и формулируется одними и теми же словами: сравнивать среднее зависимой переменной по группирующей переменной или её ранги.

Что такое ранг #

Ранг — место значения в выборке, упорядоченной от меньшего к большему: наименьшее значение получает ранг 1, следующее — ранг 2, наибольшее — ранг, равный объёму выборки. Самое долгое ожидание в данных кафе, 19.9 минуты, имеет ранг 185 из 185, а следующее за ним ожидание 16.3 — ранг 184. При ранжировании пропадают сведения о том, насколько далеко друг от друга значения, и остаётся только их порядок: самое долгое ожидание получило бы ранг 185, будь оно 12 минут или 120. Поэтому ранговым методам безразличны выбросы и асимметрия. Заказ на кейтеринг (66.53 в столбце чек_после) имеет ранг 200 из 200, тот же, что был бы у значения 20.09, всего на 0.01 больше второго по величине значения 20.08. Но у этого безразличия есть и цена: критерий на рангах не отличит разрыв в 0.01 от разрыва в 46. Правило Средние ранги в преобразовании данных записывает ранги переменной в новый столбец, и ровно это ранговый критерий проделывает внутри себя, прежде чем приступить к расчёту.

Совпадения — одинаковые значения, которые нельзя упорядочить между собой. Каждое из них получает среднее тех рангов, которые вся группа совпадающих значений заняла бы вместе, и такие ранги называют связанными. Двое участников ждали ровно по 11.9 минуты. На двоих им приходятся ранги 182 и 183, и каждый получает 182.5. На измерениях совпадения редки (среди 185 значений ожидания различных 82), а на шкале оценок они норма: среди 193 значений столбца оценка различных всего десять. Сорок участников, поставивших 7, занимают ранги с 61-го по 100-й, и каждый из них получает 80.5. Совпадения важны по двум причинам. Во-первых, они уменьшают разброс рангов, поэтому любой ранговый критерий вносит поправку на связанные ранги в дисперсию, по которой строится p-значение. Когда совпадений много, приближение, на котором основано это p-значение, становится грубее. За этим следят вердикт Допустимая доля совпадений корреляционного модуля и порог предупреждения «много совпадений» в настройках. Член поправки на связанные ранги у вкус (пятибалльный пункт, где использованы все уровни) равен 0.058 при пороге по умолчанию 0.10, у оценка — 0.027, у ожидание — 0.0003. Во-вторых, при совпадениях точный путь к p-значению недоступен, и критерий, который иначе провёл бы полный перебор, переходит на приближение (оба пути описаны ниже).

Средний ранг — среднее рангов одной группы в общем ранжировании. Именно средние ранги сравнивает ранговый критерий там, где t-критерий сравнивает групповые средние. Если группирующая переменная ни на что не влияет, средний ранг каждой группы близок к середине ранжирования, $(N+1)/2$, то есть к 100.5 при 200 участниках. По чек_до средний ранг «Набережной» равен 88.5, а «Привокзальной» — 112.7. Участники «Привокзальной» в среднем стоят в общем ранжировании выше, и величину этого разрыва измеряет U. Модуль сравнения добавляет средние ранги к описательной статистике групп, если в разделе описательной статистики отмечен флажок Средние ранги (для ранговых критериев). Средний ранг имеет смысл только внутри своей таблицы: 88.5 ничего не значит без 200 наблюдений, среди которых его получили. Разность двух средних рангов — не размер эффекта. Размеры эффекта здесь — δ Клиффа и рангово-бисериальный r, и вычисляются они по тем же рангам.

Что на самом деле проверяет ранговый критерий #

На критерии Манна — Уитни стоит остановиться подробнее: его обычное описание в одну строку («проверяет, различаются ли медианы») не соответствует тому, что он делает. Критерий ранжирует обе группы вместе, а его статистика U перебирает все пары, составленные из участника одной группы и участника другой (здесь их 101 × 99 = 9999), и подсчитывает, как часто значение у участника первой группы больше. Нулевая гипотеза состоит в том, что значения обеих групп взяты из одного распределения. Тогда в любой паре большее значение с равной вероятностью окажется у участника любой из групп, и значение U будет близко к половине числа пар. По чек_до участник «Набережной» тратит больше участника «Привокзальной» в 3788 парах из 9999, то есть в 38% случаев вместо 50%, ожидаемых при отсутствии различий, и именно этот недобор даёт p = 0.003. Значит, критерий чувствителен к тому, что значения одной группы в целом больше значений другой. Мерой этой тенденции служит вероятность того, что случайно выбранный участник «Привокзальной» потратит больше случайно выбранного участника «Набережной», здесь она равна 62%. Именно её показывает общеязыковой размер эффекта, а δ Клиффа пересчитывает её в −0.24 на шкале от −1 до 1. Вопрос же о том, насколько больше, критерий не ставит.

Сдвиг положения — дополнительное допущение, которое превращает утверждение «значения в целом больше» в утверждение «медиана больше»: распределения двух групп одинаковы по форме и разбросу и отличаются только сдвигом вдоль оси. При этом допущении среднее, медиана и любой квантиль одной группы отстоят от соответствующих величин другой на одно и то же расстояние, и критерий проверяет именно это расстояние. Если формы различаются (одна группа разбросана сильнее или сильнее скошена), критерий Манна — Уитни может отвергнуть нулевую гипотезу при равных медианах, и толковать его результат как различие в положении уже нельзя. Для такого случая и создан критерий Бруннера — Манцеля (см. ниже), поэтому проверка допущений модуля сравнения рекомендует именно его, когда разбросы различаются.

Оценка Ходжеса — Лемана — собственный ответ рангового семейства на вопрос «насколько». Это медиана всех попарных разностей между значением из одной группы и значением из другой: по 9999 парам (чек в «Набережной» минус чек в «Привокзальной») она равна −1.52, 95% ДИ [−2.52, −0.53]. Именно это число стоит в столбце Разность карточки критерия Манна — Уитни, а в карточке t-критерия там же стоит разность средних (−1.61 [−2.60, −0.62] на тех же данных). В парном плане оценка равна медиане попарных средних внутрипарных разностей, так называемой псевдомедиане. Описательная статистика предлагает её и для отдельной переменной под названием «Псевдомедиана Х-Л». Ранговый критерий оценивает эту величину, когда допущение о сдвиге выполнено, и к ней прилагается доверительный интервал, построенный по распределению рангов. Поэтому результат рангового критерия можно сообщить в единицах самой переменной, а не только в виде p.

Парные критерии проверяют то же самое на разностях внутри пар. Критерий знаковых рангов Вилкоксона ранжирует модули разностей без учёта знаков и проверяет, поровну ли распределяются ранги между положительными и отрицательными разностями. Возьмём изменение чека у 199 участников (заказ на кейтеринг заменён пропуском). Среднее изменение равно +1.09, медиана +0.93. Парный t-критерий даёт t(198) = 5.37 при p < 0.001, критерий знаковых рангов — W = 13 850 при p < 0.001, а псевдомедиана изменений равна +1.05. На переменной без аномалий три способа приводят к одному выводу. Критерий знаковых рангов предполагает, что разности симметричны относительно своего центра (асимметрия здесь −0.13), ведь он использует их величину. Критерий знаков обходится без этого допущения и учитывает только направление изменений: из 197 участников, у которых чек вообще изменился, 125 стали тратить больше, 72 меньше, p < 0.001. Поэтому он применим ко всему, что можно упорядочить, но из трёх критериев он наименее мощный. Все три перечислены в таблице для зависимых выборок.

Когда два семейства расходятся #

Когда данные близки к нормальным, оба семейства приходят к одному выводу, как в примерах выше. Поучительнее случаи, где они расходятся, и в данных кафе таких два.

визиты_до — счётная переменная с длинным правым хвостом (асимметрия 2.07). Большинство участников заходили за восемь недель по нескольку раз, а немногие завсегдатаи — от двадцати до сорока двух раз. Шестеро таких завсегдатаев ходят в «Привокзальную», а в «Набережной» их нет вовсе: самый частый её посетитель пришёл девятнадцать раз. t-критерий Уэлча сравнивает средние 6.14 и 7.84 визита и даёт t(166.8) = −2.20, p = 0.029. Критерий Манна — Уитни даёт U = 4341.5, p = 0.107: случайный участник «Привокзальной» приходит чаще случайного участника «Набережной» в 57% случаев, а сдвиг Ходжеса — Лемана равен одному визиту. t-критерий отвергает нулевую гипотезу, ранговый — нет, но ни один из них не ошибается: они измеряют разное. Разность средних в 1.7 визита во многом создают завсегдатаи «Привокзальной». 20%-ные усечённые средние равны 5.5 и 6.7 (разрыв 1.2), и критерий Юэна по ним даёт p = 0.10. t-критерий учитывает каждый визит и потому улавливает эту разность. Для рангового критерия сорок визитов завсегдатая — просто один участник выше медианы, и различие для него сводится к умеренной тенденции. Если владельца интересует касса (визиты приносят выручку, и визиты завсегдатая стоят не меньше чужих), то сравнивать нужно средние, и t-критерий для этого подходит: при сотне участников в группе центральная предельная теорема оправдывает его даже при асимметрии 2. Если же вопрос о типичном участнике, смотреть нужно на медиану, сдвиг или усечённое среднее, и ответ будет таким: «примерно один визит, что при таком объёме выборки неотличимо от нуля».

Изменение числа визитов после смены меню повторяет этот случай в парном плане. Среднее изменение равно +0.64 визита, парный t-критерий даёт t(199) = 1.96, p = 0.051. Это результат на границе, подробно разобранный на странице о проверке гипотез. Критерий знаковых рангов даёт p = 0.165, критерий знаков — p = 0.173 (97 участников стали приходить чаще, 78 реже, 25 так же часто), а медиана изменения равна нулю. Среднее изменение — не арифметическая иллюзия: общее число визитов действительно выросло. Но прирост сосредоточен у немногих участников, добавивших много визитов, а у типичного участника изменения нет. Здесь ранговые критерии точнее описывают, что произошло с участниками, а t-критерий — что произошло с кассой.

Шесть пунктов анкеты дают обратную картину. По пункту приветливо, где два критерия оказываются по разные стороны от 0.05, t-критерий Уэлча по баллам от 1 до 5 даёт p = 0.016, а критерий Манна — Уитни p = 0.051. По пункту быстро — 0.013 против 0.031. На пятибалльном пункте почти каждое значение совпадает с десятками других, и ранговый критерий теряет мощность на совпадениях. А t-критерий по средним баллам пункта при сотне участников в группе вовсе не так неуместен, как иногда утверждают. Какой из двух результатов приводить в отчёте — вопрос о порядковых данных, который разобран ниже.

Если t-критерий и ранговый критерий расходятся, само расхождение информативно: различие между группами сосредоточено в хвосте одной из них. Стоит посмотреть на ящики с усами по группам и найти этот хвост. Сначала решают, о какой величине вопрос, и лишь потом — какой критерий прав. Отделение, где несколько пациентов пролежали месяцами, класс, где несколько учеников получили ноль, страница, которую несколько посетителей оставили открытой на ночь, — в таких случаях среднее и ранги разойдутся, и выбирать между ними придётся по вопросу исследования.

Цена каждого подхода #

Ранговые критерии обходятся дешевле, чем принято думать. Если данные действительно нормальны, критерию Манна — Уитни для той же мощности нужно примерно на 5% больше наблюдений, чем t-критерию: его эффективность относительно t-критерия равна 3 ⁄ π, около 0.95, и ни при какой форме распределения не опускается ниже примерно 0.86. При тяжёлых хвостах ранговый критерий даже мощнее t-критерия, потому что крайние значения, которые раздувают стандартную ошибку t-критерия, для него лишь старшие ранги. Утверждение «непараметрическим критериям нужны выборки побольше» на нормальных данных верно, но разница составляет всего 5%, а на тех данных, из-за которых о непараметрических критериях вообще задумываются, оно неверно.

Преимущества параметрического семейства не сводятся к мощности. Параметрический критерий попутно оценивает эффект в единицах самой переменной и даёт для него доверительный интервал. Оценка рангового критерия, сдвиг Ходжеса — Лемана, имеет смысл лишь при допущении о сдвиге. Параметрические модели допускают ковариаты (у ковариационного анализа в приложении нет рангового аналога) и разделяют главные эффекты и взаимодействия в факторном плане. Единственный ранговый метод для такого плана, ART-ANOVA, справляется с этим, лишь предварительно выровняв данные. Наконец, на параметрическом семействе построены регрессия, факторный анализ и структурные модели, так что результат, который затем войдёт в модель, проще сообщить в тех же терминах. Когда параметрический критерий уместен, он лучший выбор, и смысл этой страницы в том, чтобы понять, когда это так.

С объёмом выборки всё не так однозначно. Расхожее правило «при малых выборках — непараметрические критерии» верно наполовину. При десяти наблюдениях в группе нормальность не проверить, а p t-критерия на ней держится, тогда как точное p рангового критерия от формы распределения не зависит. Но на совсем малых выборках проявляется дискретность ранговых критериев. При трёх наблюдениях в группе наименьшее двустороннее p, которое может дать критерий Манна — Уитни, равно 0.10, так что отвергнуть нулевую гипотезу он не может вовсе. У критерия знаковых рангов на пяти парах p не опускается ниже 0.0625, а до 0.05 доходит лишь начиная с шести пар. Поэтому незначимый результат рангового критерия на горстке наблюдений мало что означает. На больших выборках баланс смещается в другую сторону: центральная предельная теорема делает t-критерий устойчивым, а критерий нормальности отвергает нормальность из-за отклонений, которые ни на один анализ не повлияли бы. Значимый критерий Шапиро — Уилка при n = 200 — не повод отказываться от сравнения средних. Чего большая выборка не исправляет, так это допущения о сдвиге, без которого ранговый критерий нельзя толковать как сравнение положения. Именно его и нужно проверять, когда семейства расходятся.

Порядковые данные — данные, значения которых представляют собой упорядоченные категории: от «совершенно не согласен» до «полностью согласен», от «никогда» до «всегда», оценка от 0 до 10. Порядок в них имеет смысл, но равенство расстояний между соседними ступенями не гарантировано. Вычисляя среднее таких значений, предполагают, что шаг от 1 к 2 равен шагу от 4 к 5, а применяя ранговый критерий — только то, что 2 больше 1. Шесть пунктов анкеты и оценка — порядковые переменные, и разумная практика здесь — компромисс. Для отдельного пункта с несколькими уровнями уместен ранговый критерий или порядковая регрессия: среднее по пятибалльному пункту — удобное число, отвечающее на вопрос, которого никто не задавал. Для балла, полученного суммированием или усреднением нескольких пунктов (например, шкалы еды из вкус, свежесть и цена), нормой служат средние и t-критерии: сумма нескольких упорядоченных пунктов ведёт себя почти как измерение, и разница становится несущественной. Для оценки от 0 до 10 годится любой подход, и выбирать его стоит по вопросу, а не по p-значению. Порядковый тип столбцу задаётся в окне «Переменные». Модуль сравнения требует этот тип только для критериев тренда, а в остальных случаях обращается с порядковым столбцом как с числовым, так что выбор критерия остаётся за аналитиком.

Корреляция на рангах #

Ранговая корреляция показывает, насколько согласованно две переменные меняются по порядку (правда ли, что участник, ждавший дольше, обычно доволен меньше), и не требует, чтобы связь была прямолинейной. Каждую переменную заменяют её рангами и вычисляют корреляцию рангов. Любая монотонная связь, то есть всегда возрастающая или всегда убывающая, как бы она ни изгибалась, даёт высокую ранговую корреляцию, а одна резко выделяющаяся пара значений весит не больше своего ранга. r Пирсона измеряет прямолинейную связь и поддаётся влиянию далёких пар, а два ранговых коэффициента, описанные ниже, измеряют порядок и такому влиянию не поддаются.

ρ Спирмена — это r Пирсона, вычисленный по рангам. Когда связь близка к линейной, а переменные без аномалий, оба коэффициента почти совпадают: для оценка и вкус r = 0.55 и ρ = 0.54. Когда значения уходят в хвост, коэффициенты расходятся: для оценка и ожидание r = −0.30, а ρ = −0.37. Участники, ждавшие шестнадцать и двадцать минут, заметно смещают прямую Пирсона, а для Спирмена это просто два наибольших ранга. Заказ на кейтеринг показывает то же с другой стороны. Корреляция между чек_до и чек_после равна r = 0.69, если этот заказ заменить пропуском, и 0.60, если оставить: одна ячейка из двухсот снижает коэффициент на 0.09. При этом ρ в обоих случаях равен 0.68.

τ Кендалла не вычисляет корреляцию рангов, а подсчитывает пары наблюдений. Пара согласованная, если наблюдение, которое выше по одной переменной, выше и по другой, и несогласованная, если нет. τ равен доле согласованных пар за вычетом доли несогласованных. Для оценка и вкус τ = 0.45, для оценка и ожидание τ = −0.27. На одних и тех же данных τ по модулю, как правило, меньше ρ, но это другая шкала, а не более слабая связь. Зато толкуется τ проще: если взять двух случайных участников, то вероятность того, что тот, кто выше оценил вкус, окажется и в целом более довольным, на 45 процентных пунктов выше вероятности обратного. τ лучше справляется с совпадениями и малыми выборками и в обоих случаях обычно предпочтителен, хотя в публикациях чаще встречается ρ. Руководство по корреляционному анализу сравнивает оба коэффициента с коэффициентом Пирсона и с более сложными мерами связи. Там же параметр метода расчёта p-значения позволяет получить перестановочное p-значение, когда из-за совпадений приближение сомнительно.

Врач проверяет, растёт ли отклик вместе с дозой, учитель — растут ли оценки вместе с посещаемостью, аналитик — меняется ли спрос вслед за ценой. Когда вопрос звучит как «сопровождается ли большее значение одной переменной большим значением другой», а не «на сколько меняется одна на единицу другой», ответ даёт ранговый коэффициент.

Промежуточный путь: робастные статистики #

Робастность — свойство статистики или построенного на ней критерия: несколько крайних значений не могут сильно их сдвинуть. Медиана робастна, а среднее — нет: заказ на кейтеринг сдвигает среднее чек_после на 0.28, а медиану — на 0.01. У полной робастности есть своя цена: медиана почти не использует того, что известно о значениях вдали от центра. Оценки, лежащие между средним и медианой, сохраняют большую часть этих сведений и при этом ограничивают влияние любого отдельного значения. Параметрический критерий на их основе сохраняет сильные стороны семейства (оценку в единицах переменной, учёт неравных разбросов, работу с более чем двумя группами), но избавлен от его хрупкости. Поэтому модуль сравнения предлагает робастный критерий рядом с классическим и ранговым.

Усечённое среднее — среднее значений, которые остаются после того, как с каждого конца упорядоченной выборки отброшена фиксированная доля. По умолчанию приложение отбрасывает по 20% с каждой стороны: из 185 значений ожидания уходят 37 самых коротких и 37 самых долгих, и среднее 111 оставшихся равно 4.85 минуты при обычном среднем 5.20 и медиане 4.9. По построению усечённое среднее лежит между ними (усечение 0% даёт среднее, 50% — медиану) и так же безразлично к происходящему в хвостах, как медиана. Заказ на кейтеринг сдвигает 20%-ное усечённое среднее чек_после с 9.52 до 9.55, а обычное среднее — с 9.75 до 10.03. Описательная статистика выводит его как Усечённое среднее с процентом, заданным рядом. Критерий Юэна и t1way сравнивают усечённые средние групп при заданном уровне усечения.

Винзоризация не удаляет значения в хвостах, а заменяет их ближайшим из оставшихся: 37 самых коротких ожиданий приравниваются к 38-му по краткости, а 37 самых долгих — к 38-му по длительности. Объём выборки сохраняется, и каждое крайнее наблюдение по-прежнему учитывается, но как «не меньше этого», а не по своей величине. Винзоризованное стандартное отклонение — мера разброса, которая идёт в паре с усечённым средним. Именно по нему критерий Юэна строит свою стандартную ошибку. На значениях ожидания оно равно 1.75 минуты при обычном SD 2.91. По чек_после оно равно 2.34 и с заказом на кейтеринг, и без него, тогда как обычное SD составляет 5.45 и 3.70 соответственно. Описательная статистика выводит его как Винзоризованное SD в разделе разброса, а правило Винзоризация в преобразовании данных записывает винзоризованные значения в новый столбец.

Медианное абсолютное отклонение (МАО) — медиана расстояний от значений до их медианы. Это робастный аналог стандартного отклонения: оно построено на медианах так же, как SD построено на средних. Половина значений ожидания отстоит от медианного ожидания 4.9 минуты не больше чем на 2.0 минуты. Умноженное на 1.4826, оно оценивает SD, которое было бы у нормальной переменной с той же центральной частью: 2.97 при фактическом SD ожидания 2.91. Обычно МАО встречается именно в таком масштабированном виде. Правило Робастная z в преобразовании данных делит на него вместо SD, а модуль сравнения выражает в нём границу эквивалентности для ранговых критериев, чтобы шкала границы совпадала со шкалой критерия. Описательная статистика выводит его без масштабирования, под заголовком МАО.

Робастные критерии модуля сравнения построены на этих оценках. t-критерий Юэна для усечённых средних сравнивает два 20%-ных усечённых средних. Стандартную ошибку он берёт из винзоризованных дисперсий, а неравные разбросы учитывает поправкой в духе Уэлча. По чек_до усечённые средние филиалов равны 7.79 и 9.33, разность −1.54 с 95% ДИ [−2.59, −0.49], p = 0.004. Эта разность лежит между −1.61 по Уэлчу и −1.52 по Ходжесу — Леману, как и должно быть на данных, где все три оценки уместны. Критерий рассчитан на трудный случай, когда тяжёлые хвосты сочетаются с неравными разбросами, а с таким случаем плохо справляются оба семейства, параметрическое и ранговое. t1way — общий критерий того же рода для трёх и более групп, и оба критерия перечислены среди критериев для независимых выборок. Критерий Бруннера — Манцеля — робастный представитель самого рангового семейства. Он отказывается от допущения о сдвиге, оценивает вероятность того, что случайный участник одной группы превзойдёт случайного участника другой (для чека в «Привокзальной» против «Набережной» она равна 0.62), и вычисляет для неё собственную стандартную ошибку, поэтому остаётся корректным при различных разбросах. По чек_до он даёт p = 0.003, как и критерий Манна — Уитни, потому что распределения в двух филиалах похожи по форме. Проверка допущений рекомендует его вместо критерия Манна — Уитни как раз тогда, когда формы различаются.

Усечённые средние и МАО — одни и те же оценки в любой области, где встречаются выбросы: время реакции в психологии, доходы в экономике, результаты лабораторных анализов. Робастный критерий — стандартное решение везде, где несколько крайних случаев реальны и удалять их нельзя.

Как вычисляется p-значение #

Оба семейства получают p-значения одним из трёх путей, и какой из них использован, указано в примечаниях под карточкой результатов. Путь — свойство вычисления, а не допущений критерия. Знать его полезно: он объясняет, почему один и тот же критерий выдаёт немного разные p-значения при разных объёмах выборки и почему на некоторых карточках вовсе нет статистики критерия.

Точный критерий вычисляет p-значение перебором: перечисляет все расстановки, которые наблюдаемые значения могли бы принять при нулевой гипотезе, и определяет долю расстановок, не менее крайних, чем наблюдаемая. Точный критерий Фишера перебирает все таблицы 2×2, допустимые при наблюдаемых суммах по строкам и столбцам, и для рекомендует по филиалам даёт p = 0.175. Критерии Манна — Уитни и знаковых рангов перебирают расстановки рангов на малых выборках (R делает так, если в каждой группе меньше пятидесяти наблюдений и нет совпадений), а критерий Мак-Немара использует точное биномиальное распределение, если несогласованных пар меньше 25. Точное p-значение точно лишь в том, что касается нулевой гипотезы. Остальных допущений критерия оно не отменяет, а на очень малой выборке его крупные шаги — та самая дискретность, о которой шла речь выше.

Асимптотическое p-значение вычисляют не перебором, слишком громоздким на практике, а по распределению, к которому статистика критерия стремится с ростом выборки: по нормальному для U и W, по распределению χ² для статистики хи-квадрат. При 200 наблюдениях разницы между двумя путями нет, а при двадцати она мала: критерий знаковых рангов по изменению чека у первых двадцати участников даёт точное p = 0.130 и асимптотическое 0.131. Пометка «асимптотический» у статистики описывает способ получения p и не служит предупреждением о результате. Когда критерий переходит с одного пути на другой, примечания приложения сообщают об этом и называют причину.

Поправка на непрерывность — сдвиг на полшага, который вносят, когда статистику, меняющуюся только целыми шагами (частоту, сумму рангов), сравнивают с гладкой кривой. Статистику смещают на полшага в сторону нулевой гипотезы и только затем находят её место на кривой, чтобы гладкое приближение не приписывало результату большей точности, чем есть у дискретной статистики. В критерии хи-квадрат для рекомендует по филиалам поправка Йейтса снижает χ² с 2.12 до 1.71 и повышает p с 0.145 до 0.192. Точное p критерия Фишера, 0.175, лежит между ними, и на маленькой таблице доверять стоит именно ему. Приложение применяет поправку по умолчанию, чтобы карточка критерия хи-квадрат совпадала с результатами R и SPSS. Для таблиц, где в каждой ячейке не меньше 25 наблюдений, её обычно считают излишне осторожной. Как её отключить и на какие критерии влияет этот флажок, описано в разделе о поправке на непрерывность. На ранговом критерии при таком объёме выборки поправка незаметна: p критерия Манна — Уитни по чек_до равно 0.003 и с ней, и без неё.

Перестановочный критерий перемешивает метки групп между наблюдениями, заново вычисляет статистику и повторяет это сотни или тысячи раз. Его p-значение — доля перемешиваний, в которых статистика оказалась не менее крайней, чем наблюдаемая, причём само наблюдаемое расположение считается одним из них. Это идея точного критерия для случая, когда полный перебор слишком велик: вместо всех расстановок берётся их случайная выборка. Если верна нулевая гипотеза и метка ни на что не влияет, любое перемешивание так же вероятно, как реальное распределение меток. Поэтому о форме генеральной совокупности критерий ничего не предполагает. Он требует лишь, чтобы при нулевой гипотезе наблюдения были взаимозаменяемы, а это условие могут нарушить неравные разбросы. Метки филиалов по чек_до перемешали 999 раз (с фиксированным зерном), и разрыв между средними не меньше наблюдаемого 1.61 получился в двух случаях, откуда p = (2 + 1) ⁄ (999 + 1) = 0.003. Четвёртый путь привёл к тому же ответу, что и три критерия выше. Приложение применяет перестановки там, где пригодной формулы нет: в теоретико-информационных и энергетических критериях, в критерии Джонкхира — Терпстры, в ветви критерия Бруннера — Манцеля для малых выборок, в критерии Андерсона — Дарлинга при совпадениях, в перестановочных p-значениях корреляционного модуля и в критериях модераторов метаанализа. Число перемешиваний задаёт настройка Повторы перестановок, и обратная ему величина — самый мелкий шаг, на который может измениться p-значение. Зерно бутстрэпа фиксирует перемешивания, чтобы расчёт можно было повторить.

Монте-Карло — общее название p-значений, оценённых случайным моделированием. Самый частый случай — перестановочное p-значение, но приложение моделирует и таблицы при нулевой гипотезе для критерия хи-квадрат, если ожидаемые частоты слишком малы для кривой χ². Результат случаен и от запуска к запуску немного меняется, если не задано зерно. Если p Монте-Карло равно в точности $1/(\text{replications}+1)$, это нижняя граница, а не значение: ни одна смоделированная расстановка не оказалась столь же крайней, как наблюдаемая, и примечание под карточкой сообщает об этом.

Как выбирать #

Сначала определяют вопрос и только потом критерий, в таком порядке:

1. Какая величина отвечает на вопрос: среднее, типичный случай или склонность одной группы к большим значениям? Для выручки, итогов и всего, что будет суммироваться, нужно среднее. Для опыта отдельного участника или пациента — медиана или усечённое среднее. Для вопроса «помогает ли лечение» без привязки к единицам — вероятность, которую оценивает ранговый критерий.
2. Какого рода исход? Для измерения (минуты, деньги, балл шкалы) по умолчанию подходит параметрический критерий, причём в варианте Уэлча, который приложение и так предпочитает. Для отдельного порядкового пункта — ранговый критерий.
3. Какой формы распределения в группах? Прежде любого критерия нормальности стоит посмотреть на ящики с усами по группам. Если они примерно симметричны или в каждой группе несколько десятков наблюдений при умеренном перекосе, параметрический критерий уместен. Если хвосты тяжёлые или на малой выборке есть далёкие значения, нужен ранговый критерий или критерий усечённых средних.
4. Различаются ли к тому же разбросы? Критерии Уэлча это уже учитывают. Если вдобавок тяжёлые хвосты, подойдёт критерий Юэна. Если нужен именно ранговый критерий, то критерий Бруннера — Манцеля, а не Манна — Уитни.
5. Касается ли вопрос распределения целиком, а не его центра? Критерии Колмогорова — Смирнова и Андерсона — Дарлинга сравнивают формы распределений, а критерии положения пропустят различие, которое целиком состоит в разбросе.

Кнопка Проверить допущения в модуле сравнения выполняет проверки нормальности и равенства дисперсий в каждой группе, сопоставляет их результаты с уровнем значимости для проверки допущений и помечает каждый критерий в списке как рекомендуемый или не рекомендуемый. Её рекомендации — совет о том, какой критерий уместен на этих данных, а не ответ на исследовательский вопрос, который по-прежнему решает аналитик. Никогда не следует выбирать между двумя семействами по тому, чьё p-значение оказалось меньше. Это не метод, а предыдущие разделы показали, что меньшее p может дать любое из семейств.

Отчёт #

Критерий называют по имени, а если выбор не очевиден, одной фразой объясняют почему: «t-критерий Уэлча (разбросы в филиалах различаются)», «критерий Манна — Уитни, поскольку время ожидания сильно скошено», «критерий Юэна с 20%-ным усечением». Рядом со статистикой, числом степеней свободы (если они есть), p и размером эффекта из того же семейства приводят оценку, которая соответствует критерию: разность средних с доверительным интервалом, сдвиг Ходжеса — Лемана с интервалом или разность усечённых средних. Если выполнены и параметрический, и ранговый критерий, об этом сообщают и приводят оба результата. Фраза «среднее число визитов в „Привокзальной“ было на 1.7 выше (Уэлч, t(166.8) = −2.20, p = 0.029), а у типичного участника различия не было (Манн — Уитни, U = 4341.5, p = 0.107, сдвиг Ходжеса — Лемана 1 визит)» описывает результат исследования, а сообщать только тот критерий, который достиг 0.05, нельзя.

Где это встречается в DataSuite #

• Сравнительный анализ — каждый параметрический критерий рядом с ранговыми и робастными альтернативами в таблицах для независимых и зависимых выборок и для одной выборки. Сюда же относятся кнопка Проверить допущения и её рекомендации, средние ранги в описательной статистике групп, параметры поправки на непрерывность и уровня усечения, а также границы эквивалентности в единицах МАО для ранговых критериев.
• Корреляционный анализ — r Пирсона рядом с ρ Спирмена и τ Кендалла, проверки совпадений и перестановочные p-значения как один из вариантов расчёта.
• Описательная статистика — шаблоны Параметрические и Непараметрические выбирают между сводками двух семейств, а усечённое среднее, псевдомедиана Х-Л, винзоризованное SD и МАО входят в число статистик.
• Анализ распределений — критерии и графики нормальности, на которые опирается выбор.
• Преобразование данных — ранги, винзоризация и усечение, робастная z-оценка.
• Регрессионный анализ — робастная линейная регрессия: та же идея, применённая к коэффициентам модели.
• Анализ времени до события — те же два слова применительно к другому объекту: непараметрическая кривая выживаемости ничего не предполагает о форме функции риска, а параметрическая регрессия задаёт её заранее.
• Настройки — повторы перестановок, зерно бутстрэпа, порог предупреждения о большом числе совпадений и уровень значимости для проверки допущений.