Допущения критериев #

У каждого критерия в приложении есть условия, при которых его p-значение и доверительный интервал означают именно то, что о них заявлено. Выполняются ли эти условия на конкретных данных, проверяют кнопкой Проверить допущения в сравнительном анализе и корреляционном анализе, а в регрессионном анализе — диагностикой остатков. Здесь речь идёт о самих условиях. Сначала о том, что такое допущение и чем оборачивается его нарушение. Затем о каждом допущении, проверяемом приложением: о независимости, коротко о нормальности, о равенстве дисперсий, о допущениях регрессионной прямой, о сферичности, о равенстве ковариационных матриц, о двух допущениях, которые добавляет ковариата, и об условиях для категориальных критериев на малых выборках. В конце — о том, как поступать, если проверка не пройдена. Числа получены на данных кафе, подготовленных так, как описано на той странице. Там, где приложение выполняет ту же проверку, его карточка показывает те же значения.

Что такое допущение #

Допущение — это условие, которое критерий принимает как данность: предположение о том, как возникли данные. Именно оно делает возможными вычисления критерия. p-значение и интервал рассчитаны в предположении, что данные возникли именно так, а если это не так, оба числа описывают ситуацию, которой не было. Допущения есть у каждого критерия: у параметрических их больше, у ранговых меньше, но совсем без допущений нет ни одного. Они бывают трёх видов. Допущения о плане исследования, прежде всего независимость, определяются тем, как собирали данные, и по самим числам не проверяются. Допущения о генеральной совокупности (нормальность, равенство дисперсий) касаются формы распределения, из которого взяты значения, и их можно приблизительно проверить по выборке. Допущения о модели (линейность, сферичность, параллельность наклонов) касаются формы, которую задаёт сам анализ. На языке ролей приложения сравнение филиалов по чек_до предполагает три вещи: чек каждого участника не зависит от чеков остальных, внутри каждого уровня группирующей переменной чек распределён примерно нормально, а разброс на двух уровнях примерно одинаков. В сводной таблице проверки допущений столбец Допущение называет условие, столбец Статус содержит вердикт, а примечание рядом поясняет, что и на каких данных проверялось.

Статус — столбец с вердиктом проверки: Пройдено или Не пройдено либо содержательный вердикт, например Равные дисперсии, Сферичность предполагается или МВ норм. Вердикт выносится на уровне значимости для проверки допущений. Есть и третье состояние, Не оценено: проверку не удалось выполнить. Не пройдено — это сигнал, а не приговор. Рекомендации по критериям под таблицей объясняют, к чему приводит нарушение и какой критерий надёжен в любом случае, а примечание рядом со статусом уточняет, что именно проверялось. Это важно, потому что «нормальность» в одной строке относится к значениям внутри каждой группы, а в другой — к остаткам модели. В таблицах, не связанных с проверкой допущений, этот столбец показывает состояние строки в процедуре, например выбрана она или исключена, сошлась модель или нет. Что он означает в конкретной таблице, сказано в руководстве к ней.

Не оценено — статус проверки, которую не удалось выполнить: в ячейке слишком мало полных наблюдений, в группе нет вариации или модель не удалось подогнать. Он означает не проверено, а не пройдено. Критерии, опирающиеся на это допущение, остаются в списке с соответствующим примечанием. Вывод здесь один: выполнено ли допущение, неизвестно, потому что план или выборка не дают данных для суждения, а большое n в другой части карточки этого не исправляет.

Устойчивость — то, насколько сильно можно нарушить допущение, прежде чем изменятся частоты ошибок критерия. Критерий устойчив к нарушению, если его реальная ошибка I рода остаётся около заявленных 5%, а мощность — около той, что была бы без нарушения. Устойчивость — свойство критерия по отношению к конкретному нарушению, а не критерия вообще. t-критерий и дисперсионный анализ при умеренных объёмах выборки устойчивы к отклонениям от нормальности (благодаря центральной предельной теореме), а при группах равного размера — и к неравенству дисперсий. Критерий Бартлетта и F-критерий равенства дисперсий неустойчивы к отклонениям от нормальности при любом объёме выборки. К зависимости между наблюдениями не устойчив ни один критерий. Близкое слово «робастный» применяют к робастным статистикам, но в более узком смысле: это оценки, которые не сдвигаются из-за нескольких крайних значений. Робастный критерий в этом смысле — способ обойтись без допущения, а не выдержать его нарушение.

В любой области проверка одна и та же. Медсестра, сравнивающая отделения, и учитель, сравнивающий классы, предполагают, что пациенты или ученики независимы, исходы внутри каждой группы распределены примерно нормально, а разброс в группах схож. Карточка допущений проверяет эти три условия в том же порядке.

Независимость #

Независимость наблюдений — допущение, что значение одного наблюдения ничего не сообщает о значении другого сверх того, что уже учтено в анализе. На нём держатся все критерии, и только его нельзя проверить по самим числам, потому что оно определяется тем, как собирали данные. Каждый из 200 участников кафе занимает одну строку, их набирали и опрашивали по отдельности, поэтому они независимы, и решилось это ещё при планировании опроса. Замеры «до» и «после» независимыми не являются: это один и тот же участник, измеренный дважды, и тот, кто тратил больше среднего до смены меню, склонен тратить больше среднего и после (r = 0.69). Если сложить два столбца чеков в один из 400 значений и применить к нему критерий для независимых выборок, t-критерий Уэлча даст t(396.8) = 2.83, p = 0.005, 95% ДИ [0.32, 1.76]. Парный критерий на 199 разностях внутри участников даёт t(198) = 5.37, p < 0.001, [0.69, 1.49]. Оценка в обоих случаях равна +1.09. Стандартная ошибка в первом варианте равна 0.37, а в парном 0.20. Парный критерий исключает разброс между участниками (стандартное отклонение около 3.6 в каждом замере) и оставляет только разброс изменения у одного и того же участника (стандартное отклонение 2.86). Если пренебречь парностью, теряется мощность. Обратная ошибка подрывает корректность вывода. Участник, опрошенный на трёх визитах и учтённый как три участника; десять показаний одного прибора, учтённые как десять приборов; тридцать учеников одного класса, учтённые как тридцать независимых испытаний метода обучения, — во всех этих случаях выборка меньше, чем кажется, стандартная ошибка занижена, а p-значение меньше, чем должно быть, и насколько, не покажет ни одна проверка. Какие строки связаны между собой, приложение узнаёт из плана для зависимых выборок, идентификатора испытуемого и конвертера таблиц. Связь, которую так указать нельзя, приложение не учитывает и считает строки независимыми.

Автокорреляция — зависимость между наблюдениями, соседними в каком-либо порядке (последовательными днями ряда продаж, строками файла, отсортированного по времени). Это обычная форма нарушения независимости, когда строки образуют последовательность. Диагностика остатков регрессии проверяет её статистикой Дарбина — Уотсона. Статистика близка к 2, если соседние остатки не связаны, меньше 2, если соседние остатки похожи друг на друга, и больше 2, если их знаки чередуются. На автокорреляции построен и модуль временных рядов. Это вопрос о порядке, и ответ на него имеет смысл, только если порядок строк что-то означает. Строки кафе — участники в том порядке, в каком их выгрузила система лояльности. Остатки регрессии оценка на ожидание дают DW = 2.34 в этом порядке (p = 0.99 при альтернативе положительной автокорреляции) и 1.98, если отсортировать строки по филиалу, а затем по времени ожидания. Это два ответа на вопрос, который к этим данным неприменим. Если строки действительно упорядочены и остатки соседних строк связаны, нужна модель, учитывающая порядок, а не критерий, который его игнорирует: стандартные ошибки Ньюи — Уэста в модуле регрессии или модель временного ряда.

Коротко о нормальности #

Нормальности посвящена отдельная страница, а здесь важно, нормальность чего предполагается. Критерий для групповых средних предполагает, что значения распределены примерно нормально внутри каждой группы, а регрессия — что нормальны остатки. Исход, объединённый по всем группам, нормальным быть не обязан: это смесь распределений. Критерий Шапиро — Уилка на всех 200 значениях чек_до даёт W = 0.98, p = 0.013 и нормальность отвергает. Внутри «Набережной» он даёт W = 0.990, p = 0.655, внутри «Привокзальной» W = 0.985, p = 0.343, так что допущение, которое на самом деле делает t-критерий, выполняется. Объединённая переменная проверку не проходит, потому что в ней наложены друг на друга две группы с разными средними и разбросами, а такая смесь не нормальна, даже если нормальна каждая часть. Поэтому карточка допущений проверяет нормальность внутри ячеек, а для модели с ковариатой или повторными измерениями — по остаткам, и добавляет рядом со строками по ячейкам график Q-Q объединённых остатков. Рекомендации карточки оценивают отклонение от нормальности с учётом размеров групп. Выше порога малой выборки критерии для средних защищены центральной предельной теоремой, и карточка сообщает об этом, а не понижает их в списке.

Многомерная нормальность — совместная форма этого допущения. Её предполагают критерии, работающие сразу с несколькими зависимыми переменными: MANOVA, дискриминантный анализ, методы оценки в факторном анализе и структурных моделях. Переменные должны быть нормальны вместе: каждая по отдельности нормальна, а облако их совместного рассеяния — эллипс без изгибов и выступов, так что нормальна и любая их взвешенная сумма. Нормальность каждой переменной по отдельности необходима, но недостаточна, поэтому и нужна отдельная проверка. Внутри «Привокзальной» чек_до распределён нормально, а ожидание — нет (W = 0.917, p < 0.001), и совместно нормальной такая пара быть не может. Внутри «Набережной» обе переменные достаточно близки к нормальным, и пара проверку проходит.

Критерий Мардиа проверяет многомерную нормальность по двум статистикам. Многомерную асимметрию сравнивают с распределением χ² с $p(p+1)(p+2)/6$ степенями свободы для p переменных, а многомерный эксцесс переводят в z. Если отвергнута хотя бы одна из двух гипотез, проверка не пройдена. Для переменных чек_до и ожидание внутри «Набережной» (n = 95) асимметрия даёт χ²(4) = 7.10, p = 0.131, эксцесс z = −0.46, p = 0.644, вердикт МВ норм. Внутри «Привокзальной» (n = 90) χ²(4) = 30.74, p < 0.001 и z = 2.70, p = 0.007, вердикт МВ ненорм. Причина — длинный хвост переменной ожидание, который приходится в основном на «Привокзальную». Три пункта о еде по филиалам проходят проверку в «Набережной» (p = 0.278 и 0.227) и не проходят в «Привокзальной» по эксцессу (p = 0.037). Пятибалльные пункты вообще не могут быть нормальными, и MANOVA по ним опирается не на допущение, а на устойчивость следа Пиллаи при таких размерах групп. Приложение выполняет критерий отдельно в каждой группе, а при наличии ковариаты — на остатках после поправки на неё, так что строка проверяет именно то допущение, которое делает модель.

Равенство дисперсий #

Однородность дисперсий (её называют также гомогенностью дисперсий или гомоскедастичностью между группами) — допущение, что в генеральной совокупности разброс во всех группах одинаков: зависимая переменная варьирует внутри одного уровня группирующей переменной так же, как внутри другого. На нём основаны t-критерий Стьюдента, классический однофакторный и многофакторный дисперсионный анализ и апостериорные критерии с объединённой оценкой ошибки (среди них критерий Тьюки). Все они оценивают одну общую дисперсию по всем группам сразу и используют её в каждом сравнении. Для чек_до по филиалам стандартные отклонения равны 2.97 в «Набережной» и 4.05 в «Привокзальной»: участники «Привокзальной» различаются сильнее, и, согласно кодовой книге, данные так и задуманы. Критерий Левена даёт F(1, 198) = 9.10, p = 0.003, и в сводной строке стоит Неравные дисперсии. Для переменной возраст стандартные отклонения равны 9.88 и 10.11, F = 0.18, p = 0.669, и в строке стоит Равные дисперсии.

Равные дисперсии — статус, который выставляет критерий Левена, если не находит свидетельств различия разбросов (см. однородность дисперсий). Это лишь отсутствие свидетельств: при двух малых группах мощность критерия невелика, поэтому вердикт оценивают вместе с самими стандартными отклонениями. Отношение дисперсий, равное трём, при десяти наблюдениях в каждой группе означает неравенство дисперсий, каким бы ни было p-значение.

Неравные дисперсии — нарушение допущения, гетероскедастичность между группами. Цена нарушения зависит от размеров групп, а не только от отношения дисперсий. Если группы равны по размеру, критерий с объединённой дисперсией его почти не замечает. Для чек_до (101 участник против 99, отношение дисперсий 1.86) t-критерий Стьюдента даёт t(198) = −3.21, p = 0.0015, а t-критерий Уэлча t(179.5) = −3.20, p = 0.0016. Если размеры групп различаются, объединённая дисперсия смещается к дисперсии большей группы, и критерий ошибается в ту или другую сторону. Когда больший разброс у большей группы, объединённая стандартная ошибка завышена и критерий консервативен. Когда больший разброс у меньшей группы, стандартная ошибка занижена и критерий отвергает нулевую гипотезу слишком часто, а это опасный случай. В данных кафе встречается первый случай. Сравним по визиты_до 135 участников со значением «рекомендует» (стандартное отклонение 6.13) и 65 со значением «не рекомендует» (3.57): отношение дисперсий равно 2.94. t-критерий Стьюдента даёт t(198) = 2.16, p = 0.032 при стандартной ошибке 0.82, а t-критерий Уэлча — t(190.8) = 2.57, p = 0.011 при стандартной ошибке 0.69: критерий с объединённой дисперсией теряет мощность. Если бы разбросы поменялись местами, тот же дисбаланс заставил бы критерий Стьюдента утверждать больше, чем позволяют данные. Поправка Уэлча снимает допущение и ничего не стоит, когда оно выполняется, поэтому приложение отдаёт ей предпочтение. У ранговых критериев неравные разбросы разрушают другое — истолкование результата как сдвига положения, и рекомендация переходит к критерию Бруннера — Манцеля.

Отношение дисперсий — бо́льшая из групповых дисперсий, делённая на меньшую (или отношение стандартных отклонений, квадратный корень из него). Это самый быстрый способ оценить, насколько различаются разбросы. Эмпирическое правило для критериев с объединённой дисперсией: при близких размерах групп отношение дисперсий примерно до четырёх (стандартные отклонения различаются не более чем вдвое) оставляет частоту ошибок дисперсионного анализа близкой к номинальной. Сбалансированность групп при этом важнее самого отношения. Для чек_до по филиалам отношение равно 1.86 (стандартные отклонения 2.97 и 4.05), для ожидание — 2.21 (2.30 и 3.42), для визиты_до — 2.41, для возраст — 1.05. F-критерий равенства дисперсий приводит это отношение как размер эффекта с доверительным интервалом. Для чек_до отношение «Набережной» к «Привокзальной» равно 0.54 [0.36, 0.80]: дисперсия в «Привокзальной» в 1.86 раза больше, и интервал не содержит 1. Если в анализе участвует критерий на выровненных рангах, таблица Разброс стандартных отклонений по ячейкам на карточке сравнения показывает отношение наибольшего стандартного отклонения к наименьшему по ячейкам плана.

Критерий Левена сводит проверку однородности дисперсий к сравнению средних. Каждое значение заменяется модулем его отклонения от центра своей группы, и однофакторный дисперсионный анализ этих отклонений проверяет, различаются ли их средние по группам. Для чек_до по филиалам получается F(1, 198) = 9.10, p = 0.003, для ожидание — F(1, 183) = 5.53, p = 0.020. В исходном варианте центром служит групповое среднее, в варианте Брауна — Форсайта — медиана. Именно этот вариант приложение применяет везде, где проверяет дисперсии: в строках Однородность дисперсий (критерий Левена, Брауна — Форсайта) на карточке сравнения и в проверке Равные дисперсии групп на карточке корреляции, от которой зависят точечно-бисериальный метод и η². Выбор центра важен для скошенных и дискретных данных. Для вкус по филиалам центрирование по медианам даёт F = 2.14, p = 0.145, а по средним — F = 4.32, p = 0.039: у пятибалльных ответов медианы совпадают с одним из уровней шкалы, а средние лежат между уровнями. Критерий Левена — дисперсионный анализ отклонений, а не формула для самих дисперсий, поэтому он устойчив к отклонениям от нормальности, в отличие от критерия Бартлетта и F-критерия. Это и делает его подходящим для предварительной проверки перед критериями положения.

Критерий Брауна — Форсайта — критерий Левена с центрированием по групповым медианам, а не по средним. Этот вариант рекомендуют всегда, когда распределения в группах могут быть скошены, и в приложении он используется по умолчанию. Те же фамилии стоят в названии однофакторного дисперсионного анализа Брауна — Форсайта (F*), но это другая процедура: критерий средних, который, как и дисперсионный анализ Уэлча, не объединяет дисперсии. Первый проверяет дисперсии, а второй применяют, когда эта проверка не пройдена.

Критерий Бартлетта сравнивает логарифмы групповых дисперсий с логарифмом объединённой дисперсии. Его статистика имеет распределение χ² с числом степеней свободы на единицу меньше числа групп: для чек_до по филиалам K² = 9.42, p = 0.002. Когда все группы распределены нормально, это самый мощный из критериев для дисперсий, а когда хотя бы одна нет, самый ненадёжный. Тяжёлый хвост завышает статистику при любом объёме выборки, и центральная предельная теорема здесь не выручает: на дисперсию крайнее значение влияет гораздо сильнее, чем на среднее. Для ожидание по филиалам (асимметрия 1.26) критерий Бартлетта даёт K² = 14.03, p = 0.0002, тогда как критерий Левена даёт p = 0.020, а критерий Флигнера — Килина p = 0.026. Для переменной чек_до, распределённой почти нормально, все три дают p ≈ 0.002–0.003. Модуль сравнения предлагает этот критерий как самостоятельный критерий разброса, а проверка допущений понижает его в списке, если нормальность нарушена. Его не следует путать с критерием сферичности Бартлетта в факторном анализе, который проверяет, коррелированы ли переменные вообще.

F-критерий равенства дисперсий — вариант для двух групп: отношение двух выборочных дисперсий сравнивается с F-распределением с n₁ − 1 и n₂ − 1 степенями свободы. Для чек_до (отношение «Набережной» к «Привокзальной») F(100, 98) = 0.54, p = 0.002, а размером эффекта служит отношение дисперсий с его интервалом. Он требует нормальности строже любого другого критерия на этой странице и так же чувствителен к хвостам, как критерий Бартлетта. Зато его можно выполнить как односторонний, то есть проверить, больше ли разброс именно в «Привокзальной», а критерии для нескольких групп этого не позволяют.

Критерий Флигнера — Килина — ранговый критерий для дисперсий. Отклонения значений от медиан своих групп ранжируются, ранги заменяются нормальными метками (квантилями нормального распределения), и средние метки групп сравниваются по статистике χ²: 9.03, p = 0.003 для чек_до и 4.93, p = 0.026 для ожидание. Как и любой ранговый критерий, он устойчив к отклонениям от нормальности, поэтому на скошенных данных на него можно положиться. К нему и направляет проверка допущений, когда F-критерий и критерий Бартлетта понижены.

Поправка Уэлча (поправка Уэлча — Саттертуэйта) устраняет проблему неравных дисперсий в критериях для средних. Дисперсия каждой группы входит в стандартную ошибку отдельно, без объединённой оценки, а число степеней свободы уменьшается соответственно потерянной точности. Для чек_до число степеней свободы t-критерия падает с 198 до 179.5. Чем сильнее различаются дисперсии и размеры групп, тем сильнее оно падает, в пределе — до размера меньшей группы минус один. t-критерий Уэлча, однофакторный дисперсионный анализ Уэлча, апостериорные критерии Геймса — Хауэлла и T3 Даннетта, а также F* Брауна — Форсайта построены на этой поправке. Если дисперсии и размеры групп равны, поправка ничего не меняет: для возраст по филиалам получается t(192.4) по Уэлчу и t(193) по Стьюденту при одинаковом p. Там, где поправка не нужна, она ничего не стоит, а там, где нужна, даёт верный результат, поэтому в списке критериев приложения вариант Уэлча стоит первым.

Вопрос о разбросе встаёт в любой области: одинаково ли варьирует время выздоровления в двух отделениях, баллы в двух классах, отклонения от допуска на двух производственных линиях. Везде это уровни группирующей переменной, разброс зависимой переменной внутри каждого из них и критерий Левена по отклонениям от центра.

Регрессионная прямая: гомоскедастичность и линейность #

Гомоскедастичность — то же допущение о равном разбросе, но вдоль непрерывного предиктора, а не между группами. В регрессии (а также в p-значении и интервале корреляции Пирсона) предполагается, что ошибки вокруг прямой разбросаны одинаково на всём диапазоне предиктора и остатки образуют ровную полосу. Наклон оценивается верно в любом случае, а от допущения зависят его стандартная ошибка и вместе с ней t, p-значение и интервал. В регрессии чек_после на чек_до стандартные отклонения остатков в нижней, средней и верхней трети предсказанных значений равны 2.48, 2.68 и 2.86. Полоса слегка расширяется: статистика Бройша — Пагана равна 3.69, p = 0.055, почти на пороге проверки.

Гетероскедастичность — нарушение этого допущения: полоса остатков расширяется воронкой или сужается. Обычные причины — ограниченная шкала, счётная переменная или связь, мультипликативная, а не аддитивная. В регрессии оценка на вкус стандартные отклонения остатков по третям равны 1.86, 1.77 и 1.23. Участники, выше всех оценившие вкус, упираются в потолок шкалы удовлетворённости от 0 до 10, поэтому ошибки там сжаты, и критерий Бройша — Пагана даёт BP = 4.26, p = 0.039. Средство против этого в приложении — селектор Стандартные ошибки модуля регрессии. Робастные стандартные ошибки HC3, устойчивые к гетероскедастичности, заново оценивают точность, не предполагая постоянного разброса, а сам коэффициент остаётся прежним. Наклон по-прежнему равен 0.878, его стандартная ошибка возрастает с 0.097 до 0.108, а t снижается с 9.01 до 8.10 и остаётся далеко за любым порогом. Карточка корреляции приводит тот же критерий в столбце Гомоскедастичность (Бройш — Паган). Если проверка не пройдена, карточка сохраняет r Пирсона и советует построить для него бутстрэп-интервал: сам коэффициент надёжен, ненадёжен только его аналитический интервал.

Линейность — допущение, что связь, которую модель описывает прямой, действительно прямолинейна. Это допущение затрагивает сам коэффициент, а не только его точность. Если кривую описать прямой, наклон окажется усреднением, неверным ни в одной точке диапазона, а r Пирсона занизит силу связи. Тест RESET Рамсея (его выполняют проверки и в корреляции, и в регрессии) добавляет в модель квадраты и кубы предсказанных значений и проверяет, объясняют ли они что-нибудь сверх прямой. Регрессия чек_до на возраст даёт наклон 0.08 на год, p = 0.001, и RESET F = 5.89, p = 0.003. Связь нелинейна, потому что участники образуют не непрерывный ряд, а две возрастные группы (студенты и офисные работники), и прямая, проведённая через обе, не описывает ни одну из них. Для регрессии оценка на ожидание RESET даёт p = 0.11, и прямая вполне подходит. При нарушении линейности есть несколько выходов: ранговая корреляция улавливает любую монотонную связь, преобразование может выпрямить кривую, а в регрессии решением служит модель с нелинейным членом — полиномом или сплайном.

Сферичность #

Сферичность — допущение плана с повторными измерениями при трёх и более условиях: дисперсии разностей для всех пар условий равны. При двух условиях разность одна и сравнивать её не с чем, поэтому парному t-критерию допущение сферичности не нужно. При трёх условиях попарных разностей три, при шести — пятнадцать, и дисперсионный анализ с повторными измерениями предполагает, что все они варьируют одинаково, потому что объединяет их в одну ошибку. Каждый участник кафе оценил три пункта о еде (вкус, свежесть и цена), и вопрос «по-разному ли участники оценивают эти три пункта?» относится к плану с повторными измерениями, где условиями служат пункты. Файл записан в широком формате, поэтому сначала конвертер таблиц сводит три столбца в один. Дисперсии попарных разностей равны 1.34, 1.54 и 1.73, отношение наибольшей к наименьшей 1.29. По всем шести пунктам (с перекодированным в обратную сторону медленно) они лежат в пределах от 1.34 до 2.93, отношение 2.19. При нарушении сферичности число степеней свободы F-критерия завышено и критерий отвергает нулевую гипотезу слишком часто. Две коррекции, описанные ниже, уменьшают число степеней свободы, чтобы это компенсировать. У слова есть и второе значение: в критерии сферичности Бартлетта (факторный анализ) сферичной называют корреляционную матрицу, в которой нет никаких связей. Это другое допущение другой модели.

Критерий Моучли проверяет сферичность. Его статистика W равна 1, когда дисперсии попарных разностей в точности равны, и уменьшается по мере их расхождения, а p-значение вычисляется по приближению χ². Для трёх пунктов о еде W = 0.979, p = 0.119, и в строке стоит Сферичность предполагается. Для шести пунктов W = 0.676, p < 0.001, вердикт Сферичность нарушена. На малых выборках мощность критерия мала, и реальное нарушение остаётся незамеченным, а на больших он отвергает сферичность слишком часто, и значимым оказывается пустячное отклонение. Поэтому приложение применяет коррекции ко всем эффектам повторных измерений независимо от вердикта Моучли, а его таблицу приводит для сведения. При 200 участниках отклонение на шести пунктах реально, и отношение дисперсий 2.19 подтверждает это независимо от критерия.

Коррекция Гринхауса — Гейссера умножает обе степени свободы F-критерия для повторных измерений на оценку ε̂, которая показывает, насколько дисперсии попарных разностей отклоняются от равенства. При выполненной сферичности ε̂ = 1, а в худшем случае для k условий она опускается до $1/(k-1)$ (0.5 при трёх условиях, 0.2 при шести). Само значение F не меняется, меняется распределение, с которым его сравнивают, и p-значение растёт. Для шести пунктов F(5, 995) = 4.73 даёт p = 0.0003 при допущении сферичности, а при ε̂ = 0.838 степени свободы становятся равными 4.19 и 833.7, и p = 0.0007. Для трёх пунктов о еде ε̂ = 0.979, и коррекция меняет p с 0.016 на 0.017. Оценка Гринхауса — Гейссера, как известно, занижена, особенно когда истинное значение близко к 1, поэтому эта коррекция консервативна.

Коррекция Хюйна — Фельдта вносит ту же поправку, но с менее смещённой оценкой ε, которая получается немного выше и не превышает 1: 0.858 для шести пунктов (p = 0.0006) и 0.989 для трёх пунктов о еде. Между двумя коррекциями выбирают по правилу Гирдена: коррекция Гринхауса — Гейссера, если её ε̂ меньше 0.75, и коррекция Хюйна — Фельдта, если 0.75 и больше. Вердикт о значимости приложение берёт из коррекции, выбранной по этому правилу, и помечает его на карточке как с коррекцией Гринхауса — Гейссера или с коррекцией Хюйна — Фельдта, так что всегда видно, какое p-значение определяет вердикт. Чтобы обойтись без сферичности вовсе, можно выбрать многомерный подход: он проверяет контрасты между замерами совместно и сферичности не предполагает.

Для этого на карточке повторных измерений есть следующие столбцы:

• ε (GG) — оценка ε по Гринхаусу — Гейссеру. При значении 1 дисперсии попарных разностей равны и коррекция ничего не меняет.
• p (GG) — p-значение того же F, когда обе степени свободы умножены на ε (GG).
• df (GG) — эти скорректированные степени свободы эффекта и ошибки: 4.2 и 833.7 для шести пунктов против 5 и 995 без коррекции.
• ε (HF) — оценка ε по Хюйну — Фельдту, немного больше ε (GG) и никогда не больше 1.
• p (HF) — p-значение с коррекцией Хюйна — Фельдта. Вердикт берётся из него, когда ε (GG) не меньше 0.75.
• df (HF) — степени свободы с коррекцией Хюйна — Фельдта: 4.3 и 853.9 для шести пунктов.

Несколько исходов сразу: ковариационные матрицы #

Однородность ковариационных матриц — однородность дисперсий для нескольких зависимых переменных сразу: в генеральной совокупности ковариационная матрица (дисперсии зависимых переменных и ковариации между ними) одинакова во всех группах. Это допущение делают MANOVA, MANCOVA и дискриминантный анализ, потому что объединяют матрицы групп в одну. Для чек_до и ожидание по филиалам стандартные отклонения равны 3.00 и 2.30 в «Набережной» против 4.04 и 3.42 в «Привокзальной», а корреляция двух переменных в обоих филиалах равна −0.04. Матрицы различаются дисперсиями, но не корреляцией. У трёх пунктов о еде стандартные отклонения 1.10, 1.07 и 1.06 в «Набережной» против 1.28, 1.22 и 1.35 в «Привокзальной», а корреляции между пунктами 0.58, 0.52 и 0.43 против 0.45, 0.42 и 0.35. Участники «Привокзальной» расходятся в оценках сильнее по каждому пункту, и их ответы менее согласованы.

M-критерий Бокса проверяет это допущение, сравнивая статистику с приближённым распределением χ²: χ²(3) = 22.0, p < 0.001 для чек_до и ожидание по филиалам; χ²(6) = 17.1, p = 0.009 для трёх пунктов о еде; χ²(21) = 53.0, p = 0.0001 для всех шести. Критерий чувствителен к отклонениям от нормальности и на больших выборках отвергает нулевую гипотезу слишком часто, поэтому его результат принято оценивать на уровне α = 0.001, а не на обычном. При этом пороге пункты о еде проверку проходят, а пара чека и ожидания нет. Цена нарушения, как и в одномерном случае, зависит от сбалансированности групп. При группах близкого размера след Пиллаи (статистика MANOVA, которую выводит приложение) выдерживает заметную неоднородность ковариаций. Поэтому приложение оставляет методы семейства MANOVA в числе рекомендуемых с оговоркой, если наибольшая ячейка не более чем в полтора раза больше наименьшей. При неравных ячейках оно понижает их в списке: если меньшая группа изменчивее, MANOVA отвергает нулевую гипотезу слишком часто. Что показывает карточка в каждом из случаев, описано в разделе о MANOVA руководства по сравнительному анализу.

Ковариаты #

Ковариата — непрерывная переменная, на которую вносят поправку при сравнении групп, как в ANCOVA. Она добавляет два собственных допущения, и карточка допущений проверяет оба, а также линейность связи ковариаты с исходом внутри каждой группы.

Однородность наклонов регрессии — допущение, что связь ковариаты с зависимой переменной одинакова во всех группах, то есть прямые для групп параллельны. Оно нужно потому, что ANCOVA корректирует все группы по одному общему наклону. Проверяют его, добавляя в модель взаимодействие ковариаты и группы и оценивая значимость этого взаимодействия. При сравнении филиалов по чек_после с поправкой на чек_до наклон регрессии чека «после» на чек «до» равен 0.74 в «Набережной» и 0.67 в «Привокзальной», а взаимодействие даёт F(1, 195) = 0.36, p = 0.549. Прямые достаточно параллельны, и единая скорректированная разность имеет смысл. Если наклоны всё же различаются, единой скорректированной разности не существует: среди тех, кто тратит мало, филиалы различаются на одну величину, а среди тех, кто тратит много, на другую. Тогда результаты для различающихся наклонов показывают, при каких значениях ковариаты группы различаются.

Независимость ковариат (полная метка в приложении добавляет от воздействия) — допущение, что сама ковариата в группах не различается. Если различается, поправка на неё убирает вместе с шумом и часть межгруппового различия, и скорректированное сравнение отвечает уже на другой вопрос, нежели исходное. Переменная чек_до различается по филиалам (7.91 против 9.43 у 199 участников с заполненным чек_после, t = −3.05, p = 0.003). Поэтому исходная разность филиалов по чек_после, равная 1.63 (p = 0.002), после поправки на чек_до уменьшается до 0.56 (p = 0.147). Ошибки нет ни в одном из чисел. Скорректированная разность отвечает на вопрос, различаются ли расходы после смены меню у участников, которые до неё тратили одинаково, и это вполне уместный вопрос о меню. Исходная отвечает на вопрос, различаются ли филиалы, и они действительно различаются, главным образом потому, что их участники различались и раньше. Переменная возраст, напротив, по филиалам не различается (37.0 против 39.5 года, p = 0.080), и поправка на неё оставляет разность филиалов на уровне 1.45 (p = 0.006): ковариата, не зависящая от групп, убирает только шум. В эксперименте со случайным распределением по группам ковариата независима от групп по построению, и поправка даёт чистый выигрыш. В наблюдательном сравнении, как здесь, всё рассуждение держится на этом допущении, и в отчёте нужно указать, на какой вопрос отвечает скорректированная разность.

Категориальные планы #

У критериев для частот нет распределения, которое должно быть нормальным. Их допущения касаются того, достаточно ли велики частоты для приближения χ² и информативны ли пары.

Ожидаемые частоты — частоты, которые были бы в ячейках таблицы сопряжённости при независимости двух переменных: $\text{row total}\times \text{column total}/N$. Критерий χ² сравнивает с ними наблюдаемые частоты, и для его приближения ожидаемые частоты не должны быть слишком малы. По правилу Кокрена, которое применяет приложение, ни в одной ячейке ожидаемая частота не должна быть меньше 1 и не более чем в пятой части ячеек она может быть меньше 5. Для рекомендует по филиалам ожидаемые частоты равны 68.2, 32.8, 66.8 и 32.2 при наблюдаемых 73, 28, 62 и 37, и запас здесь большой. Если вместо филиала взять, ждал ли участник дольше десяти минут, таких участников окажется всего 11. Ожидаемые частоты в этой строке — 7.4 и 3.6, одна ячейка из четырёх меньше 5, и p-значению χ² доверять нельзя, в отличие от точного критерия Фишера (p = 0.75). Если правило нарушено, критерий согласия приложения сам переходит к p-значению по методу Монте-Карло и сообщает об этом под таблицей. Критерий независимости выводит под таблицей предупреждение, а переход к точному критерию Фишера оставляет пользователю.

Симметрия — допущение критерия знаковых рангов Вилкоксона (парного и одновыборочного): разности распределены симметрично относительно своего центра. Критерий ранжирует абсолютные величины положительных и отрицательных разностей на одной шкале, поэтому симметрия ему и нужна. Это допущение слабее нормальности: симметричная выборка с тяжёлыми хвостами не проходит проверку нормальности, но для критерия знаковых рангов годится. Изменение чека от «до» к «после» имеет асимметрию −0.13 при среднем 1.09 и медиане 0.93, и его можно считать достаточно симметричным. Изменение числа визитов имеет асимметрию 0.69, среднее 0.64 и медиану 0: немногие завсегдатаи добавили много визитов, а большинство участников ни одного. Приложение проверяет симметрию перестановочным критерием асимметрии со случайной сменой знаков разностей, а при нарушении направляет к критерию знаков, который ничего не предполагает о форме распределения и учитывает только направления разностей.

Дискордантные пары — пары в парном категориальном плане, в которых два условия дают разные ответы: например, участник рекомендовал бы кафе до смены меню и не рекомендовал бы после, или наоборот. Критерии Мак-Немара и Стюарта — Максвелла построены только на таких парах, а конкордантные пары для оценки изменения бесполезны. Проверка приложения подсчитывает дискордантные пары и, если их меньше 25, рекомендует точный биномиальный критерий, потому что приближение χ² при таком числе пар грубое.

Информативные испытуемые — аналог дискордантных пар для трёх и более связанных условий в критерии Q Кокрена: испытуемые, чей ответ меняется от условия к условию. Испытуемый, который каждый раз отвечал одинаково, в статистику ничего не вносит. Для приближения нужно не менее четырёх информативных испытуемых, и их число, умноженное на число условий, должно быть больше 24.

Когда допущение нарушено #

Непройденная проверка — повод принять решение, а не приговор. Варианты стоит рассматривать в таком порядке:

1. Выяснить, важно ли нарушение. Рекомендации под карточкой уже это делают. Нормальность нарушена, но каждая группа больше порога малой выборки — критерий для средних устойчив и остаётся рекомендуемым. M-критерий Бокса не пройден, но ячейки сбалансированы — след Пиллаи остаётся рекомендуемым с оговоркой. Когда в каждой группе несколько десятков наблюдений, отвержение нормальности обычно отражает мощность критерия нормальности, а не проблему анализа.
2. Выбрать критерий, который этого не предполагает. Это критерий Уэлча при неравных дисперсиях, критерий Флигнера — Килина вместо критерия Бартлетта, многомерный подход при сомнениях в сферичности и точный критерий при малых ожидаемых частотах. Если ранговый критерий нельзя истолковать как сдвиг, подходит критерий Бруннера — Манцеля. Как выбирать, разобрано на странице о параметрических и непараметрических критериях.
3. Скорректировать, а не заменить. Коррекции Гринхауса — Гейссера и Хюйна — Фельдта при нарушении сферичности и стандартные ошибки HC3 при гетероскедастичности сохраняют модель и исправляют её p-значения. Коррекции сферичности приложение применяет само, а стандартные ошибки HC3 выбираются в модуле регрессии.
4. Преобразовать данные, но осторожно. Логарифм или квадратный корень может одновременно выровнять разбросы и выпрямить кривую, но оценка тогда получается в преобразованной шкале. Что преобразования делают с переменной ожидание, показано на странице о распределениях.
5. Изменить вопрос или модель. Различие ковариаты между группами, не отражённую в плане зависимость строк или кривизну связи, которую не передаёт прямая, другой критерий не исправит. Правильный шаг здесь — другой анализ: смешанная модель с идентификатором испытуемого, регрессия с нелинейным членом или сравнение, в котором прямо сказано, на какой вопрос оно отвечает.

Недопустимо одно: перебрать все альтернативы и сообщить ту, у которой p-значение оказалось наименьшим. Проверка допущений нужна для того, чтобы выбрать критерий до того, как известен результат, и потом обосновать этот выбор.

Отчёт #

В отчёте называют допущения, существенные для критерия, указывают, как проверялось каждое и что обнаружено, и из этого выводят выбор критерия: «применён t-критерий Уэлча, поскольку разброс в филиалах различался (критерий Левена, p = 0.003)»; «сферичность нарушена (W Моучли = 0.68, p < 0.001), поэтому приводится результат с коррекцией Гринхауса — Гейссера (ε = 0.84)»; «M-критерий Бокса значим при α = 0.001, при сбалансированных группах приводится след Пиллаи». Независимость описывают как свойство плана (одна строка на участника, замеры «до» и «после» связаны по участнику), потому что никакая карточка результатов её не подтвердит. Для ковариаты нужно по предложению о каждом из двух её допущений. Проверку, которую не удалось выполнить, указывают как не оценено и называют причину.

Где это встречается в DataSuite #

• Сравнительный анализ — кнопка Проверить допущения и её карточка: нормальность и выбросы по ячейкам, критерий Мардиа, критерий Левена, критерий Моучли с обеими коррекциями, M-критерий Бокса, проверки ковариат, ожидаемые частоты, дискордантные пары и информативные испытуемые, а также основанные на них рекомендации по критериям; критерии разброса; подход к эффектам повторных измерений; результаты для различающихся наклонов; критерии Уэлча и F* Брауна — Форсайта.
• Корреляционный анализ — матрица применимости методов для каждой пары: двумерная нормальность, RESET, критерий Бройша — Пагана, влиятельные точки, равенство дисперсий в группах, ожидаемые частоты и то, какие методы отпадают при каждом нарушении.
• Регрессионный анализ — нормальность остатков, критерии Дарбина — Уотсона и Бройша — Годфри для автокорреляции, критерий Бройша — Пагана для гетероскедастичности, RESET для линейности и робастные стандартные ошибки на случай двух последних нарушений, а также диагностика коллинеарности для перекрывающихся предикторов.
• Факторный анализ — критерий сферичности Бартлетта и мера KMO, то есть другое значение слова «сферичность».
• Моделирование структурными уравнениями и конфирматорный факторный анализ — многомерная нормальность среди диагностик до подгонки модели и робастные методы оценки на случай её нарушения.
• Анализ временных рядов — автокорреляция как предмет моделирования, а не допущение, от которого отмахиваются.
• Преобразование данных — конвертер таблиц, превращающий широкий файл в длинный, как того требует план с повторными измерениями, и преобразования, выравнивающие разбросы.
• Настройки — уровень значимости для проверки допущений и рекомендательные пороги, по которым выносятся рекомендации.