DataSuite 2 Документация
English Русский
На этой странице

Планы сравнения

Сравнение выясняет, различается ли зависимая переменная между уровнями фактора, а план описывает, как устроены факторы: сколько их, попадает ли каждый участник выборки только на один уровень или измеряется на всех и есть ли в модели ковариата. Руководство делит планы на четыре вида, которые предлагает переключатель Тип анализа (независимые выборки, зависимые, смешанная модель и одна выборка), и по его таблице решений выбирается критерий. Эта страница — словарь того, что выводят критерии после запуска: главные эффекты и взаимодействия, ячейки и маргинальные средние, два подхода к критерию повторных измерений, семейства апостериорных критериев и скорректированное среднее. В ролях приложения план задаётся на левой панели. Группирующая переменная — это межгрупповой фактор, переменная замеров вместе с ID испытуемого задаёт фактор повторных измерений, каждая неназначенная переменная становится зависимой переменной, а ковариата — непрерывная переменная, значение которой фиксируется. Числа получены на данных кафе, подготовленных так, как описано на той странице. Для скрещённых планов взяты средние чеки участников до и после смены меню по филиалам и три возрастные группы: до 30 лет (47 участников), 31–45 (102) и 46 и старше (46). Эти группы получены разбиением на интервалы с границами 31 и 46, которое вводит страница о мощности. Вторая половина страницы посвящена семействам критериев, до которых таблица решений руководства не доходит, а список критериев модуля доходит: несколько зависимых переменных сразу, ранговый анализ многофакторных планов, разложение таблицы, стратифицированные таблицы, упорядоченные альтернативы, критерии для распределения целиком, робастные сравнения, гипотеза о разбросе, сравнение с заданным значением и парные категориальные исходы. Блоки каждого семейства называют его критерии и объясняют, что те проверяют, а параметры описаны в руководстве модуля.

На шести соседних страницах собрано то, на что эта страница опирается и чего не повторяет. В основах регрессии — взаимодействие как член-произведение, ковариата, поправка на ковариату, таблица дисперсионного анализа, тип сумм квадратов и область значимости Джонсона — Неймана в регрессионной трактовке. В допущениях — сферичность и поправки на её нарушение, ковариационные матрицы многомерного плана и два допущения о ковариатах. В проверке гипотез — групповая вероятность ошибки и методы поправки, к которым может прибегать апостериорная таблица. В размерах эффекта — эта-квадрат (η²), частичная эта-квадрат и омега-квадрат (ω²), которые выводятся в F-строках плана, а также отношение шансов, w Коэна и h Коэна для категориальных критериев. На странице о параметрических и непараметрических методах — усечённое среднее, а также перестановочный и точный способы получить p-значение, которыми пользуются робастные критерии и критерии для распределения целиком. На странице о связи переменных — энтропия и взаимная информация, на которых построены теоретико-информационные критерии.

Факторы и ячейки

Фактор — категориальная переменная, уровни которой задают сравниваемые группы или условия: филиал с уровнями «Набережная» и «Привокзальная» или замер с уровнями «до» и «после». В приложении фактор — это группирующая переменная или переменная замеров. План называют по числу и виду факторов: однофакторный — с одним фактором, многофакторный — с двумя и более скрещёнными, смешанный — с одним фактором каждого вида. Этот фактор не следует путать с фактором факторного анализа: тот — латентная переменная, которую выводят из данных, а этот — обычный столбец таблицы.

Уровень — одно значение фактора: «Набережная» — уровень переменной филиал, «до» — уровень замера. От числа уровней зависит вид критерия: при двух уровнях это t-критерий, при трёх и более — дисперсионный анализ, а любая апостериорная таблица — это список пар уровней.

Ячейка — одно сочетание уровней всех факторов плана, например участники «Набережной» до 30 лет или участники «Привокзальной» после смены меню. Именно ячейки сравнивает многофакторный критерий: два филиала на три возрастные группы дают шесть ячеек, и предпросмотр групп считает их, как только выбран собственно многофакторный критерий. По переменной чек_до в ячейках «Набережной» 30, 50 и 19 участников для трёх возрастных групп, в ячейках «Привокзальной» — 17, 52 и 27, а средние равны 6.53, 8.00 и 9.42 против 7.42, 10.11 и 9.52. Всё, что сообщает многофакторный анализ (главные эффекты, взаимодействие, оценённые краевые средние), вычисляется из этих шести средних и разброса внутри ячеек.

Межгрупповой фактор — фактор, на разных уровнях которого находятся разные участники, каждый ровно на одном уровне. Таков филиал: ни один участник не относится к обоим филиалам. В приложении это группирующая переменная, и планы независимых выборок состоят только из таких факторов. Межгрупповой эффект проверяется на фоне разброса между участниками, а он велик, поскольку участники различаются всем, чего исследование не измеряло.

Фактор повторных измерений — фактор, на всех уровнях которого находятся одни и те же участники, измеренные по одному разу на каждом: у каждого участника есть чек и до смены меню, и после неё. В приложении это переменная замеров вместе с ID испытуемого, по которому видно, какие строки принадлежат одному участнику. Файл должен быть в длинном формате: одна строка на каждое сочетание участника и уровня. Эти хлопоты окупаются тем, о чём пишет руководство. Каждый участник служит сам себе контролем, различия между участниками уходят из ошибки, и эффект повторных измерений проверяется только на фоне разброса изменений. Смешанная модель кафе раскладывает 5344 единицы квадратичного разброса: 4173 из них приходятся на различия между участниками, 808 — на изменения внутри участников.

Полное скрещивание — план, в котором каждый уровень одного фактора встречается с каждым уровнем другого, как в шести ячейках выше, где пустых нет. Приложение строит такой план двумя способами, и они отвечают на разные вопросы. Собственно многофакторный критерий (многофакторный дисперсионный анализ, многофакторный дисперсионный анализ с повторными измерениями, смешанный дисперсионный анализ и их варианты на выровненных рангах) раскладывает скрещивание: главный эффект для каждого фактора и взаимодействие, у каждого своё F. Стратегия Объединить переменные в один фактор предлагается, когда выбран однофакторный критерий, а факторов отмечено два или больше. Она склеивает ячейки в один фактор с шестью уровнями и запускает на нём однофакторный критерий. Получается один общий критерий по ячейкам, и ни один член модели не показывает, два ли это разных явления (разрыв между филиалами и рост чека с возрастом) или одно. Стратегия нужна для критерия без многофакторной формы, например критерия Краскела — Уоллиса по шести ячейкам, а собственно многофакторный критерий — когда вопрос касается самих факторов.

Сбалансированный план — скрещивание, в котором во всех ячейках одинаковое число участников. Его достоинство в том, что факторы тогда не коррелируют: по филиалу участника ничего нельзя сказать о его возрастной группе. Поэтому каждый эффект проверяется независимо от остальных, суммы квадратов типа II и типа III совпадают, а маргинальные и оценённые краевые средние дают одни и те же числа. Смешанный план кафе (101 участник «Набережной» и 98 «Привокзальной», каждый измерен дважды) практически сбалансирован.

Несбалансированный план — скрещивание с ячейками разного объёма, обычное положение дел в наблюдательных данных. В скрещивании с возрастными группами это 30, 50 и 19 против 17, 52 и 27, потому что участники «Привокзальной» старше. Факторы здесь коррелируют, два правила сумм квадратов дают разные F для главных эффектов, а маргинальные и оценённые краевые средние расходятся. Насколько сильно, показано ниже на данных кафе. Эксперимент сам распределяет участников по ячейкам и остаётся сбалансированным, а опрос получает те ячейки, какие есть.

Главный эффект — эффект одного фактора, усреднённый по уровням остальных. Различается ли чек по филиалам, если объединить три возрастные группы? Различается ли он по возрастным группам, если объединить оба филиала? На карточке многофакторного анализа каждому главному эффекту отведена строка со своим F. По переменной чек_до при суммах квадратов типа III (они выбраны по умолчанию) у возрастной группы F(2, 189) = 7.30, p < 0.001, частичная η² = 0.072, а у филиала F(1, 189) = 3.76, p = 0.054, частичная η² = 0.020. Главный эффект оценивают по оценённым краевым средним, а не по исходным средним групп, и он верно обобщает данные, только пока взаимодействие мало, то есть пока разрыв между филиалами примерно одинаков во всех возрастных группах.

Взаимодействие в сравнении — член модели, который проверяет, меняется ли эффект одного фактора от уровня к уровню другого. Это то же взаимодействие, что в регрессии, только выраженное через ячейки, а не через наклоны. Для сочетания филиала и возрастной группы у самых молодых разрыв между филиалами равен 0.89, в средней группе — 2.11, у самых старших — 0.10. Взаимодействие даёт F(2, 189) = 1.49, p = 0.227, частичная η² = 0.016: три настолько разных разрыва ещё совместимы с одним общим. В смешанном плане взаимодействие и есть главный вопрос: по-разному ли изменился чек в двух филиалах? Ответ отрицательный, F(1, 197) = 0.07, p = 0.79. В «Набережной» чек вырос с 7.91 до 8.95, в «Привокзальной» — с 9.43 до 10.57, то есть почти на одну и ту же величину. График взаимодействия рисует средние ячеек линиями, по одной на каждый уровень одного фактора, вдоль уровней другого, и параллельные линии означают отсутствие взаимодействия. Если взаимодействие есть, главные эффекты уже не описывают картину, и на первый план выходят простые эффекты.

Простой эффект — эффект одного фактора внутри одного уровня другого, например разрыв между филиалами только среди участников 31–45 лет. Его изучают после значимого взаимодействия, которое означает лишь, что эффект зависит от уровня, но не указывает, где именно. В апостериорной таблице многофакторного анализа простые эффекты стоят под заголовком взаимодействия как контрасты пар ячеек. Разность между «Набережной» и «Привокзальной» в группе 31–45 равна −2.11, p = 0.023 с точной поправкой по многомерному t по пятнадцати парам ячеек, а в старшей группе тот же разрыв составляет всего −0.10.

Маргинальные средние — обычные средние уровней фактора, где каждый участник учтён один раз: 7.83 в «Набережной» (99 участников с известным возрастом) и 9.47 в «Привокзальной» (96), а по трём возрастным группам 6.85, 9.07 и 9.48. Именно их сравнивает однофакторный критерий и выводит описательная статистика, и именно столько участники тратили на самом деле.

Оценённые краевые средние (на карточке приложения — скорректированные средние) — средние уровней, которые предсказывает многофакторная модель, усреднённые по уровням другого фактора с равными весами. Для каждого филиала это среднее трёх средних его ячеек, каким бы ни был их объём. У филиалов получается 7.98 и 9.01 против маргинальных 7.83 и 9.47, то есть разрыв 1.03 вместо 1.64, и в этой разнице вся суть скрещивания. Участники «Привокзальной» старше, старшие участники тратят больше, поэтому исходный разрыв между филиалами — в основном разрыв в возрасте, а усреднение с равными весами убирает различие в возрастном составе. По возрастным группам оба вида средних почти совпадают (оценённые 6.97, 9.05 и 9.47 против маргинальных 6.85, 9.07 и 9.48), потому что каждая группа делится между филиалами примерно поровну. В сбалансированном плане они одинаковы. Апостериорные контрасты многофакторного анализа строятся по оценённым средним, а однофакторного критерия — по маргинальным. Поэтому критерий Тьюки даёт для средней возрастной группы против младшей 2.08 в многофакторном анализе и 2.22 в однофакторном дисперсионном анализе на тех же участниках. При ковариате в той же таблице выводятся скорректированные средние.

Суммы квадратов типа II и типа III — два правила, определяющие, с учётом каких членов модели проверяется F каждого фактора в скрещивании. Это тип сумм квадратов из регрессии применительно к сравнению. Тип III (выбран по умолчанию) проверяет каждый член с учётом всех остальных, включая взаимодействие, так что проверка главного эффекта — это проверка оценённых краевых средних: у филиала F(1, 189) = 3.76, p = 0.054. Тип II проверяет главный эффект с учётом других главных эффектов, не принимая во внимание взаимодействие, и строка филиала показывает, что филиал добавляет к возрастной группе: F(1, 189) = 7.59, p = 0.006. Здесь F больше, потому что тип II не отдаёт общую часть несбалансированных ячеек взаимодействию, которого данные не подтверждают. Строка самого взаимодействия при обоих типах одна и та же, как и все строки в сбалансированном плане. Когда взаимодействие пренебрежимо мало, тип II мощнее. Когда нет, ни один главный эффект сам по себе мало что значит, но у типа III это хотя бы чётко определённая величина.

Ошибка критерия — оценка шума, на которую критерий делит эффект: разброс внутри ячеек в форме среднего квадрата. Два семейства критериев различаются тем, одна ли это оценка на все сравнения или своя для каждого. Объединённая ошибка сводит разброс всех ячеек в одну оценку. Однофакторный дисперсионный анализ, его HSD Тьюки и попарные t-критерии с объединённой ошибкой соотносят каждую пару с одним и тем же средним квадратом на N − k степенях свободы (192 для трёх возрастных групп), и пара малых групп заимствует точность у большой. Раздельная ошибка берёт два разброса каждой пары отдельно, как t-критерий Уэлча, с дробными степенями свободы Уэлча. У пар критерия Геймса — Хауэлла на тех же группах 128.7, 80.7 и 92.0 степени свободы, а однофакторный F Уэлча равен F(2, 104.6) = 12.41 при объединённом F(2, 192) = 8.42. При равных разбросах объединённая ошибка даёт более мощный критерий, при неравных она неверна. Какой из двух случаев имеет место, решает проверка однородности дисперсий. Поэтому приложение сочетает гетероскедастичные общие критерии с их собственными апостериорными критериями, а не с критерием Тьюки. В плане с фактором повторных измерений у каждого контраста своя ошибка, и стьюдентизированный размах там неприменим.

Повторные измерения и смешанные планы

Повторные измерения — план с фактором повторных измерений: одних и тех же участников измеряют на каждом уровне, и на каждое сочетание участника и уровня приходится одна строка. Парный t-критерий — частный случай такого плана с двумя уровнями, дисперсионный анализ с повторными измерениями — общий случай, а третий уровень добавляет допущение о сферичности. Что даёт такой план, видно на чеке кафе до и после смены меню. Участники сильно различаются между собой, и межгрупповой критерий сравнивал бы рост примерно на единицу с этим огромным разбросом. Критерий повторных измерений сравнивает рост у каждого участника с разбросом приростов, и F(1, 197) = 28.74 для замера соответствует t = 5.4. Платить за это приходится правилом полных испытуемых и поправками на сферичность. В приложении этот план выбирается типом анализа Зависимые выборки.

Смешанный план — межгрупповой фактор и фактор повторных измерений вместе (тип анализа Смешанная модель). На его карточке три строки: главный межгрупповой эффект, главный эффект повторных измерений и их взаимодействие, ради которого такой план и строят. Филиал × замер по чеку, 199 участников с обоими значениями: филиал F(1, 197) = 11.60, p < 0.001, частичная η² = 0.056 (в «Привокзальной» тратят больше); замер F(1, 197) = 28.74, p < 0.001, частичная η² = 0.127 (после смены меню чек вырос); взаимодействие F(1, 197) = 0.07, p = 0.79 (в обоих филиалах чек вырос примерно на единицу). Ошибки у двух главных эффектов разные. Межгрупповой эффект проверяется на фоне разброса между участниками, а эффект повторных измерений и взаимодействие — на фоне разброса изменений внутри участников. Поэтому на одной карточке выводятся две суммы квадратов ошибки, и поэтому строки повторных измерений чувствительнее. По той же причине частичная η² замера (0.127) намного больше его обычной эта-квадрат (η²), равной 0.022. Частичная мера исключает из знаменателя 4173 единицы разброса между участниками, а обычная их оставляет, и в отчёте нужно указать, какая из двух приведена.

Полные испытуемые — участники, у которых есть хотя бы одна строка на каждом уровне фактора повторных измерений. Критерий повторных измерений или смешанный критерий выполняется только на них. У участника с пропущенным замером нет изменения, которое можно измерить, и его исключают. Участника с двумя строками в одном замере оставляют, а его строки перед расчётом усредняются в одно значение для этой ячейки. Предпросмотр групп показывает число полных участников по каждой переменной замеров, а отдельными строками — сколько участников исключено из-за пропущенного замера и чьи повторные строки будут усреднены. Предпросмотр считает строки, а не значения. У единственного участника, чей чек после смены меню страница о данных удаляет как заказ кейтеринга, обе строки на месте, и он входит в 200 участников предпросмотра. Исключает его из-за пустого значения уже сам критерий, который выполняется на 199 участниках: это N = 199 полных испытуемых в начале смешанной карточки. Большое число исключённых — самостоятельный результат, ведь выбывшие участники могут отличаться от оставшихся.

Одномерный подход (вариант Одномерный (с поправкой ε) в параметре Подход к эффектам повторных измерений) — классический F повторных измерений, по одному на каждый эффект повторных измерений. Если сферичность нарушена, его степени свободы уменьшаются умножением на ε Гринхауса — Гейссера или Хюйнха — Фельдта. Этот подход выбран по умолчанию и мощнее многомерного, когда сферичность примерно выполняется. При двух уровнях (до и после) поправлять нечего: разность всего одна, и сравнивать её дисперсию не с чем.

Многомерный подход (вариант Многомерный (след Пиллаи)) проверяет контрасты между замерами совместно, как MANOVA разностей со следом Пиллаи в качестве статистики, и сферичности не требует вовсе. Зато ему нужно больше участников, чем контрастов, и он уступает в мощности одномерному подходу, когда сферичность почти выполняется. Выбор подхода меняет всю карточку (общий критерий, вывод, размер эффекта и набор p-значений для поправки на множественность), а не добавляет к ней вторую таблицу. Межгрупповые эффекты при любом выборе проверяются одномерно.

Доверительный интервал для повторных измерений — интервал для среднего по условию, построенный по разбросу изменений, а не самих участников, и поэтому показывающий то, что видит критерий повторных измерений. Обычный интервал для среднего до смены меню (8.66) — от 8.16 до 9.16, для среднего после (9.75) — от 9.23 до 10.26. Оба интервала построены по 199 участникам, у которых известен чек и до, и после смены, поэтому среднее «до» здесь 8.66, а не 8.71, как по всем 200. Интервалы сильно перекрываются, и всё же t парного критерия равен 5.4: рост каждого участника отсчитывается от его собственного исходного уровня, а различия между участниками в расчёт не входят. По способу Кузино из значений каждого участника вычитают его среднее и лишь затем строят интервал, а множитель Мори k/(k−1) компенсирует сужение, которое вносит этот шаг. На данных кафе полуширина уменьшается с 0.50 и 0.52 до 0.28, и интервалы становятся равны 8.38–8.94 и 9.46–10.03. Приложение выводит этот интервал вторым столбцом для каждого условия на карточке повторных измерений или смешанного плана и рисует его на графике планок погрешностей. Как интервал для среднего генеральной совокупности в отдельном условии он не годится (для этого остаётся обычный интервал) и о межгрупповом разрыве ничего не сообщает.

Разностно-скорректированный интервал — интервал для повторных измерений, умноженный на 2/2 (поправка Бэгули), так что планки двух условий перекрываются ровно тогда, когда разность между ними не значима на выбранном уровне. Интуитивное правило «планки не перекрываются, значит, различие есть» неверно для обычных интервалов и верно для этих. На данных кафе полуширина равна 0.20, планки для «до» (8.46–8.86) и «после» (9.55–9.95) разделяет промежуток 0.69. На графике планок погрешностей это вариант Разностно-скорректированный доверительный интервал для повторных измерений.

Апостериорные сравнения

Апостериорный критерий выполняется после значимого общего критерия, чтобы установить, какие именно уровни различаются, и контролирует групповую вероятность ошибки для всего набора сравнений. F дисперсионного анализа означает только, что три возрастные группы не одинаковы, а три попарных t-критерия при α = 0.05 дали бы хотя бы одну ложную тревогу с вероятностью около одной седьмой. Каждый метод ниже по-своему расплачивается за множественность: либо использует опорное распределение, построенное для всего набора, либо корректирует p так же, как методы поправки. Список Метод апостериорных проверок предлагает для каждого критерия методы, основанные на тех же допущениях: критерий для неравных разбросов получает метод с раздельными дисперсиями, ранговый критерий — ранговый метод. Апостериорный контраст наследует ошибку своего общего критерия.

Попарные сравнения — строки апостериорной таблицы: каждая пара уровней с разностью между ними, её интервалом и скорректированным p. Три уровня дают три пары, шесть уровней — пятнадцать, а взаимодействие в многофакторном анализе добавляет все пары ячеек. Приложение выводит таблицу в длинном виде, по строке на пару, или в виде матрицы с уровнями по обеим осям и отмечает значимые строки так же, как в любой другой таблице.

Контраст — одно сравнение, записанное как взвешенная сумма средних уровней. Пара — простейший контраст: +1 для одного уровня и −1 для другого. Первый столбец апостериорной таблицы называет контраст, например 31–45 − до 30 с оценкой 2.08. Термин важен, потому что сравнение с контрольной группой, разность разностей внутри взаимодействия и тренд по упорядоченным уровням — всё это контрасты, а методы многомерного t и Даннетта ниже определены на наборе контрастов, а не пар.

Все попарные сравнения сопоставляют каждый уровень с каждым, всего k(k−1)/2 сравнений, а сравнения с опорным уровнем — каждый уровень только с одним выбранным, всего k − 1 сравнений. Чем меньше семейство, тем мягче поправка, поэтому метод сравнений с опорным уровнем мощнее, если нужны только они: каждая доза против плацебо, каждая новая версия страницы против текущей. Методы приложения с пометкой против контроля — именно такие.

Контрольная группа — тот самый опорный уровень, с которым сравниваются все остальные. Её выбирают в приложении под методом апостериорных проверок, когда выбран метод против контроля, отдельно для каждого фактора, участвующего в расчёте. В кафе естественного контроля нет. Типичные примеры — группа плацебо в клиническом испытании, обычная программа в школе или текущая версия страницы на сайте.

Одновременный доверительный интервал — набор интервалов, построенных так, чтобы с выбранной доверительной вероятностью все они сразу накрывали истинные разности, а не каждый по отдельности. Это интервальный аналог скорректированного p. Интервалы в таблице Тьюки или многомерного t одновременные, поэтому они шире интервала одиночного t-критерия: для средней возрастной группы против младшей это 0.63–3.53, тогда как нескорректированный интервал того же контраста составил бы 0.87–3.29.

Семейства ниже названы так, как их называет список Метод апостериорных проверок. Каждое предлагается только с критериями, чьи допущения оно разделяет, так что состав списка зависит от выбранного критерия:

  • HSD Тьюки — метод всех попарных сравнений для плана с объединённой ошибкой. Разность каждой пары соотносится со стьюдентизированным размахом, то есть распределением наибольшего разрыва среди k средних, взятых из одной совокупности. Поэтому групповая вероятность ошибки точна при сбалансированных ячейках и немного консервативна в остальных случаях. Это классический апостериорный критерий для однофакторного и многофакторного дисперсионного анализа. На возрастных группах с усреднением по филиалам: 31–45 против до 30 — 2.08, p = 0.0025; 46 и старше против до 30 — 2.49, p = 0.0020; 31–45 против 46 и старше — −0.41, p = 0.776.
  • Попарные контрасты с точной поправкой по многомерному t — те же контрасты, что у Тьюки, но откалиброванные по точному совместному распределению их t-статистик с учётом реальной корреляции между ними. Стьюдентизированный размах лишь приближает это распределение, когда ячейки несбалансированы или у контрастов нет единой ошибки (при факторе повторных измерений или ковариате). Приложение ставит этот метод первым в списке и делает его методом по умолчанию везде, где план допускает оба. На почти сбалансированных возрастных группах он даёт p = 0.774 против 0.776 у Тьюки, и с ростом несбалансированности разница увеличивается. Его вариант для сравнений с опорным уровнем — критерий Даннетта.
  • Попарные t-критерии с объединённой ошибкой дисперсионного анализа — для каждой пары t-критерий на объединённом среднем квадрате дисперсионного анализа с N − k степенями свободы, без собственного контроля множественности. Их корректирует общая поправка p-значений из настроек, а если там выбрано Нет, остаются нескорректированные попарные сравнения. Метод подходит, если семейство собираются корректировать по доле ложных открытий или если поправку сделает сам рецензент.
  • Критерий Геймса — Хауэлла — метод всех попарных сравнений для неравных разбросов. Каждая пара проверяется t-критерием Уэлча по своим двум дисперсиям и со своими степенями свободы Уэлча, а результат соотносится со стьюдентизированным размахом. Он дополняет однофакторный дисперсионный анализ Уэлча и Брауна — Форсайта, и именно к нему направляет проверка допущений, когда критерий Левена отвергает равенство дисперсий. На возрастных группах у трёх пар 128.7, 80.7 и 92.0 степени свободы, p = 0.0001, 0.0003 и 0.81.
  • Критерий Даннетта (против контроля) — метод сравнений с опорным уровнем для плана с объединённой ошибкой: k − 1 контрастов с контрольной группой, каждый — t-критерий с объединённой дисперсией. Они соотносятся с точным многомерным t-распределением только для этих контрастов, с учётом корреляции, которая возникает между ними через общее среднее контрольной группы. Когда важны только сравнения с контролем, этот метод мощнее любого метода всех попарных сравнений.
  • T3 Даннетта (против контроля) — вариант критерия Даннетта для неравных разбросов: те же k − 1 контрастов, каждый — t-критерий Уэлча, соотнесённые со стьюдентизированным максимальным модулем. Это аналог критерия Геймса — Хауэлла для сравнений с опорным уровнем, и предлагается он вместе с гетероскедастичными общими критериями.
  • Критерий Данна — апостериорный критерий всех попарных сравнений после критерия Краскела — Уоллиса. Для каждой пары вычисляется z по разности средних рангов, причём используются ранги всей выборки, а пара заново не ранжируется, чтобы все пары оставались в шкале общего критерия. Его p-значения корректируются общей поправкой из настроек.
  • Критерий Данна (против контроля) — тот же z только для k − 1 контрастов с контрольной группой, ранговый аналог критерия Даннетта. Поправка применяется только к этим контрастам.
  • Критерий Коновера — апостериорный критерий после критерия Фридмана. Для каждой пары условий вычисляется t по разности сумм рангов со стандартной ошибкой, оценённой по разбросу самих рангов. Он мощнее критерия Неменьи и немного либеральнее, а его p-значения корректируются общей поправкой из настроек.
  • Критерий Неменьи — другой апостериорный критерий после критерия Фридмана: разности сумм рангов соотносятся со стьюдентизированным размахом, как в критерии Тьюки, только на рангах, и контроль множественности встроен в сам метод.
  • Попарные сравнения усечённых средних (lincon) — апостериорный критерий для однофакторного дисперсионного анализа усечённых средних. Каждая пара проверяется t-критерием Юэна по усечённым средним с той же долей усечения, что и в общем критерии, и по винзоризованным дисперсиям. Его p-значения корректируются общей поправкой из настроек, а интервалы одновременные и построены по стьюдентизированному максимальному модулю.
  • Попарные парные t-критерии — для плана с повторными измерениями: каждая пара условий проверяется парным t-критерием по разностям участников с общей поправкой из настроек.
  • Попарные критерии знаковых рангов Вилкоксона — то же на ранжированных разностях. Это ещё один апостериорный критерий после критерия Фридмана, тоже с общей поправкой из настроек.
  • Попарные критерии Мак-Немара — после критерия Q Кокрена для ответа «да/нет»: каждая пара замеров проверяется критерием Мак-Немара по участникам, изменившим ответ, с общей поправкой из настроек.
  • Попарные критерии дивергенции Йенсена — Шеннона — после критерия дивергенции Йенсена — Шеннона для категориального исхода: для каждой пары групп вычисляется дивергенция между их распределениями. Каждая такая дивергенция не превышает одного бита, поэтому все пары измеряются в шкале общего критерия. Поправка общая, из настроек.

Ковариаты в сравнении

ANCOVA (ковариационный анализ) — сравнение групп, в модель которого включена непрерывная ковариата, так что группы сравниваются при одном и том же её значении. Это та же поправка на ковариату, что в регрессии, только в терминах сравнения, и вопрос она ставит иной, чем простое сравнение. Не «различается ли чек после смены меню в двух филиалах», а «различается ли он у участников, которые до смены меню тратили одинаково». В приложении ковариата — роль на левой панели, доступная для критериев, которые её допускают: ANCOVA и MANCOVA, многофакторного и смешанного семейств и семейства повторных измерений. На карточке тогда появляются строка ковариаты, скорректированные средние и проверки наклонов. С ковариатой связаны два допущения, однородность наклонов регрессии и независимость ковариаты, и в наблюдательном сравнении всё держится на втором.

Скорректированное среднее — среднее группы, предсказанное при общем среднем значении ковариаты. Каждого участника как бы сдвигают вдоль общего наклона к тому чеку, который был бы у него при среднем чеке до смены меню, равном 8.66. Для переменной чек_после по филиалам исходные средние равны 8.95 и 10.57, скорректированные — 9.47 и 10.03. Участники «Привокзальной» и до смены меню тратили больше, поэтому их среднее сдвигается вниз, а среднее «Набережной» — вверх, вдоль наклона 0.70 на единицу. Вместе с разрывом уходит и эффект филиала: F(1, 196) = 2.12, p = 0.147, частичная η² = 0.011, тогда как у ковариаты F(1, 196) = 165, частичная η² = 0.457. Это то же сокращение разрыва с 1.63 до 0.56, что на странице о допущениях, только увиденное с другой стороны. Значение, при котором зафиксирована ковариата, выводится под таблицей, и оно важно: при другом значении скорректированные средние будут другими, а разность между ними остаётся прежней, только пока наклоны одинаковы.

Различие наклонов — случай, который исключает допущение ANCOVA: наклон ковариаты в группах разный, поэтому разность групп зависит от того, при каком значении ковариаты её оценивать, и единой скорректированной разности для отчёта нет. Приложение проверяет это допущение вместе с остальными, а на карточке результатов выводит таблицу наклонов с разностью наклонов для каждого контраста. Если наклоны действительно различаются, для этого контраста рисуется область значимости Джонсона — Неймана, то есть отрезок значений ковариаты, на котором группы различаются. Параметр Показывать все области значимости рисует такую область для каждого контраста. На данных кафе наклоны чека после смены меню по чеку до неё равны 0.74 в «Набережной» и 0.67 в «Привокзальной», разность 0.07 (стандартная ошибка 0.11), p = 0.549. Без запроса область не рисуется, а запрошенная окажется пустой: ни при каком чеке до смены меню в наблюдаемом диапазоне от 1.5 до 18.9 разность филиалов не значима.

Несколько зависимых переменных сразу

MANOVA (многомерный дисперсионный анализ) сравнивает группы сразу по нескольким зависимым переменным. Вопрос не в том, различаются ли филиалы общей оценкой, затем ожиданием, затем чеком, а в том, различаются ли они профилем из трёх переменных. Выигрыш двоякий. Цена ложной тревоги платится один раз, а не трижды, как у трёх отдельных дисперсионных анализов. Кроме того, обнаруживается различие, которое существует только в сочетании переменных, когда ни одна из них сама по себе группы не разделяет, а их совокупность разделяет. Платить приходится двумя допущениями, которых нет у одномерных критериев, — однородностью ковариационных матриц и многомерной нормальностью, — а также тем, что вывод устанавливает лишь различие групп по набору переменных в каком-то отношении. В каком именно, показывают последующие критерии и дискриминантные функции. По переменным оценка, ожидание и чек_до в разрезе филиалов (93 участника «Набережной» и 85 «Привокзальной» со всеми тремя ответами, 22 строки отброшены) все четыре статистики на карточке дают F(3, 174) = 6.28, p < 0.001, а многомерная частичная η² рядом со строкой следа Пиллаи равна 0.098: профили филиалов различаются. В приложении это критерий MANOVA из списка для независимых выборок, где каждая неназначенная числовая переменная становится одной из зависимых. С одной зависимой переменной MANOVA сводится к дисперсионному анализу.

MANCOVA — MANOVA с фиксированной ковариатой: филиалы сравниваются по профилю из трёх переменных при общем значении, например, возраста. На карточке добавляются многомерный критерий для каждой ковариаты и скорректированные средние каждой зависимой переменной по группам, а под ними указано значение, при котором зафиксирована каждая ковариата. Оба допущения о ковариатах относятся сразу ко всем зависимым переменным. В приложении этот критерий называется MANCOVA (многомерный ANCOVA).

Многомерный критерий обобщает разделение групп вдоль дискриминантных функций. Их число равно меньшему из двух: числу зависимых переменных или числу групп минус один. Четыре статистики на карточке — четыре способа свести эти функции в одно число. При двух группах функция одна, и все четыре статистики выражают одно и то же в разной записи, с одним и тем же F. При трёх группах и больше они расходятся, и возрастные группы на тех же трёх переменных (173 участника) показывают насколько: след Пиллаи 0.095, F(6, 338) = 2.81, p = 0.011; Λ Уилкса 0.906, F(6, 336) = 2.84, p = 0.010; след Хотеллинга — Лоули 0.103, F(6, 334) = 2.87, p = 0.010; наибольший корень Роя 0.095, F(3, 169) = 5.37, p = 0.001.

След Пиллаи — сумма по всем функциям долей дисперсии, которую объясняет каждая. Такая доля равна квадрату канонической корреляции функции, так что для филиалов след равен 0.098, а для возрастных групп 0.087 + 0.008 = 0.095. С ростом разделения след растёт. Эта статистика устойчивее остальных, когда ковариационные матрицы различаются или группы малы и неравны. По ней приложение вычисляет многомерный размер эффекта, и именно её следует приводить, когда четыре статистики расходятся.

Λ Уилкса — доля дисперсии, которую функции не объясняют: произведение по всем функциям величин «единица минус квадрат канонической корреляции». Поэтому она меняется в обратную сторону, от 1 при полном отсутствии разделения к меньшим значениям: 0.902 для филиалов (то есть 1 − 0.098) и 0.906 для возрастных групп. Из четырёх статистик её приводят чаще всего, и именно её дискриминантная таблица проверяет для функций по очереди.

След Хотеллинга — Лоули — сумма собственных значений функций, где собственное значение функции — отношение разброса групповых средних вдоль неё к разбросу внутри групп. След равен 0.108 для филиалов и 0.103 для возрастных групп. По сравнению со следом Пиллаи эта статистика придаёт больший вес функции, которая хорошо разделяет группы, и хуже переносит неравенство ковариационных матриц.

Наибольший корень Роя — собственное значение одной только первой функции, 0.108 и 0.095. Он проверяет, различаются ли группы вдоль единственной наилучшей прямой, и остальные функции не учитывает. Его F — верхняя граница, точная лишь при одной функции, поэтому его p — нижняя граница. На возрастных группах он даёт p = 0.001, тогда как три другие статистики дают 0.010, и об этом предупреждает примечание к строке. Из четырёх статистик он самый мощный, когда группы действительно различаются по одному измерению, и самый обманчивый, когда это не так.

Одномерные последующие критерии — по одному критерию на каждую зависимую переменную после значимого многомерного результата, чтобы выяснить, на каких переменных держится различие. Обычно это дисперсионные анализы, при ковариате — ковариационные, при критерии Йохансена — дисперсионные анализы Уэлча, при энергетическом критерии — энергетические критерии, и заголовок карточки называет, какие именно. Они выполняются только после значимого общего критерия и в общую поправку не входят. Вместо этого они корректируются между собой как семейство, по одному критерию на переменную, методом поправки, заданным в настройках. Для филиалов: чек_до F(1, 176) = 12.30, p < 0.001, частичная η² = 0.065; оценка F(1, 176) = 1.41, p = 0.24; ожидание F(1, 176) = 2.31, p = 0.13. Многомерное разделение — по сути разрыв в чеке, выраженный через сочетание переменных, а что добавляет само сочетание, видно по стандартизованным коэффициентам ниже. Для возрастных групп значим только чек_до, F(2, 170) = 7.30, p < 0.001.

Гетероскедастичный MANOVA Йохансена — многомерный аналог поправки Уэлча. Каждая группа взвешивается собственной ковариационной матрицей вместо одной объединённой, поэтому критерий применим, когда M-критерий Бокса отвергает однородность. Так и происходит с филиалами: в «Привокзальной» чек и ожидание изменчивее. На трёх переменных по филиалам статистика равна 18.64, F(3, 124.9) = 6.15, p < 0.001, а последующие критерии — дисперсионные анализы Уэлча: чек_до F(1, 154.2) = 11.98, p < 0.001, оценка p = 0.24, ожидание p = 0.14. Дробные степени свободы — плата за оценку отдельной матрицы для каждой группы. Из этой платы следуют три ограничения: в каждой группе участников должно быть больше, чем зависимых переменных; размера эффекта у общего критерия нет; объединённой ошибки для апостериорного критерия тоже нет, поэтому последующие критерии дополняются критерием Геймса — Хауэлла. Многомерную нормальность этот критерий по-прежнему предполагает.

Энергетический критерий равенства распределений проверяет, одинаково ли вообще совместное распределение в группах (положение, разброс и форма вместе), не предполагая никакого конкретного распределения. Проверка перестановочная: вычисляется энергетическое расстояние между группами, затем метки групп перемешиваются и расстояние считается заново, а p — доля перемешиваний, давших значение не меньше наблюдаемого. По переменным ожидание и чек_до вместе (95 и 90 участников) E = 8.22, p = 0.001 (меньшего p при 999 перестановках не бывает), R²ₑ = 0.026. Последующие критерии по отдельным переменным — тоже энергетические, с E и без степеней свободы: E = 1.92, p = 0.125 для переменной ожидание и E = 8.40, p = 0.001 для чек_до, так что совместный вывод определяется чеком. Отвержение гипотезы не доказывает, что различаются средние: к нему приводит и одно лишь различие разброса. Поэтому приложение предлагает этот критерий как запасной вариант при нарушении многомерной нормальности, а не как замену MANOVA, и по той же причине значимый M-критерий Бокса отодвигает его в рекомендациях.

Энергетическое расстояние между двумя группами — удвоенное среднее расстояние между участником одной группы и участником другой за вычетом средних расстояний внутри каждой группы. Оно равно нулю, когда распределения совпадают, и положительно в остальных случаях, какой бы формы ни было различие. Зависимые переменные предварительно стандартизуются, иначе переменная в более крупных единицах одна определяла бы расстояния. R²ₑ — доля общего рассеяния, приходящаяся на различия между группами и вычисленная по тем же расстояниям (2.6% для пары переменных кафе). Карточка выводит её рядом с E как размер эффекта: она ограничена и сравнима между наборами данных, тогда как сам E растёт с объёмом выборки.

Описательный дискриминантный анализ показывает, из чего состоит сочетание переменных, найденное многомерным критерием. Дискриминантная функция — взвешенная сумма зависимых переменных, вдоль которой группы сильнее всего разнесены относительно разброса внутри них, а анализ сообщает функции, их веса и положение каждой группы на них. Этот анализ согласован с общим критерием, поскольку тоже рассматривает переменные вместе. Зато отдельную переменную он не проверяет, поэтому приложение показывает его рядом с одномерными последующими критериями, а не вместо них (флажок Включить описательный дискриминантный анализ для MANOVA и MANCOVA). Для филиалов функция одна: каноническая корреляция 0.31, Λ Уилкса = 0.90, χ²(3) = 17.95, p < 0.001, то есть тот же общий критерий в другой форме. Для возрастных групп функций две, и проверки в таблице последовательные. Первая строка проверяет обе функции вместе, Λ = 0.906, χ²(6) = 16.72, p = 0.010, вторая — осталось ли разделение после исключения первой функции, Λ = 0.992, χ²(2) = 1.33, p = 0.52. Возрастные группы различаются вдоль одной прямой, на которую приходится 92% разделения, и график дискриминантных функций по сути одномерен, хотя формально функций две.

Дискриминантная функция — одна строка первой таблицы: собственное значение (отношение разброса групповых средних вдоль функции к разбросу внутри групп, 0.108 для филиалов), каноническая корреляция, доля в общем разделении и Λ Уилкса с χ², степенями свободы и p, проверяющими эту функцию вместе со всеми последующими. Функции извлекаются по очереди: каждая разделяет группы как можно лучше среди направлений, не охваченных предыдущими. Поэтому первая функция — прямая, по которой группы различаются сильнее всего, а каждая следующая описывает то, что осталось.

Каноническая корреляция — корреляция между значениями функции и принадлежностью к группе. Для двух групп это точечно-бисериальный коэффициент корреляции между значением функции и филиалом. Она получается из собственного значения пересчётом в корреляцию, λ/(1+λ): 0.31 для филиалов, 0.30 и 0.09 для двух функций возрастных групп. Её квадрат — доля дисперсии, которую объясняет функция, и именно эти доли складывает след Пиллаи.

Стандартизованные канонические коэффициенты — веса зависимых переменных в функции при фиксированных остальных переменных, выраженные в объединённых внутригрупповых стандартных отклонениях. Они показывают, из чего функция состоит. Для филиалов: чек_до 0.96, оценка −0.48, ожидание 0.27. Функция — в основном чек, но не только. Участник, оценивший кафе выше, чем предсказывает его чек, смещается к полюсу «Набережной», а тот, кто ждал дольше, — к полюсу «Привокзальной», и обе переменные, не значимые по отдельности, в функцию входят. Это и есть разделение, найденное многомерным критерием и незаметное для критериев по отдельным переменным.

Структурные коэффициенты — объединённые внутригрупповые корреляции каждой зависимой переменной с каждой функцией: чек_до 0.80, ожидание 0.35, оценка −0.27. Они описывают переменные по одной, поэтому ранжируют их примерно так же, как одномерные последующие критерии. Судя по ним о составе функции, легко упустить то самое совместное разделение, ради которого анализ и нужен, поэтому приложение показывает их вторыми.

Центроиды групп — средние значения групп на каждой функции в объединённых внутригрупповых стандартных отклонениях, так что разрыв 1 означает разделение на одно внутригрупповое стандартное отклонение. На единственной функции филиалов центроид «Набережной» равен −0.31, «Привокзальной» — 0.34, и между ними 0.66 стандартного отклонения. На первой функции возрастных групп центроиды равны −0.53 для группы до 30, 0.14 для 31–45 и 0.25 для 46 и старше: самые молодые участники заметно отделены от двух других групп. Это тот же рост чека с возрастом, который напрямую проверяет критерий тренда ниже. В MANCOVA центроиды — скорректированные средние, спроецированные на функции.

Ранговый анализ многофакторных планов

Преобразование выровненных рангов позволяет провести многофакторный или смешанный анализ на рангах, когда остатки далеки от нормального распределения. Если просто заменить отклик рангами и выполнить на них многофакторный дисперсионный анализ, ничего не выйдет: ранги не аддитивны, главные эффекты и взаимодействие перетекают друг в друга, и взаимодействие может оказаться значимым там, где его нет. Выравнивание устраняет эту проблему, обрабатывая эффекты по одному. Для каждого главного эффекта и взаимодействия из каждого наблюдения вычитаются оценки всех остальных эффектов, так что остаются только этот эффект и шум. Выровненные значения ранжируются, и обычный многофакторный дисперсионный анализ на этих рангах оценивает этот единственный эффект. В приложении ART-ANOVA (преобразование выровненных рангов) служит непараметрическим аналогом смешанного дисперсионного анализа, а Многофакторный ART-ANOVA с повторными измерениями — аналогом для плана только с факторами повторных измерений. Оба строят для каждого эффекта свой выровненный и ранжированный отклик. Филиал × замер по чеку: филиал F(1, 197) = 10.76, p = 0.001, замер F(1, 197) = 24.92, p < 0.001, взаимодействие F(1, 197) = 0.13, p = 0.72. Выводы те же, что у параметрического смешанного плана с его 11.60, 28.74 и 0.07, только получены по рангам. Так и должно быть на почти нормальных данных, а польза от преобразования видна на данных, далёких от нормальных. Ограничения метода следуют из модели, которую он подгоняет. В ней один случайный свободный член на испытуемого, поэтому ошибка одна для всех ячеек и поправки на сферичность нет. При неравных дисперсиях ячеек каждый F в таблице, включая межгрупповые строки, становится либеральным, и поэтому карточка выводит разброс стандартных отклонений ячеек. Ковариаты не допускаются, потому что у непрерывного предиктора нет уровней, относительно которых можно выравнивать. Простых эффектов нет, потому что выравнивание убирает как раз то, что простой эффект должен оценивать. Единственный размер эффекта — частичная η².

Разложение таблицы

Анализ соответствий берёт таблицу сопряжённости, которую только что проверил критерий хи-квадрат, и показывает, где сосредоточена связь. Он раскладывает хи-квадрат таблицы на независимые измерения и размещает на них все категории строк и столбцов. Категории, лежащие по одну сторону от центра, встречаются вместе чаще, чем предсказывает независимость. Это описание, а не критерий: p у него нет, проверку уже выполнил критерий, который он сопровождает. В приложении анализ включается по желанию флажком Включить анализ соответствий, доступным вместе с критериями хи-квадрат и Фишера. Измерений у таблицы на одно меньше, чем категорий на её меньшей стороне, поэтому таблица 2 × 3 раскладывается на одну прямую, и карту рисует только таблица 3 × 3 или больше. В кафе это переменная рекомендует по возрастным группам, χ²(2) = 0.54, p = 0.764 по 195 участникам. Старшая группа стоит на единственной оси в точке 0.077, младшая — в точке −0.075, средняя — в начале координат, а не рекомендует (0.074) лежит рядом со старшей и рекомендует (−0.037) рядом с младшей. Старшие участники рекомендуют кафе реже всех (63% против 70%), но эта связь слишком мала, чтобы иметь значение, и целиком укладывается на одну прямую. Оценка удовлетворённости с пятью уровнями против четырёх филиалов заняла бы уже плоскость.

Инерция — мера связи в единицах анализа соответствий. Общая инерция таблицы — её хи-квадрат, делённый на объём выборки: 0.0028 для переменной рекомендует по возрастным группам (0.54 ⁄ 195). На каждое измерение приходится своя доля инерции. Она выводится в процентах и нарастающим итогом, и по ней решают, стоит ли всматриваться в двумерную картину. Своя инерция есть и у каждой категории — её доля в общей связи. На не рекомендует приходится 67%, на рекомендует 33%, потому что более редкий ответ дальше от среднего профиля. На группу 46 и старше приходится 50.5%, на группу до 30 — 49.5%, а на 31–45 — ничего, поскольку она лежит в начале координат.

Масса — доля категории в общей численности таблицы. У не рекомендует масса 0.33, у рекомендует — 0.67, у средней возрастной группы — 0.52, у двух крайних — по 0.24. Лёгкая категория мало влияет на решение, как бы далеко она ни лежала, а тяжёлая его закрепляет. Поэтому на карте нужно учитывать массы: крайнее положение редкой категории — факт о немногих участниках.

Вклад — доля инерции измерения, которую создала категория. Вклады считают по столбцу, и по всем категориям они в сумме дают 100%. Измерение называют по нескольким категориям с наибольшим вкладом. На единственной оси кафе вклад не рекомендует равен 67%, рекомендует — 33%, старшей группы — 50.5%, младшей — 49.5%.

Качество — то, насколько хорошо измерение представляет категорию: квадрат косинуса угла между положением категории и осью. Качество считают по строке, и по всем измерениям оно в сумме равно 1. Общее качество — то же по тем измерениям, которые нарисованы на карте. Категорию с низким качеством карта не описывает, как бы далеко от начала координат она ни стояла. Вклад показывает, что категория дала оси, а качество — что ось сообщает о категории, и судить о категории по карте можно, только когда высоки оба показателя. В одномерной таблице качество каждой категории равно 1, кроме средней группы в начале координат, о которой ось ничего не сообщает.

Симметричная карта — способ масштабирования графика, при котором строки и столбцы рисуются в главных координатах. Расстояния между строками и между столбцами на такой карте — расстояния хи-квадрат между их профилями, а расстояние между строкой и столбцом таким расстоянием не является. Поэтому на карте важны направления от начала координат. Строка и столбец, лежащие в одну сторону, встречаются вместе чаще ожидаемого, лежащие в противоположные — реже, а категория у центра близка к среднему профилю и ничем не выделяется. На каждой оси указана доля инерции её измерения, а Карта соответствий в приложении убирает подписи самых лёгких категорий там, где они наложились бы друг на друга, и сообщает, сколько подписей убрано.

Множественный анализ соответствий раскладывает сразу три и более категориальные переменные, то есть ищет общее для всех переменных, а не для одной таблицы. Для этого анализ выполняется на индикаторном кодировании всех категорий. В приложении это вариант Все выбранные переменные совместно в параметре Разложение. Инерции скорректированы на такое кодирование (поправка Гринакра), чтобы проценты имели тот же смысл, что в анализе двух переменных, поэтому в сумме они не дают 100. Для филиала, рекомендации и возрастной группы (195 участников, семь категорий) скорректированная общая инерция равна 0.013, на первое измерение приходится 90% этой инерции, а на второе — ничего. Получается одна ось. На одном её конце «Привокзальная» (0.74), не рекомендует (0.73) и группа 46 и старше (0.81), на другом — «Набережная» (−0.72), рекомендует (−0.36) и группа до 30 (−1.04), а группа 31–45 лежит у центра (0.12). Так в одно направление сводятся три факта, которые предыдущие разделы установили по отдельности: участники «Привокзальной» старше, старшие участники рекомендуют кафе реже, и в «Привокзальной» тоже рекомендуют реже. Столбец качества не даёт переоценить картину: ось описывает филиалы (0.53) и возрастные группы (от 0.58 до 0.97) гораздо лучше, чем рекомендацию (0.29), поэтому положение рекомендации на оси — самое ненадёжное из всего, что видно на карте.

Стратифицированные таблицы

Страта — один уровень третьей переменной, внутри которого связь рассматривается отдельно, например участники 31–45 лет и таблица рекомендации по филиалам только для них. Стратификация фиксирует третью переменную так же, как ковариата фиксирует непрерывную. В приложении роль Стратифицирующая переменная доступна для критерия Кокрена — Мантеля — Хензеля. Приложение строит отдельную таблицу сопряжённости для каждой страты и выводит эти таблицы под объединённой.

Критерий Кокрена — Мантеля — Хензеля проверяет связь между категориальным исходом и группирующей переменной внутри страт, объединяя свидетельства по всем стратам. В каждой страте частота одной ячейки сравнивается с тем, что предсказывают маргинальные суммы самой страты, и расхождения суммируются, так что связь накапливается, только если во всех стратах она направлена в одну сторону. Возьмём переменную рекомендует по филиалам со стратификацией по возрастной группе, 195 участников с известной группой. В объединённой таблице кафе рекомендуют 71 из 99 участников «Набережной» (72%) и 59 из 96 участников «Привокзальной» (61%). Внутри групп это 77% против 59% у самых молодых, 72% против 62% в средней группе и 63% против 63% у самых старших. Страты согласуются с общей картиной, поэтому стратификация мало меняет вывод: χ²(1) = 1.59, p = 0.207 с поправкой на непрерывность, которую приложение применяет по умолчанию. Критерий применим к таблицам любой формы, с (I − 1)(J − 1) степенями свободы, а в случае 2 × 2 × K к нему добавляются общее отношение шансов и проверка критерием Бреслоу — Дэя.

Общее отношение шансов — одно отношение шансов для всех страт сразу, в котором каждая страта взвешена по объёму. Это оценка Мантеля — Хензеля, размер эффекта для случая 2 × 2 × K, когда размеры эффекта включены. На стратах кафе оно равно 0.65 [0.35, 1.18] в той ориентации, которую указывает примечание на карточке: шансы ответа не рекомендует в «Набережной» относительно «Привокзальной» (или 1 ⁄ 0.65 = 1.54 для шансов ответа рекомендует в «Набережной»). В объединённой таблице отношение равно 0.63, а внутри трёх возрастных групп, от младшей к старшей, — 0.43, 0.62 и 0.99. Интервал содержит 1, то есть отсутствие связи не исключено.

Критерий Бреслоу — Дэя проверяет, достаточно ли похожи отношения шансов в стратах, чтобы их можно было заменить одним общим. Это стратифицированный аналог взаимодействия. На данных кафе χ²(2) = 0.85, p = 0.652: значения 0.43, 0.62 и 0.99 совместимы с одним отношением, и общее значение 0.65 их верно обобщает. Если критерий отвергает гипотезу, связь в разных стратах разная, и в отчёт нужно включать таблицы по стратам, а не объединённое отношение. Приложение использует вариант с поправкой Тароне, опорное распределение которого действительно χ², тогда как у простого варианта это лишь приближение.

Парадокс Симпсона — связь в объединённой таблице, которая исчезает или меняет знак внутри каждой страты, потому что страты различаются и составом групп, и частотой исхода. В кафе он проявляется в мягкой форме. Объединённый разрыв в десять процентных пунктов распадается на 18 у самых молодых, 10 в средней группе и 0 у самых старших, так что большая часть связи приходится на одну группу, но знак не меняется. Классический пример — больница, где более тяжёлых пациентов направляют к лучшему хирургу. Поэтому общая смертность у него выше, хотя в каждой страте тяжести она ниже, и объединённая таблица посоветовала бы худшего хирурга. Защищают от этого стратификация и проверка внутри страт. Стратифицирующую переменную нужно выбрать до расчёта, исходя из того, что известно о данных, потому что объединённая таблица сама не покажет, нужна ли стратификация.

Упорядоченные альтернативы

Критерий тренда — критерий, у которого альтернативная гипотеза состоит в упорядоченности групп, а не в любом различии между ними: исход растёт или убывает вдоль упорядоченного фактора. Вся мощность такого критерия сосредоточена на одном направлении, тогда как общий критерий для k групп распределяет её по k − 1 направлениям, поэтому при реальном порядке вопрос о тренде точнее. В приложении таких критериев три. Критерий Джонкхира — Терпстры — ранговый критерий для числового исхода по упорядоченным группам, который считает, как часто участник более высокого уровня превосходит участника более низкого. Критерий тренда Пейджа предназначен для упорядоченных условий внутри испытуемых и входит в семейство критерия Фридмана. Критерий тренда Кокрена — Армитиджа проверяет тренд частоты бинарного исхода по упорядоченным группам. Каждому нужен порядковый фактор, и порядок приложение берёт из числовых значений фактора. Возрастные группы, закодированные числами 1, 2 и 3, подходят, а с подписями до 30, 31–45 и 46 и старше — нет: текстовые уровни сортируются по алфавиту, и первой оказалась бы группа 31–45. Для переменной чек_до по группам, закодированным числами, J = 7306.5, p = 0.002 (перестановочное p по 999 повторам, поскольку в чеках есть совпадающие значения), размер эффекта — τ-b Кендалла = 0.20, средние 6.85, 9.07 и 9.48. Для переменной рекомендует по тем же группам критерий Кокрена — Армитиджа даёт Z = −0.73, p = 0.463 при частотах 70%, 67% и 63%, а критерий хи-квадрат для таблицы 2 × 3 — χ²(2) = 0.54, p = 0.764. Вопрос на одной степени свободы точнее, но тренда здесь нет. Для критерия Пейджа в кафе примера нет, ведь условия там — два замера и шесть неупорядоченных пунктов анкеты. Его типичная задача — доза, которую каждый пациент получает на трёх уровнях, или оценка, повторённая через три, шесть и двенадцать месяцев.

Монотонный тренд — то, что ищут эти критерии: рост или убывание без разворотов, не обязательно по прямой и не обязательно равными шагами. Направление задают до расчёта в параметре Направление тренда (возрастающий, убывающий или любой монотонный тренд, то есть двусторонний вариант) так же, как направление одностороннего критерия. Критерий Пейджа только направленный, поскольку проверяет заданный порядок. Критерии Джонкхира — Терпстры и Пейджа учитывают лишь порядок уровней, а критерий Кокрена — Армитиджа подгоняет к частотам прямую по баллам тренда, так что тренд у него линейный.

Баллы тренда — числа, присвоенные упорядоченным уровням, то есть значения x для прямой, которую подгоняет критерий Кокрена — Армитиджа. Приложение берёт их из собственных значений фактора, поэтому уровни, закодированные как 1, 5 и 10, проверяются именно с таким шагом, а не как три равных шага. Использованные баллы указаны на карточке. Статистика — Z со знаком, положительная при растущей частоте, а её квадрат — обычная статистика χ² тренда с одной степенью свободы: 0.54 для рекомендации в кафе.

Критерии для распределения целиком

Большинство критериев на этой странице проверяют одну характеристику распределения: среднее, медиану или разброс. Критерии этого раздела ставят общий вопрос, различаются ли распределения двух групп вообще, и у такого ответа есть цена, о которой сказано в конце раздела.

Две ЭФР на одном графике — по одной ЭФР на каждую группу в общих осях, как их рисует График ЭФР. Они показывают, где и как расходятся два распределения, чего не видно по паре средних и стандартных отклонений. При сдвиге положения одна кривая целиком смещена вбок относительно другой. При различии разброса одна кривая положе другой, и они пересекаются около середины. Кривые, пересекающиеся несколько раз, различаются формой: у одной группы есть пол, потолок или скопление значений, которых нет у другой. Время ожидания в двух филиалах — второй случай. Ниже четырёх с половиной минут кривые переплетаются, уровень 50% они пересекают на расстоянии двух десятых минуты (медианы 4.8 и 5.0), а затем расходятся. Кривая «Набережной» доходит до 100% на 11.4 минуты, а у более пологой справа кривой «Привокзальной» в этот момент ещё 4% участников не обслужены, и 100% она достигает только на 19.9. Разрыв между кривыми можно измерять двумя способами, и максимумы у них приходятся на разные места. Вертикальный разрыв — различие долей при одном значении: к 8.5 минуты закончились 95% ожиданий в «Набережной» и 80% в «Привокзальной». Горизонтальный разрыв — различие значений при одной доле: девять участников из десяти обслуживают за 7.6 минуты в «Набережной» и за 9.8 в «Привокзальной». Наибольший вертикальный разрыв — это D Колмогорова — Смирнова, и график отмечает значение, при котором он достигается. Наибольший горизонтальный разрыв — наибольшая разность квантилей. Здесь это верхняя ступень, 11.4 против 19.9 минуты, где кривые почти горизонтальны и вертикальный разрыв почти нулевой, и ни один критерий на карточке его не проверяет. Доверительная полоса вокруг каждой кривой относится только к своей группе, и две поточечные полосы, которые не соприкасаются там, где разрыв шире всего, доказывают меньше, чем кажется. При 8.5 минуты полосы Уилсона составляют 0.88–0.98 и 0.71–0.87 и не касаются друг друга, но D = 0.147 не значим, p = 0.209. Это значение найдено поиском самого широкого разрыва вдоль всей кривой, а поточечная полоса такой поиск не учитывает. Полосы DKW, ±0.14 от каждой кривой, в этой точке ещё перекрываются, и с этим выводом по всей кривой критерий согласен.

D Колмогорова — Смирнова — наибольший вертикальный разрыв между ЭФР двух групп, статистика, на которой построен Критерий Колмогорова — Смирнова. Для переменной ожидание по филиалам D = 0.147, p = 0.209 (95 и 90 участников), и p вычисляется точно, пока произведение объёмов двух групп не достигнет 10 000. Критерий реагирует на различие любого рода (положения, разброса или формы) и чувствительнее всего в середине распределения, где кривые круче всего. Он двусторонний, и примечание на карточке предупреждает, что для направленного вывода это консервативно.

D⁺ и D⁻ — разрывы в каждую сторону: максимальное превышение кривой первой группы над кривой второй и максимальное отставание от неё, вместе со значениями переменной, при которых они достигаются. Для ожиданий D⁺ = 0.147 при 8.5 минуты и D⁻ = 0.045 при 1.1 минуты. Иначе говоря, к 8.5 минуты в «Набережной» обслужено на 14.7 процентного пункта больше участников, чем в «Привокзальной», и нигде кривая «Привокзальной» заметно не опережает. Всё разделение, какое есть, приходится на долгие ожидания в хвосте «Привокзальной». D — большее из двух значений, а столбец Большее расхождение на карточке указывает, какое именно.

k-выборочный критерий Андерсона — Дарлинга решает ту же задачу, но учитывает все разрывы, а не только наибольший, с бо́льшим весом на хвостах, и сравнивает сразу две группы и больше. Для ожиданий T = 0.75, p = 0.166, причём p получено моделированием по 999 повторам, поскольку в ожиданиях есть совпадающие значения. Из двух критериев он чувствительнее, когда различие сосредоточено в крайних значениях, и подходит для единого вывода по нескольким группам, тогда как критерий Колмогорова — Смирнова в этом случае автоматически разворачивается в попарную таблицу.

Теоретико-информационные критерии измеряют в битах, насколько знание группы уменьшает неопределённость исхода, то есть взаимную информацию между меткой группы и исходом. Её оценивают по ближайшим соседям каждого значения, без дискретизации исхода по интервалам, а проверяют перестановками. Критерий взаимной информации сообщает саму информацию, которая не может превышать энтропию группирующей переменной, с U Тейла в качестве размера эффекта. Критерий дивергенции Йенсена — Шеннона сообщает расстояние между распределениями. Оба реагируют на различие любого рода, и на данных кафе видно, чего это стоит. Для переменной чек_до по филиалам t-критерий Уэлча даёт p = 0.002 при сдвиге 1.6, а критерий взаимной информации — I = 0.017 бита, U = 0.017, p = 0.336. Чувствительность этого критерия распределена по различиям всех видов, и простой сдвиг — лишь один из них. Для переменной ожидание по филиалам критерии положения ничего не находят (у критерия Манна — Уитни p = 0.289, у критерия Колмогорова — Смирнова p = 0.209), а теоретико-информационные дают I = 0.087 бита, p = 0.047 и дивергенцию 0.066 бита, p = 0.072. Ожидания в филиалах различаются скорее формой (длинным хвостом «Привокзальной»), чем серединой. Критерий на любое различие уместен, когда вопрос звучит как «одно ли это распределение?», и не годится, когда нужно узнать, где значения выше.

Дивергенция Йенсена — Шеннона — расстояние между распределениями: среднее из дивергенций каждой группы от их смеси. Она симметрична и ограничена 1 битом для двух групп и log₂ k для k групп, так что нормированная дивергенция (делённая на эту границу) измеряется в одной шкале при любом числе групп. Критерий приложения — общий для всех групп, а в качестве апостериорного к нему прилагается попарная разбивка.

Робастные сравнения

На странице о параметрических и непараметрических методах определены усечённое среднее и винзоризованный разброс. Построенные на них критерии модуль сравнения предлагает для случая, когда тяжёлые хвосты и неравные разбросы встречаются вместе.

t-критерий Юэна для усечённых средних сравнивает усечённые средние двух групп (по умолчанию уровень усечения — по 20% с каждого хвоста). Стандартная ошибка вычисляется по винзоризованным дисперсиям, а неравенство разбросов учитывается поправкой Уэлча. Для переменной чек_до по филиалам усечённые средние равны 7.79 и 9.33, разность −1.54 [−2.59, −0.49], t(109.7) = −2.91, p = 0.004, тогда как у t-критерия Уэлча t(179.5) = −3.20, p = 0.002. Вывод тот же, но степеней свободы меньше, поскольку после усечения для оценки остаётся по 61 участнику в каждой группе. При трёх группах и больше критерий автоматически разворачивается в попарную таблицу.

Однофакторный дисперсионный анализ усечённых средних (t1way) — вариант для k групп, робастный аналог дисперсионного анализа Уэлча, с апостериорными парами lincon. Для переменной чек_до по возрастным группам F(2, 59.0) = 7.94, p < 0.001, размер эффекта — объясняющая мера ξ = 0.38 [0.24, 0.57], тогда как у дисперсионного анализа Уэлча F(2, 104.6) = 12.41.

Критерий Бруннера — Манцеля — робастный представитель рангового семейства. Вывод критерия Манна — Уитни «значения одной группы, как правило, выше» предполагает, что распределения имеют одинаковую форму и различаются только сдвигом. Критерий Бруннера — Манцеля отказывается от этого допущения: он оценивает относительный эффект напрямую и вычисляет для него собственную стандартную ошибку, поэтому остаётся корректным, когда разбросы или формы различаются. Для ожиданий W = 1.06, df = 169.8, p = 0.293, а у критерия Манна — Уитни U = 3889, p = 0.289. Критерии согласуются, потому что распределения ожиданий в двух филиалах похожи по форме, и расходятся, когда это не так. Именно тогда проверка допущений и направляет к критерию Бруннера — Манцеля. На малых выборках его p берётся из точного перестановочного распределения.

Относительный эффект (p̂) — вероятность того, что у случайно выбранного участника одной группы значение больше, чем у случайно выбранного участника другой, причём совпадения учитываются с весом ½. Вероятность того, что участник «Набережной» ждёт дольше участника «Привокзальной», равна 0.455, в обратную сторону — 0.545. Это общеязыковой размер эффекта под другим названием, и значение ½ означает отсутствие эффекта. Критерий Бруннера — Манцеля проверяет гипотезу p̂ = ½, а это не то же самое, что равенство медиан: её можно отвергнуть и для двух групп с одинаковыми медианами.

Гипотеза о разбросе

Критерий равенства разбросов проверяет гипотезу о разбросе, а не о положении: одинаково ли изменчивы группы. F-критерий равенства дисперсий, критерий Бартлетта и критерий Флигнера — Килина описаны на странице о допущениях как предварительные проверки перед критериями для средних. Семейство Независимые выборки — дисперсия в модуле сравнения предлагает те же три критерия как самостоятельные, и разница здесь в вопросе, а не в расчёте. Для переменной чек_до по филиалам отношение дисперсий равно 0.54 [0.36, 0.80], F(100, 98), p = 0.002: дисперсия в «Привокзальной» в 1.86 раза больше, чем в «Набережной». Как проверка допущения этот результат отвергает t-критерий Стьюдента в пользу t-критерия Уэлча, а как самостоятельный вывод означает, что траты участников «Привокзальной» менее предсказуемы, и этот факт о филиалах стоит сообщить сам по себе. Гипотеза о разбросе становится главной всякий раз, когда процесс, метод обучения или лечение должны уменьшать изменчивость, а не сдвигать среднее. F-критерий для этого можно выполнить как односторонний. Нормальность здесь важнее, чем для критериев средних, поскольку дисперсия реагирует на тяжёлый хвост гораздо сильнее, чем среднее.

Сравнение с заданным значением

Эталонное значение (μ₀) — число, с которым одновыборочный критерий сравнивает положение переменной. Оно берётся не из данных, а извне: целевой показатель, норматив, условие договора, опубликованное среднее. Поле Эталонное значение (μ₀) принимает одно значение для всех выбранных переменных или своё для каждой. Сравним среднее время ожидания с пятью минутами. Одновыборочный t-критерий: 5.20 [4.77, 5.62], t(184) = 0.91, p = 0.363. Одновыборочный критерий Вилкоксона: псевдомедиана 4.95 [4.55, 5.40], V = 8294.5, p = 0.864. Критерий знаков: 87 из 183 ожиданий дольше пяти минут (два ожидания ровно по пять минут отброшены), p = 0.554, медиана 4.9 [4.3, 5.3] при фактическом уровне покрытия 96%. Три критерия оценивают положение по-разному, но ответ у них один: ожидание в среднем составляет пять минут. Какой из трёх выбрать, объясняет статья каталога в руководстве.

Критерий согласия сравнивает наблюдаемые частоты категорий одной переменной с частотами, которые предсказывает ожидаемое распределение. Это критерий хи-квадрат по категориям с числом степеней свободы на единицу меньше числа категорий. Поровну ли участники распределены между филиалами? Наблюдается 101 и 99 при ожидаемых 100 и 100: χ²(1) = 0.02, p = 0.888, w Коэна = 0.01. Соответствуют ли возрастные группы соотношению 1 : 2 : 1, которое могла бы предсказать перепись? Наблюдается 47, 102 и 46 при ожидаемых 48.75, 97.5 и 48.75: χ²(2) = 0.43, p = 0.808, w = 0.05. Делятся ли ответы о рекомендации поровну? Наблюдается 135 и 65 при ожидаемых 100 и 100: χ²(1) = 24.5, p < 0.001, w = 0.35. Это единственный одновыборочный критерий для категориальной переменной, и он проверяет распределение целиком, а вопрос об одной частоте решает гипотетическая доля. Если ожидаемая частота какой-либо категории меньше 5, p получают моделированием.

Ожидаемое распределение — гипотеза, которую формулирует критерий согласия. В приложении её вводят как относительные веса, по одному на категорию (1, 2 и 1 для возрастных групп). Редактор нормирует веса в вероятности (0.25, 0.5 и 0.25), а критерий умножает их на объём выборки и получает ожидаемые частоты. Именно веса, а не вероятности: для правильной игральной кости это шесть единиц, для расщепления 9 : 3 : 3 : 1 — эти четыре числа, а опубликованные доли вводятся как есть. Категорию, которой не оказалось в выборке, можно добавить с наблюдаемой частотой ноль, чтобы отсутствие ожидаемого уровня учитывалось в критерии. Нулевой вес не допускается, поскольку категория, которая не должна встречаться вовсе, делает хи-квадрат неопределённым.

Гипотетическая доля (π₀) — значение, с которым сравнивается доля одной категории в одновыборочном критерии доли, то есть в точном биномиальном критерии. Например, превышает ли доля участников, готовых рекомендовать кафе, те 60%, которых могла бы требовать франшиза? 135 из 200 — это 0.675 [0.61, 0.74], p = 0.030, h Коэна = 0.16, то есть превышает, но с небольшим запасом. Интервал получен обращением того же точного критерия, поэтому он исключает π₀ ровно тогда, когда критерий отвергает гипотезу. Значение вводится один раз для всех выбранных переменных в поле Гипотетическая доля (π₀).

Категория успеха — категория, долю которой проверяет критерий доли (для рекомендации это рекомендует). Её выбирают для каждой переменной в поле Категория, считающаяся успехом, а все остальные категории считаются неудачами. У бинарной переменной другой выбор даёт зеркальный ответ: 0.325 против 0.4. У переменной с большим числом категорий этот выбор определяет, какая маргинальная доля проверяется, поэтому карточка повторяет его в столбце Категория рядом с результатом. Вопрос «равна ли частота 40%?» имеет смысл, только если сказано, частота чего.

Парные категориальные исходы

Это план повторных измерений с категориальным ответом: одним и тем же участникам в двух замерах или больше задают вопрос с ответом «да/нет» или с несколькими вариантами и проверяют, изменились ли ответы. В кафе вопрос задавали один раз, поэтому примеры описаны словами: представим, что участников спросили, рекомендуют ли они кафе, до смены меню и ещё раз после неё.

Критерий Мак-Немара — критерий для бинарного ответа в двух замерах, построенный только на несогласованных парах: участниках, ответивших да до и нет после, и тех, кто изменил ответ в обратную сторону. Участники, дважды ответившие одинаково, ничего не сообщают об изменении, сколько бы их ни было. Поэтому критерий смотрит только на то, как делятся сменившие ответ: перекос означает изменение, равное деление — его отсутствие. При менее чем 25 несогласованных парах используется точное биномиальное распределение, при большем числе — приближение с поправкой на непрерывность. Симптом, который у пациента есть или отсутствует на двух визитах, намерение избирателя в двух опросах, заключение скринингового теста до и после учебного курса — во всех этих случаях один испытуемый, один бинарный ответ и два замера. При трёх замерах и больше критерий автоматически разворачивается в попарную таблицу.

Критерий Стюарта — Максвелла — то же для ответа с тремя и более категориями, например рекомендации с вариантами точно, возможно и нет в двух замерах. Он проверяет, одинаково ли распределение ответов в обоих замерах (маргинальную однородность), по ячейкам вне диагонали таблицы «замер × замер». Для бинарного ответа он сводится к критерию Мак-Немара, и приложение в этом случае передаёт расчёт ему.

Критерий Q Кокрена — вариант для бинарного ответа в трёх замерах и больше (например, готовность рекомендовать кафе на трёх визитах), аналог критерия хи-квадрат для повторных измерений. Он построен на информативных испытуемых, то есть тех, чей ответ менялся от замера к замеру: участник, каждый раз отвечавший одно и то же, ничего в критерий не вносит. Апостериорный критерий для него — критерий Мак-Немара для каждой пары замеров.

Медсестра: отделение → межгрупповой фактор, поступление и выписка → фактор повторных измерений, пациент → ID испытуемого, возраст → ковариата; учитель: метод обучения и год обучения → два скрещённых фактора, предыдущая оценка → ковариата, обычный метод → контрольная группа; продуктовая команда: версия страницы → фактор, три визита каждого посетителя → повторные измерения, посетитель → ID испытуемого; клиницист: набор шкал симптомов → зависимые переменные MANOVA, доза на трёх уровнях → упорядоченный фактор, исследовательский центр → стратифицирующая переменная, наличие симптома на двух визитах → парный категориальный исход.

Где это встречается в DataSuite