Сравнительный анализ #

Модуль Сравнительный анализ проверяет, различаются ли группы или условия по одной или нескольким переменным. Выберите план, соответствующий способу сбора данных (отдельные группы, одни и те же испытуемые в нескольких условиях, то и другое сразу или одна переменная против фиксированного числа), назначьте нужные этому плану роли и выберите критерий. Для каждого критерия выводится своя карточка с размерами эффекта, апостериорными сравнениями, проверкой допущений и графиками.

Что значит «сравнивать группы» в статистике? Это вопрос о том, превышает ли различие в выборке то, что могла бы дать одна случайность. Ответом служит p-значение, вычисленное относительно нулевой гипотезы об отсутствии различий. Как перейти от вопроса к критерию, описано в руководстве.

1. Выберите тип анализа: независимые, зависимые, смешанные выборки или одна выборка
2. Назначьте роли переменным: группирующие переменные, переменные замеров, ID испытуемого
3. Выберите статистический критерий
4. Настройте параметры: размеры эффекта, апостериорные сравнения, сводную статистику
5. При желании проверьте допущения, затем нажмите Запустить сравнительный анализ

Типы анализа #

Тип анализа. Четыре переключателя, по одному на каждый план. От выбора зависят списки ролей на панели и перечень доступных критериев: скрыть критерий может только он.

• Независимые выборки — группы состоят из разных, не связанных между собой наблюдений, и каждое входит только в одну группу: лечение и контроль, два исследовательских центра. Роли: одна или несколько группирующих переменных (см. межгрупповой фактор).
• Зависимые выборки (повторные измерения) — одни и те же испытуемые измерены в двух или более условиях, по одной строке на испытуемого в каждом условии: до и после, три временные точки. Роли: одна или несколько переменных замеров и ID испытуемого (см. повторные измерения).
• Смешанная модель (межгрупповые + повторные измерения) — то и другое сразу: отдельные группы, и каждая измерена во всех условиях (например, лечение и контроль, обе до и после). Роли: группирующие переменные, переменные замеров и ID испытуемого (см. смешанный план).
• Одна выборка (относительно эталонного значения) — групп нет: каждая выбранная переменная отдельно сравнивается с фиксированным числом, например баллы теста с проходным баллом 70 или показания прибора с калибровочным значением. Ролей нет. Числовые критерии принимают эталонное значение, категориальные — ожидаемое распределение или гипотетическую долю (см. сравнение с заданным значением).

Почему важен план? В зависимом плане каждый испытуемый служит сам себе контролем, и различия между испытуемыми не входят в ошибку критерия. Критерий для независимых выборок на парных данных теряет это преимущество, а критерий для зависимых выборок на несвязанных наблюдениях сопоставляет строки, у которых нет ничего общего (см. фактор повторных измерений и как связаны наблюдения).

Нужен длинный формат. Во всех планах, кроме одной выборки, в строке должно быть одно наблюдение, о чём напоминает подсказка под переключателями. Если условия записаны в отдельных столбцах (широкий формат), кнопка Преобразовать в длинный формат откроет конвертер таблиц (см. широкий и длинный формат).

Назначение переменных #

Роли переменных #

Переменные, выбранные в диалоге переменных, получают роли в блоке Выбор переменных. Какие списки там появятся, зависит от плана, а элемент списка выбирается щелчком. Каждая переменная может выполнять только одну роль: переменную, назначенную на две роли, расчёт не примет.

• Группирующие переменные — межгрупповые факторы независимого или смешанного плана: категориальные переменные, уровни которых и составляют группы (см. межгрупповой фактор). У каждой должно быть не меньше двух уровней. Если выбрано две или больше, многофакторный критерий подгоняет их полное скрещивание, а для любого другого критерия нужно выбрать стратегию анализа.
• Переменные замеров (повторные измерения) — факторы повторных измерений зависимого или смешанного плана: переменные, указывающие, к какому условию или замеру относится строка (см. фактор повторных измерений). У каждой должно быть не меньше двух уровней, а строки одного испытуемого сопоставляются через ID испытуемого.
• ID испытуемого — переменная, по которой видно, какие строки принадлежат одному испытуемому, чтобы его измерения сопоставлялись между условиями (см. ID испытуемого). Обязателен в зависимом и смешанном планах и не предлагается в независимом и одновыборочном. Выбранный столбец с именем вроде subject ID (Subject ID, subject_id, subj id — такой столбец создаёт конвертер таблиц) назначается автоматически.
• Выберите переменную — заглушка списка: зависимый или смешанный план не запустится, пока не выбран ID испытуемого.
• Эталонное значение (μ₀) — для одновыборочных числовых критериев (t-критерия, критерия знаковых рангов Вилкоксона и критерия знаков): фиксированное число, с которым сравнивается каждая выбранная переменная (см. эталонное значение). Если выбран Критерий согласия хи-квадрат, поле уступает место редактору ожидаемого распределения, если Одновыборочный критерий доли — панели гипотетической доли. Три панели взаимоисключающие, и зависимыми переменными этих двух критериев служат выбранные категориальные переменные.
• Задать для каждой переменной — своё μ₀ для каждой выбранной переменной. Появляется список числовых переменных, и поле каждой заполнено общим значением. Общее поле после этого задаёт лишь начальное значение для новых строк, как напоминает подсказка под ним.
• Ковариаты — числовые переменные, влияние которых фиксируется при сравнении групп (см. ковариата и ANCOVA). Список предлагает только числовые переменные и появляется для критериев, принимающих ковариаты: ANCOVA (ковариационный анализ) и MANCOVA (многомерный ANCOVA) требуют хотя бы одну, а Многофакторный дисперсионный анализ, Смешанный дисперсионный анализ, Смешанный MANOVA, Дисперсионный анализ с повторными измерениями, Многофакторный дисперсионный анализ с повторными измерениями и MANOVA с повторными измерениями их допускают. Если ковариаты назначены дисперсионному анализу с повторными измерениями, он подгоняется средствами MANOVA с повторными измерениями, но выводится как выбранный одномерный критерий: одно F на эффект, размер эффекта с интервалом, поправки Гринхауса — Гейссера и Хюйна — Фельдта и эффекты ковариат, а апостериорные контрасты условий строятся по оценённым краевым средним с поправкой на ковариаты.
• Стратифицирующая переменная — одна категориальная переменная, по уровням которой Критерий Кокрена — Мантеля — Хензеля объединяет проверяемую связь (см. страта). Появляется только для этого критерия, и у переменной должно быть не меньше двух уровней. Как ковариаты и ID испытуемого, выбранная переменная исключается из числа зависимых.
• Нет — по умолчанию: стратифицирующей переменной нет, и критерий Кокрена — Мантеля — Хензеля не запустится, пока она не выбрана.

Что такое ковариата? Переменная, которая, как вы подозреваете, влияет на результат, но сама не изучается (например, средний балл до начала курса при сравнении методов обучения). Модель исключает её влияние до сравнения групп (см. поправка на ковариату).

Что такое стратифицирующая переменная? Группировка, внутри которой проверяется связь (исследовательский центр, возрастная группа, пол): так различия между стратами не размоют реальную связь и не создадут мнимую. См. страта и парадокс Симпсона.

Каждая выбранная переменная без роли становится зависимой переменной, то есть исходом, который сравнивается между группами или условиями (см. зависимая переменная). Об этом напоминает и примечание под заголовком карточки. Если критерий принимает только числовые (или только категориальные) зависимые переменные, переменные другого типа отбрасываются до запуска, а предупреждение их называет, так что частичное исключение не пройдёт незамеченным. Если зависимых переменных не осталось вовсе, расчёт останавливается.

Предпросмотр групп #

Под ролями сразу выводится предпросмотр плана, который будет подогнан при запуске.

В независимом и смешанном планах он перечисляет группы и их объёмы (группа меньше 3 выделена предупреждающим цветом, меньше 10 — приглушённым, показываются первые 30), а начиная с трёх групп — и число попарных сравнений, если критерий двухвыборочный или включены апостериорные сравнения. Далее идут предупреждения, не больше десяти: группа меньше чем из 3 наблюдений, пустая ячейка, числовая группирующая переменная с более чем 50 различными значениями (вероятно, она непрерывная, а не категориальная), скрещивание больше чем из 1000 ячеек, больше 100 попарных сравнений и скрещивание сверх предела в 10 000 ячеек, которое расчёт отклонит. При двух или более группирующих переменных группами служат ячейки полного скрещивания (именно их сравнивает многофакторный критерий или стратегия Объединить переменные в один фактор), а пустые ячейки отбрасываются и перечисляются. При стратегии Анализировать каждую переменную отдельно каждая группирующая переменная показана отдельно. В смешанном плане n ячейки — это число различных испытуемых, а не строк.

В зависимом плане предпросмотр появляется, когда выбраны и переменная замеров, и ID испытуемого. По каждой переменной замеров он показывает число условий × число полных испытуемых (тех, у кого есть строка в каждом условии), затем строку с числом испытуемых, исключённых из-за пропущенного условия, и строку с числом тех, у кого в одном условии больше одной строки: такие строки расчёт усредняет в одно значение на ячейку (см. полные испытуемые). При стратегии Объединить переменные в один фактор вместо этого показываются скрещённые ячейки условий.

Если две или больше переменных замеров скрещены не полностью, то есть для какого-то сочетания их уровней нет строк, предпросмотр называет недостающие сочетания. Критерий, скрещивающий факторы повторных измерений (многофакторный дисперсионный анализ с повторными измерениями, его ART-вариант и смешанное семейство), в этом случае анализирует наблюдаемые ячейки как один фактор повторных измерений, и разделить главные эффекты повторных измерений и их взаимодействие уже нельзя. Карточка сообщает об этом ещё раз.

Несколько группирующих переменных или переменных условия #

Стратегия анализа. Два переключателя над списком критериев. Они появляются, когда выбрано две или больше группирующих переменных (независимый план) или переменных замеров (зависимый план), а выбранный критерий работает с одним фактором. Многофакторный критерий подгоняет все факторы сразу и этот выбор скрывает, а смешанный план всегда подгоняет группирующие переменные и переменные замеров вместе. Предпросмотр под переключателями подсчитывает, сколько анализов или ячеек получится.

• Анализировать каждую переменную отдельно — выбранный критерий запускается для каждой группирующей переменной (независимый план) или переменной замеров (зависимый план) отдельно, каждый запуск на своей карточке, а p-значения всех запусков корректируются как одно семейство по глобальной настройке поправки. Для критериев тренда (Джонкхира — Терпстры, Пейджа и Кокрена — Армитиджа) доступна только эта стратегия.
• Объединить переменные в один фактор — выбранные факторы скрещиваются в один, уровнями которого становятся ячейки (Пол × Лечение, Время × Доза), и выбранный критерий выполняется на нём как однофакторный общий критерий, без главных эффектов и взаимодействия (см. полное скрещивание). Пустые ячейки отбрасываются, а скрещивание больше чем из 10 000 ячеек или без единой заполненной ячейки останавливает расчёт с сообщением.

Отдельно, объединённо или многофакторно? Отдельно — когда факторы задают независимые вопросы. Объединённо — когда сравнить нужно сами ячейки. Многофакторным критерием (многофакторный дисперсионный анализ, в том числе с повторными измерениями, ART-ANOVA) — когда вопрос касается главного эффекта каждого фактора и их взаимодействия.

Выбор критерия #

Список Статистический критерий содержит все критерии выбранного типа анализа, и скрыть критерий может только этот выбор. Любое другое предварительное условие (порядковый фактор для критерия тренда, две или больше группирующих переменных для многофакторного дисперсионного анализа, две или больше зависимых переменных для семейства MANOVA, ковариата для ANCOVA) оставляет критерий доступным. Если условие не выполнено, расчёт останавливается при нажатии Запустить сравнительный анализ с сообщением о том, что нужно изменить, поэтому любой критерий можно найти в списке. Ниже критерии каждого семейства сведены в таблицу, а в описании критерия указано, что ему нужно, какие параметры он предлагает и что выводит на карточке. Как перейти от вопроса к критерию, описано в руководстве.

Параметрический или непараметрический? Параметрический критерий предполагает определённую форму данных и за счёт этого выигрывает в мощности, а ранговый предполагает меньше, но для того же эффекта ему нужна выборка побольше (см. как выбирать). Решение можно доверить проверке допущений: её рекомендации понижают критерий с нарушенным допущением и называют, какой запустить вместо него.

Вопрос точнее или шире? Критерии тренда проверяют, растут или убывают значения по упорядоченным уровням, и вся их мощность сосредоточена на этом вопросе (см. критерий тренда). Критерии для распределения целиком и информационные критерии проверяют, различаются ли распределения хоть чем-нибудь, но не показывают, чем именно (см. критерии для распределения целиком).

Двухвыборочные критерии при более чем двух группах. Если двухвыборочный критерий (t-критерии, критерии Манна — Уитни, Бруннера — Манцеля, Юэна и Колмогорова — Смирнова, F-критерий, парные критерии для двух условий, критерии Мак-Немара и Стюарта — Максвелла) выбран для фактора с тремя и более уровнями, он выполняется для каждой пары напрямую, без предварительного общего критерия, и p-значения пар входят в общую для запуска поправку p-значений. t-критерий для независимых выборок сравнивает пару относительно внутригрупповой ошибки, объединённой по всем группам, а критерий Уэлча оценивает дисперсию для каждой пары отдельно. Остальные критерии проверяют пару только на её данных. Результаты по парам выводятся на карточке попарных сравнений.

Когда критерий не запускается #

Предварительные условия проверяются при нажатии Запустить сравнительный анализ, ещё до подгонки, и расчёт останавливается с сообщением о том, что нужно изменить. Это не сбой на данных: модуль отказывается выдать число, за которое не может поручиться. Чаще всего встречаются такие отказы.

• Критерий тренда на номинальном факторе или на факторе меньше чем с тремя уровнями. Критерии Джонкхира — Терпстры, Пейджа и Кокрена — Армитиджа берут порядок из возрастающих числовых значений фактора, поэтому у фактора должен быть порядковый тип измерения (сообщение называет переменную, которую нужно перекодировать, а сделать это можно в преобразовании данных) и не меньше трёх уровней. При двух и более факторах эти критерии выполняются только со стратегией Анализировать каждую переменную отдельно и никогда — на объединённом факторе.
• Не заполнена нужная критерию роль. Две или больше зависимых переменных для семейства MANOVA, две или больше группирующих переменных для многофакторного дисперсионного анализа, две или больше переменных замеров для многофакторных критериев с повторными измерениями, ковариата для ANCOVA и MANCOVA, стратифицирующая переменная для критерия Кокрена — Мантеля — Хензеля, бинарная зависимая переменная для критериев Мак-Немара, Q Кокрена и Кокрена — Армитиджа. Каждое сообщение называет критерий и роль.
• Ковариата или группирующая переменная смешанного плана меняется внутри испытуемого. В зависимом и смешанном планах ковариата принимает одно значение на испытуемого, а в смешанном плане это относится и к каждой группирующей переменной. Сообщение называет переменную.
• Недостаточно испытуемых для многомерной подгонки повторных измерений. MANOVA с повторными измерениями, смешанный MANOVA и дисперсионный анализ с повторными измерениями с ковариатами останавливаются, когда остаточных степеней свободы становится меньше размерности контрастов между замерами. Сообщение приводит оба числа и три выхода: меньше условий, меньше зависимых переменных или ковариат, больше испытуемых.
• Группа слишком мала для собственной ковариационной матрицы. Гетероскедастичному MANOVA Йохансена нужно, чтобы в каждой группе полных наблюдений было больше, чем зависимых переменных, а зависимые переменные оставались линейно независимыми внутри каждой группы. Сообщение называет группы, где это не выполнено, и предлагает обычный MANOVA с одной объединённой матрицей.
• Перестановочный расчёт, который не успеет завершиться. Энергетический критерий отклоняет выборку, если её обработка превышает допустимый объём вычислений (примерно 1300 строк при двух зависимых переменных), и предлагает MANOVA, критерий Йохансена или настройку повторов перестановок.
• Пустая межгрупповая ячейка при типе III. Многофакторный или смешанный план с двумя или больше группирующими переменными и пустой ячейкой в их скрещивании при суммах квадратов типа III отклоняется. При типе II он выполняется, но строка взаимодействия остаётся пустой и выводится предупреждение.

Скрещивание факторов повторных измерений с недостающим сочетанием не отклоняется: расчёт сводит наблюдаемые ячейки в один фактор повторных измерений и сообщает об этом (см. предпросмотр групп).

Независимые выборки — числовые переменные #

• t-критерий для независимых выборок — сравнивает средние двух групп в предположении общего для них разброса (t-критерий Стьюдента, см. руководство). Предлагает односторонние направления и направления эквивалентности, а также блок ROC. Размеры эффекта — d Коэна, g Хеджеса, Δ Гласса, точечно-бисериальный r, эта-квадрат (η²) и омега-квадрат (ω²). При трёх и более группах t каждой пары вычисляется относительно внутригрупповой ошибки, объединённой по всем группам.
• t-критерий Уэлча (неравные дисперсии) — сравнивает средние двух групп без предположения об одинаковом разбросе. Это более надёжный выбор по умолчанию и тот критерий, который рекомендует проверка допущений, когда не пройден критерий Левена (см. поправка Уэлча). Те же направления и блок ROC. Размеры эффекта — d и g Уэлча, Δ Гласса и точечно-бисериальный r, а d с объединённым стандартным отклонением не предлагается. При трёх и более группах у каждой пары свой член ошибки с раздельными дисперсиями.
• Критерий Манна — Уитни — сравнивает две группы по рангам и проверяет, склонны ли значения одной группы превышать значения другой (см. руководство). Толковать результат как сдвиг положения можно лишь при одинаковой форме распределений в обеих группах, а при различающемся разбросе проверка допущений направляет к критерию Бруннера — Манцеля. Односторонние направления и направления эквивалентности, поправка на непрерывность и блок ROC (AUC здесь — это перемасштабированное U). Размеры эффекта — рангово-бисериальный r, δ Клиффа и общеязыковой размер эффекта, а на карточке выводится ещё сдвиг Ходжеса — Лемана с интервалом.
• Критерий Бруннера — Манцеля — сравнивает две группы по рангам без предположения об одинаковой форме: проверяет, равен ли ½ относительный эффект p̂, и остаётся корректным при различающемся разбросе или форме (см. критерий Бруннера — Манцеля). На малых выборках p берётся из точного перестановочного распределения, а столбцы статистики и df остаются пустыми, о чём сообщает примечание. Односторонние направления и блок ROC. Размеры эффекта — общеязыковой размер эффекта (само p̂) и δ Клиффа.
• Однофакторный дисперсионный анализ — сравнивает средние трёх и более групп сразу по отношению F в предположении одинакового разброса (см. руководство). Апостериорные сравнения пар — по точному многомерному t, HSD Тьюки, попарными t-критериями с объединённой ошибкой или критерием Даннетта против контрольной группы. Размеры эффекта — η², ω² и эпсилон-квадрат (ε²).
• Однофакторный дисперсионный анализ Уэлча — общий критерий для k групп без предположения об одинаковом разбросе. Проверка допущений оставляет этот параметрический критерий в рекомендованных, когда критерий Левена не пройден на трёх и более группах (см. руководство). Апостериорные сравнения — критерий Геймса — Хауэлла или T3 Даннетта. Размер эффекта — объясняющая мера ξ, а η², ω² и ε² не предлагаются.
• Однофакторный дисперсионный анализ Брауна — Форсайта (F*) — второй общий критерий для неравных дисперсий: вопрос тот же, что у критерия Уэлча, но дисперсии групп взвешиваются через $1-n_i/N$, а не по точности, что иногда лучше работает при асимметричных группах. Обычно оба критерия согласуются, и привести оба — значит проверить чувствительность вывода. Апостериорные сравнения — критерий Геймса — Хауэлла или T3 Даннетта. Размер эффекта — ξ. Это не тот критерий Брауна — Форсайта, что в проверке допущений: там это критерий Левена с центрированием по медиане, проверяющий равенство разброса, а здесь сравниваются средние.
• t-критерий Юэна для усечённых средних — сравнивает усечённые средние двух групп (по умолчанию с каждого хвоста отсекается 20%, см. уровень усечения) и устойчив одновременно к тяжёлым хвостам и неодинаковому разбросу (см. критерий Юэна). Только двусторонний, с блоком ROC. Размеры эффекта — ξ и робастная стандартизованная разность δ_t. При трёх и более группах каждая пара проверяется на своих данных.
• Однофакторный дисперсионный анализ усечённых средних (t1way) — общий критерий усечённых средних для k групп, робастный аналог анализа Уэлча при том же уровне усечения (см. t1way). Апостериорные сравнения — попарные сравнения усечённых средних (lincon). Размер эффекта — ξ.
• Критерий Краскела — Уоллиса — ранговый аналог однофакторного дисперсионного анализа: сравнивает три и более групп по рангам (см. руководство). Апостериорные сравнения — критерий Данна, все пары или против контрольной группы. Размеры эффекта — η²_H и ε².
• Критерий Колмогорова — Смирнова — сравнивает распределения двух групп целиком: D равно наибольшему разрыву между их эмпирическими функциями распределения (ЭФР), поэтому критерий одинаково реагирует на сдвиг, разброс и форму (см. D Колмогорова — Смирнова). Только двусторонний, и D сам служит размером эффекта. Карточка добавляет таблицу где распределения расходятся (D⁺, D⁻ и значения, при которых они достигаются) и отмечает разрыв на графике ЭФР. p точное, пока n₁·n₂ меньше 10 000, а дальше асимптотическое, о чём сообщает примечание. При трёх и более группах каждая пара проверяется на своих данных.
• k-выборочный критерий Андерсона — Дарлинга — тот же вопрос сразу для двух и более групп: учитывается каждый разрыв, а хвосты получают больший вес (см. критерий Андерсона — Дарлинга). Выводит стандартизованную статистику T.AD, которая сама служит размером эффекта. При совпадающих значениях или группе меньше чем из 5 наблюдений p получается симуляцией с числом повторов перестановок, и примечание указывает это число. Если объединённая выборка слишком мала для ранжирования, выводится ошибка. Апостериорные сравнения — двухвыборочный критерий Андерсона — Дарлинга для каждой пары.
• Критерий Джонкхира — Терпстры — проверяет монотонный тренд числового исхода по трём и более упорядоченным группам. Если порядок действительно есть, этот критерий чувствительнее критерия Краскела — Уоллиса (см. критерий тренда). Нужен порядковый группирующий фактор, а направление задаётся в поле Направление тренда. Размер эффекта — тау-b Кендалла (τ-b). Если среди значений есть совпадающие или n ≤ 100, p вычисляется перестановкой, и число повторов указывается в примечании.
• Критерий взаимной информации — насколько знание группы уменьшает неопределённость исхода, в битах. Значимость проверяется перестановкой (см. информационные критерии). Это общий критерий для двух и более групп, реагирующий на любое изменение распределения. p зависит от настройки повторов перестановок, и их число указывается в примечании. Размер эффекта — U Тейла, а подпись под статистикой называет её верхний предел. Апостериорные сравнения — та же оценка для каждой пары. Только для независимых выборок.
• Критерий дивергенции Йенсена — Шеннона — расстояние между распределениями групп и их смесью, в битах, со значимостью по перестановкам (см. дивергенция Йенсена — Шеннона). Общий критерий, ограниченный сверху величиной log₂ k для k групп, о чём сообщает подпись. Размер эффекта — нормированная дивергенция. Апостериорные сравнения — попарные критерии дивергенции Йенсена — Шеннона. Только для независимых выборок.
• Многофакторный дисперсионный анализ — две или больше группирующих переменных в одной модели: главный эффект каждого фактора и их взаимодействие (см. руководство). Принимает ковариаты (тогда карточка называет его многофакторным дисперсионным анализом с ковариатой), суммы квадратов и апостериорные контрасты по каждому эффекту. Размеры эффекта — частичная η², η², ω² и ε². Как читать его карточку, описано в разделе факторный дисперсионный анализ.
• ANCOVA (ковариационный анализ) — сравнивает группы при общем значении одной или нескольких ковариат (см. ANCOVA). Нужна хотя бы одна ковариата. Принимает суммы квадратов и апостериорные контрасты с поправкой на ковариаты. Размеры эффекта — частичная η², η², ω² и ε². Карточка (строки ковариат, скорректированные средние, наклоны) описана в разделе ANCOVA.
• MANOVA — сравнивает несколько зависимых переменных вместе, как профиль (см. MANOVA). Нужны две или больше зависимых переменных. Карточка выводит четыре многомерные статистики и одномерные последующие критерии, а при флажке Включить описательный дискриминантный анализ — ещё и дискриминантные функции. Апостериорные контрасты по каждой переменной — по точному многомерному t, HSD Тьюки или попарными t-критериями с объединённой ошибкой. Размеры эффекта — η², ω² и ε². Карточка описана в разделе MANOVA / MANCOVA.
• MANCOVA (многомерный ANCOVA) — MANOVA при фиксированных значениях одной или нескольких ковариат (см. MANCOVA). Нужны две или больше зависимых переменных и хотя бы одна ковариата. Последующие критерии, дискриминантный анализ и апостериорные сравнения те же. Размеры эффекта — частичная η², η², ω² и ε².
• Гетероскедастичный MANOVA Йохансена — многомерный аналог критерия Уэлча: каждая группа взвешивается собственной ковариационной матрицей. К нему направляет проверка допущений, когда не пройден M-критерий Бокса (см. MANOVA Йохансена). Нужны две или больше зависимых переменных, а полных наблюдений в каждой группе должно быть больше, чем зависимых переменных. У общего критерия нет размера эффекта, последующие критерии — дисперсионные анализы Уэлча с ξ, а апостериорные сравнения по ним — критерий Геймса — Хауэлла или T3 Даннетта.
• Энергетический критерий равенства распределений — проверяет перестановкой, без предположений о виде распределения, есть ли у групп вообще одно совместное распределение. К нему направляет проверка допущений при нарушении многомерной нормальности, но заменой MANOVA он не является: гипотезу отклоняет уже одно различие в разбросе (см. энергетический критерий). Нужны две или больше зависимых переменных, которые предварительно стандартизуются. Прежде чем расчёт будет отклонён, число повторов снижается в пределах фиксированного объёма работы, но не ниже 199, и карточка сообщает использованное число. Апостериорных сравнений нет. Последующие критерии — энергетические критерии по каждой переменной. Размер эффекта — R²ₑ, доля расстояний, приходящаяся на различия между группами.

Независимые выборки — дисперсия #

Эти критерии проверяют другое: различаются ли группы не по положению, а по разбросу (см. критерий разброса).

• F-критерий равенства дисперсий — сравнивает дисперсии двух групп через их отношение s₁²/s₂² с доверительным интервалом (см. F-критерий). Предполагает нормальность, и проверка допущений понижает его, если нормальность нарушена. В поле Направление критерия его можно сделать односторонним, и тогда Группа 1 > Группа 2 относится к дисперсиям, а не к средним. Размер эффекта — отношение дисперсий. При трёх и более группах каждая пара проверяется на своих данных.
• Критерий Бартлетта — общий критерий равенства дисперсий для k групп, предполагающий нормальность в каждой группе и чувствительный к её нарушению при любом объёме выборки (см. критерий Бартлетта). Только двусторонний, без размера эффекта. Апостериорные сравнения — двухгрупповой критерий Бартлетта для каждой пары.
• Критерий Флигнера — Килина — общий ранговый критерий для k групп, устойчивый к отклонениям от нормальности. Проверка допущений оставляет его в рекомендованных, когда нормальность нарушена (см. критерий Флигнера — Килина). Только двусторонний, без размера эффекта. Апостериорные сравнения — двухгрупповой критерий Флигнера — Килина для каждой пары.

Это не критерий Левена. Критерий Левена (с центрированием по медиане) выполняется в проверке допущений как предварительный фильтр для критериев средних, а критерии этого раздела делают неравный разброс проверяемой гипотезой (см. гипотеза о разбросе).

Зависимые выборки — числовые переменные #

• t-критерий для парных выборок — сравнивает два условия у одних и тех же испытуемых по среднему парных разностей (см. руководство). Односторонние направления и направления эквивалентности. Размеры эффекта — d_z Коэна и g_z Хеджеса по стандартному отклонению разностей, d_av и g_av по стандартным отклонениям условий. При трёх и более условиях каждая пара проверяется на своих данных.
• Критерий знаковых рангов Вилкоксона — сравнивает два условия по рангам модулей разностей и подходит, когда разности асимметричны или содержат выбросы. Предполагает, что разности симметричны относительно своего центра, и если это не так, проверка симметрии направляет к критерию знаков (см. руководство). Односторонние направления и направления эквивалентности, поправка на непрерывность. Размеры эффекта — рангово-бисериальный r для связанных пар и r Вилкоксона. При трёх и более условиях каждая пара проверяется на своих данных.
• Парный критерий знаков — подсчитывает только, сколько пар сдвинулось вверх и сколько вниз, поэтому никаких предположений о форме распределения не остаётся (см. руководство). Пары с нулевой разностью отбрасываются как совпадения, и их число указывается под таблицей. Карточка выводит число положительных разностей из эффективного n, медиану разностей с непараметрическим интервалом, достигнутое покрытие которого указано в примечании (при очень малом n интервал занимает всю числовую прямую), и размер эффекта r₊ = 2p̂ − 1: 0 при равном разделении и ±1, когда все пары сдвинулись в одну сторону. Предлагает односторонние направления, но не направления эквивалентности.
• Дисперсионный анализ с повторными измерениями — три и более условий у одних и тех же испытуемых, однофакторный дисперсионный анализ для повторных измерений. Его допущение — сферичность, а на карточке выводятся поправки Гринхауса — Гейссера и Хюйна — Фельдта (см. руководство). Принимает ковариаты, которые меняют способ подгонки, как описано в разделе роли переменных, и подход к эффектам повторных измерений. Апостериорные сравнения пар условий — по точному многомерному t, парными t-критериями или критерием Даннетта. Размеры эффекта — частичная η², обобщённая η² и частичная ω².
• Критерий Фридмана — ранговый аналог дисперсионного анализа с повторными измерениями: три и более условий, ранги внутри каждого испытуемого (см. руководство). Апостериорные сравнения — попарные критерии знаковых рангов Вилкоксона, критерий Коновера или критерий Неменьи. Размер эффекта — W Кендалла.
• Многофакторный дисперсионный анализ с повторными измерениями — две или больше переменных замеров, скрещённых внутри испытуемых: F для каждого главного эффекта повторных измерений и взаимодействия, каждое со своей поправкой на сферичность (см. полное скрещивание). Нужны две или больше переменных замеров. Принимает ковариаты (тогда карточка называет его многофакторным ANCOVA с повторными измерениями), суммы квадратов и подход к эффектам повторных измерений. Апостериорные контрасты — по каждому эффекту. Размеры эффекта — частичная η², η², ω² и ε². Скрещивание с недостающим сочетанием сводится в один фактор, о чём предупреждает предпросмотр групп.
• Многофакторный ART-ANOVA с повторными измерениями — то же скрещивание на выровненных рангах, когда остатки далеки от нормальных: ранговое F для каждого главного эффекта повторных измерений и взаимодействия. Нужны две или больше переменных замеров, ковариаты не принимаются, а в поле метода апостериорных сравнений выбирается только поправка. Размер эффекта — частичная η². Карточка описана в разделе ART-ANOVA.
• Критерий тренда Пейджа — монотонный тренд по трём и более упорядоченным условиям, аналог критерия Джонкхира — Терпстры для повторных измерений (см. критерий тренда). Нужны порядковый фактор условий и направление в поле Направление тренда, двусторонней формы у критерия нет. Размер эффекта — средняя внутриблочная ρ относительно предполагаемого порядка.
• MANOVA с повторными измерениями — несколько зависимых переменных в разных условиях, которые моделируются совместно, с одномерным последующим критерием для каждой переменной (см. MANOVA). Нужны две или больше зависимых переменных и достаточно испытуемых для размерности контрастов между замерами, как сказано в разделе об отказах. Принимает ковариаты. Апостериорные контрасты условий по каждой переменной — по точному многомерному t, парными t-критериями или критерием Даннетта. Размеры эффекта — частичная η², η², ω² и ε².

Одна выборка — числовые переменные #

Каждый критерий сравнивает положение одной переменной с эталонным значением μ₀, то есть с фиксированным числом, взятым не из данных, и выводит доверительный интервал для самого положения: среднего, псевдомедианы или медианы. Значение μ₀, с которым сравнивалась каждая переменная, выводится отдельным столбцом, что важно, когда флажок Задать для каждой переменной даёт каждой переменной своё значение. Проверка допущений оценивает нормальность каждой переменной и по результату направляет к t-критерию или к ранговым критериям.

• Одновыборочный t-критерий — сравнивает среднее с μ₀ и из трёх критериев самый мощный, когда данные примерно нормальны (см. руководство). Односторонние направления и направления эквивалентности, стандартизованная граница выражается в стандартных отклонениях самой переменной. Размеры эффекта — d Коэна и g Хеджеса, $(\text{mean}-{\mu }_0)/\text{SD}$.
• Одновыборочный критерий знаковых рангов Вилкоксона — сравнивает псевдомедиану с μ₀ по рангам модулей отклонений от него. Односторонние направления и направления эквивалентности, стандартизованная граница выражается в медианных абсолютных отклонениях (MAD) переменной, поправка на непрерывность. Размеры эффекта — рангово-бисериальный r для связанных пар и r Вилкоксона.
• Критерий знаков — сравнивает медиану с μ₀, учитывая только, сколько наблюдений лежит выше этого значения, поэтому годится для порядковых данных и данных с сильными выбросами, но ценой мощности. Совпадения с μ₀ отбрасываются, и их число указывается под таблицей. Карточка выводит число наблюдений выше μ₀ из эффективного n, непараметрический интервал для медианы с указанием достигнутого покрытия (при очень малом n это вся числовая прямая) и размер эффекта r₊ = 2p̂ − 1. Предлагает односторонние направления, но не направления эквивалентности.

Одна выборка — категориальные переменные #

Это единственные одновыборочные критерии для категориальной переменной. Выбор любого из них заменяет поле Эталонное значение (μ₀) собственной панелью и ограничивает зависимые переменные категориальными (порядковый пункт анкеты тоже подходит). Связь между двумя категориальными переменными проверяет критерий независимости хи-квадрат, а не эти критерии.

• Критерий согласия хи-квадрат — сравнивает, как часто встретилась каждая категория, с тем, как часто она должна встречаться по ожидаемому распределению. Категорий может быть две, три и больше. Примеры: правильная ли игральная кость, соблюдается ли расщепление 9:3:3:1, соответствует ли распределение соотношению 40/35/25 (см. критерий согласия). В редакторе задаётся по одному относительному весу на категорию, и веса нормируются в вероятности. Критерий двусторонний, размер эффекта — w Коэна. Если ожидаемые частоты слишком малы для приближения, p получается симуляцией, о чём сообщает примечание.
• Одновыборочный критерий доли — сравнивает долю одной категории с π₀ точным биномиальным критерием: действительно ли доля откликов составляет 40%, превышает ли доля брака 2%, допустимые по договору (см. гипотетическая доля). Введите π₀ и для каждой переменной выберите категорию, считающуюся успехом. Все остальные категории считаются неудачей, так что для переменной больше чем с двумя категориями проверяется краевая доля выбранного уровня, и он выводится в столбце Категория. Интервал рядом с p̂ — интервал Клоппера — Пирсона: он построен на тех же биномиальных вероятностях, что и критерий, поэтому их выводы почти всегда согласуются. Односторонние направления. Размер эффекта — h Коэна по шкале Коэна 0.2 / 0.5 / 0.8.

Критерий согласия или критерий доли? Критерий согласия выбирают, когда гипотеза касается распределения целиком. Критерий доли — когда речь идёт об одной доле и нужны точное p и интервал для p̂. На бинарной переменной применимы оба, и критерий доли точнее.

Независимые выборки — категориальные переменные #

• Критерий независимости хи-квадрат — проверяет, различается ли распределение зависимой переменной между группами, сравнивая таблицу частот с частотами, ожидаемыми при независимости (см. руководство). Для таблицы 2 × 2 доступна поправка на непрерывность, а для разреженной таблицы выводится примечание о правиле Кокрена для ожидаемых частот. Размеры эффекта — V Крамера и, для таблицы 2 × 2, отношение шансов. Апостериорные сравнения — критерий хи-квадрат для каждой пары групп, а флажок Включить анализ соответствий добавляет разложение таблицы.
• Точный критерий Фишера — тот же вопрос, но p вычисляется по точному распределению таблицы, когда ожидаемые частоты слишком малы для хи-квадрат (см. руководство). Статистики критерия нет. Критерий точен для таблицы 2 × 2 любого объёма и для больших таблиц до 30 ячеек (до 1000 строк, если у обеих переменных больше двух категорий). Дальше p получается симуляцией по 10 000 повторов, о чём сообщает примечание. Односторонние направления — только для таблицы 2 × 2. Размеры эффекта — V Крамера и, для таблицы 2 × 2, отношение шансов с точным интервалом. Апостериорные сравнения по парам и анализ соответствий — как у критерия хи-квадрат.
• Критерий тренда Кокрена — Армитиджа — линейный тренд доли бинарного исхода вдоль трёх и более упорядоченных групп. Если порядок действительно есть, он чувствительнее хи-квадрат для таблицы 2 × k (см. критерий тренда). Нужны порядковый группирующий фактор и бинарная зависимая переменная. Баллы тренда — собственные числовые значения фактора, так что неравный шаг учитывается, а моделируемым событием считается большее из двух значений исхода. Примечание под таблицей указывает то и другое. Направление задаётся в поле Направление тренда, статистика — Z со знаком, размер эффекта — w Коэна.
• Критерий Кокрена — Мантеля — Хензеля — связь зависимой и группирующей переменных внутри уровней стратифицирующей переменной, объединённая по этим уровням (см. критерий Кокрена — Мантеля — Хензеля). Нужны ровно одна группирующая переменная и стратифицирующая переменная с двумя или более уровнями. Для таблицы любой формы выводится χ² с (I − 1)(J − 1) степенями свободы, а для таблицы 2 × 2 × K — ещё общее отношение шансов как размер эффекта, проверка Бреслоу — Дея и поправка на непрерывность. Страта из одного наблюдения исключается, а слишком разреженная для приближения таблица 2 × 2 × K переводится на точный условный критерий, о чём сообщает примечание.

Зависимые выборки — категориальные переменные #

• Критерий Мак-Немара — бинарный исход в двух условиях, проверяемый только по дискордантным парам (см. критерий Мак-Немара). Нужна бинарная зависимая переменная. Если дискордантных пар меньше 25, используется точный биномиальный критерий, иначе — χ² с поправкой на непрерывность. Размеры эффекта — φ, отношение шансов и g Коэна. При трёх и более условиях каждая пара проверяется на своих данных.
• Критерий Стюарта — Максвелла — маргинальная однородность исхода с тремя и более категориями в двух условиях по ячейкам вне диагонали (см. критерий Стюарта — Максвелла). На бинарном исходе выполняется критерий Мак-Немара, и карточка об этом сообщает. Размер эффекта — g Коэна. При трёх и более условиях каждая пара проверяется на своих данных.
• Критерий Q Кокрена — бинарный исход в трёх и более условиях по информативным испытуемым (см. Q Кокрена). Нужна бинарная зависимая переменная. Апостериорные сравнения — критерий Мак-Немара для каждой пары условий. Размеры эффекта — w Коэна (Q) и средний φ² Кокрена.

Смешанная модель #

Все три критерия принимают любое число группирующих переменных и переменных замеров и выводят все главные эффекты и все взаимодействия полного скрещивания (см. смешанный план). Каждая группирующая переменная должна принимать одно значение на испытуемого.

• Смешанный дисперсионный анализ — межгрупповой фактор и фактор повторных измерений (или по нескольку тех и других) в одной модели, каждая зависимая переменная отдельно (см. руководство). Принимает ковариаты, суммы квадратов и подход к эффектам повторных измерений. Апостериорные контрасты по каждому эффекту — по точному многомерному t, HSD Тьюки, попарными t-критериями с объединённой ошибкой или критерием Даннетта. Размеры эффекта — частичная η², η², ω² и ε². Карточка описана в разделе смешанный дисперсионный анализ.
• ART-ANOVA (преобразование выровненных рангов) — смешанный план на выровненных рангах, непараметрическая замена, когда остатки далеки от нормальных. В отличие от простого рангового преобразования, главные эффекты и взаимодействия здесь остаются разделимыми. Критерий строго факторный: ковариат нет (выбранная ковариата игнорируется, и карточка об этом сообщает), простых эффектов нет, в поле метода апостериорных сравнений выбирается только поправка, а единственный размер эффекта — частичная η². Карточка описана в разделе ART-ANOVA.
• Смешанный MANOVA — смешанный план с несколькими зависимыми переменными, которые моделируются совместно, с одномерным последующим критерием для каждой переменной и скорректированными средними для каждого эффекта (см. MANOVA). Нужны две или больше зависимых переменных и достаточно испытуемых для наибольшей размерности контрастов между замерами, как сказано в разделе об отказах. Принимает ковариаты и суммы квадратов. Апостериорные контрасты по каждой переменной и каждому эффекту — по точному многомерному t, попарными t-критериями с объединённой ошибкой или критерием Даннетта. Размеры эффекта — частичная η², η², ω² и ε². Карточка описана в разделе MANOVA / MANCOVA.

Параметры #

Направление критерия #

• Направление критерия — альтернативная гипотеза, по которой считается p-значение, для критериев, сравнивающих два объекта: t-критериев, критериев Манна — Уитни и Бруннера — Манцеля, парного и одновыборочного критериев знаковых рангов Вилкоксона, критериев знаков, одновыборочного критерия доли, F-критерия равенства дисперсий и точного критерия Фишера на таблице 2×2. Поле скрыто для любого общего критерия, для критерия Юэна (он только двусторонний), для критерия Колмогорова — Смирнова, карточка которого вместо одностороннего p выводит D⁺ и D⁻, и для точного критерия Фишера, если у группирующей или выбранной зависимой переменной больше двух категорий. Кнопка Запустить сравнительный анализ повторно проверяет фактическую таблицу и останавливает расчёт с сообщением, если таблица не 2×2. Группа Стандартные содержит двустороннее и два односторонних направления, а группа Эквивалентность доступна только для t-критериев, критерия Манна — Уитни и двух критериев знаковых рангов Вилкоксона. Подписи вариантов называют то, что упорядочивает критерий: группы в независимом плане, условия в парном (по имени, если выбрана одна переменная замеров с двумя уровнями), переменную относительно μ₀ (p̂ относительно π₀ для критерия доли) в одновыборочном и дисперсии для F-критерия. При попарном разворачивании каждая пара проверяется в выбранном направлении, и группой 1 считается первый из двух уровней пары в порядке уровней приложения.
• Двусторонний (Группа 1 ≠ Группа 2) — по умолчанию: учитывается различие в любую сторону, и p-значение складывается из обоих хвостов (см. двусторонний критерий).
• Односторонний (Группа 1 > Группа 2) — альтернатива, что группа 1 превосходит группу 2: большее среднее или положение, большая дисперсия для F-критерия, большие шансы первой категории исхода для точного критерия Фишера (здесь проверенную альтернативу формулирует примечание под результатами). Учитывается только этот хвост (см. односторонний критерий).
• Односторонний (Группа 1 < Группа 2) — зеркальная альтернатива: группа 1 ниже группы 2.

Когда односторонний критерий оправдан? Только если направление было зафиксировано до того, как вы увидели данные, и ответ «свидетельств нет» был бы приемлем, окажись результат в другую сторону (см. односторонний критерий). В сомнительных случаях оставляйте двусторонний.

• Эквивалентность (TOST) — альтернатива, что разность лежит в пределах ±Δ: два односторонних критерия, по одному на каждую границу. Большее из их p-значений выводится как p (экви.), а интервал разности строится на уровне 1 − 2α (см. TOST и интервал (1 − 2α)).
• Нехужесть — альтернатива, что группа 1 хуже группы 2 не более чем на Δ: один односторонний критерий против одной границы, сторону которой задаёт поле Предпочтительное направление (см. нехужесть).
• Превосходство — альтернатива, что группа 1 лучше группы 2 не менее чем на Δ: один односторонний критерий против дальней границы, сторону которой задаёт поле Предпочтительное направление (см. превосходство).
• Минимальный эффект (MET) — альтернатива, что разность превышает Δ в любую сторону: снова два односторонних критерия, и меньшее p выводится как p (MET) (см. критерий минимального эффекта).
• Граница эквивалентности (Δ) — порог, с которым сравнивают все направления эквивалентности. Поле появляется, когда одно из них выбрано. По умолчанию 0.5, а пустое или неположительное значение останавливает расчёт с сообщением. Границу выбирают до знакомства с данными (см. граница эквивалентности), а её единицы задаёт переключатель под полем.
• Нестандартизованное — Δ в собственных единицах зависимой переменной.
• Стандартизованное (d Коэна) — по умолчанию: Δ в единицах разброса, по которому стандартизует выбранный критерий. До запуска критерия граница переводится в исходные единицы по выборке, а подпись переключателя называет стандартизатор: Стандартизованное (d Коэна) для t-критерия для независимых выборок и одновыборочного t-критерия, Стандартизованное (d Уэлча) для t-критерия Уэлча, Стандартизованное (dz Коэна) для парного t-критерия и Стандартизованное (робастный разброс) для ранговых критериев, которые стандартизуют по медианному абсолютному отклонению, а не по стандартному. Карточка называет использованную меру разброса.
• Предпочтительное направление — на какой стороне выигрыш. Поле появляется только для нехужести и превосходства, поскольку TOST и MET симметричны по Δ. Примечание о границах под результатами называет проверенную гипотезу (Нехужесть (больше — лучше), Превосходство (меньше — лучше)), так что выбор виден и в выводе.
• Большие значения лучше — по умолчанию: нехужесть проверяет Группа 1 − Группа 2 > −Δ, превосходство — Группа 1 − Группа 2 > Δ.
• Меньшие значения лучше — для доли ошибок, выраженности симптомов, времени выполнения: нехужесть проверяет Группа 1 − Группа 2 < Δ, превосходство — Группа 1 − Группа 2 < −Δ.

Эквивалентны или просто не различаются? Незначимый результат никогда не доказывает, что две группы одинаковы. Направление эквивалентности меняет нулевую гипотезу на противоположную, и значимый результат становится прямым свидетельством того, что любое различие меньше Δ (см. проверка эквивалентности и пренебрежимо малое различие).

Направление тренда #

• Направление тренда — заменяет Направление критерия у критериев упорядоченных альтернатив (Джонкхира — Терпстры, тренда Пейджа и Кокрена — Армитиджа) и задаёт предполагаемое направление тренда по возрастающим значениям порядкового фактора. Как и для любого одностороннего критерия, выбирайте его по гипотезе до запуска (см. монотонный тренд). Для критерия тренда Пейджа доступны только возрастающий и убывающий тренды.
• Возрастающий тренд — значения растут вместе с уровнем.
• Убывающий тренд — значения убывают с ростом уровня.
• Любой монотонный тренд (двусторонний) — рост или убывание. Для критерия тренда Пейджа не предлагается, а двустороннее направление, попавшее к нему из восстановленной конфигурации, отклоняется при запуске.

Ожидаемое распределение #

Появляется вместо эталонного значения, если выбран Критерий согласия хи-квадрат. Для каждой выбранной категориальной переменной выводится блок с её наблюдаемыми категориями, и у всех вес 1.

• Ожидаемое распределение — по одному относительному весу на категорию: доля, частота или отношение, в какой форме удобнее, поскольку перед проверкой веса нормируются. Текущая сумма Σ рядом с именем переменной складывает веса, а ≙ % в каждой строке показывает, какую долю составляет вес этой строки. Каждый вес должен быть положительным числом, а в блоке должно быть не меньше двух категорий. Вес 0, пустое или отрицательное значение останавливает расчёт с сообщением, как и категория, указанная дважды, или добавленная категория без названия. Что именно задают веса, объяснено в разделе ожидаемое распределение.
• Добавить категорию — добавляет категорию, которой в выборке не было, с редактируемыми названием и весом. В критерий она входит с наблюдаемой частотой 0.
• Удалить категорию (✕) — убирает добавленную категорию, а наблюдаемую удалить нельзя.
• Сбросить до равномерного — возвращает всем весам значение 1, то есть нулевую гипотезу «распределение равномерно».

Гипотетическая доля #

Появляется вместо эталонного значения, если выбран Одновыборочный критерий доли:

• Гипотетическая доля (π₀) — доля, с которой сравнивается каждая выбранная переменная: одно общее для всех значение между 0 и 1, по умолчанию 0.5. Пустое значение или значение вне диапазона останавливает расчёт с сообщением (см. гипотетическая доля).
• Категория, считающаяся успехом — по списку на каждую выбранную переменную с её собственными категориями. Все остальные категории считаются неудачей, и до запуска для каждой переменной нужно выбрать одну. Карточка повторяет выбор в столбце Категория. Почему для переменной больше чем с двумя категориями этот выбор определяет сам вопрос, объяснено в разделе категория успеха.

Апостериорные критерии #

• Включить апостериорные проверки — добавляет попарные сравнения, которые показывают, какие именно уровни различаются, после того как общий критерий показал, что различия есть (см. апостериорный критерий). Флажок доступен для критериев нескольких групп и условий. Это однофакторный дисперсионный анализ, анализы Уэлча и Брауна — Форсайта, анализ усечённых средних, критерии Краскела — Уоллиса, Андерсона — Дарлинга, Бартлетта и Флигнера — Килина, критерии взаимной информации и дивергенции Йенсена — Шеннона, дисперсионный анализ с повторными измерениями, критерий Фридмана, многофакторный, многофакторный с повторными измерениями и смешанный дисперсионный анализ, ANCOVA, ART-ANOVA и его многофакторный вариант с повторными измерениями, критерий независимости хи-квадрат, точный критерий Фишера, Q Кокрена, MANOVA, MANCOVA, MANOVA с повторными измерениями, смешанный MANOVA и гетероскедастичный MANOVA Йохансена. Флажок появляется, когда у фактора три уровня и больше, а также в любом многофакторном или смешанном плане, где контрасты строятся по эффектам. У энергетического критерия апостериорного блока нет, вместо него выводятся последующие критерии по каждой переменной. Критерий Йохансена сравнивает пары по своим последующим критериям Уэлча. MANOVA и MANCOVA сравнивают их по одномерному последующему критерию каждой зависимой переменной (в MANCOVA с поправкой на ковариаты). MANOVA с повторными измерениями и смешанный MANOVA строят контрасты условий по каждой зависимой переменной, причём смешанный MANOVA — по каждому эффекту скрещивания межгрупповых факторов и факторов повторных измерений. Результаты выводятся на карточке попарных сравнений или в таблицах по эффектам на карточках многофакторного анализа, ANCOVA, смешанного анализа, ART и MANOVA.
• Метод апостериорных проверок — список под флажком с методами, которые допускают предпосылки выбранного критерия. По умолчанию выбран первый метод, и везде, где есть точное многомерное t, первым стоит именно оно. Что исправляет каждый метод и когда он уместен, объяснено в разделе апостериорные сравнения, а ниже указано, для каких критериев предлагается метод и что он выводит. Метод с собственным контролем множественности дополнительной поправки не получает, к остальным применяется поправка p-значений из настроек. У критерия хи-квадрат, точного критерия Фишера, критериев Андерсона — Дарлинга, Бартлетта, Флигнера — Килина и взаимной информации списка нет: для каждой пары общий критерий выполняется на её подтаблице или подвыборке, с поправкой из настроек. Для ART-ANOVA и многофакторного ART с повторными измерениями флажок в любом случае запускает контрасты art.con пакета ARTool, а в списке выбирается только поправка. Типы контрастов описаны в разделе результаты ART-ANOVA.
• Попарные контрасты с точной поправкой по многомерному t — по умолчанию для однофакторного, многофакторного, с повторными измерениями, многофакторного с повторными измерениями и смешанного дисперсионного анализа, ANCOVA, MANOVA, MANCOVA, MANOVA с повторными измерениями и смешанного MANOVA: пары по Тьюки, откалиброванные по точному многомерному t с учётом корреляции самих контрастов (см. описание метода). Поправка встроена в метод, поэтому отдельно не применяется, а в строке Метод на карточке записано «многомерное t (точное)». Для каждой пары выводятся разность, одновременный интервал, t и p.
• HSD Тьюки — для того же семейства дисперсионного анализа, MANOVA, MANCOVA и двух ART-критериев: сравнение всех пар по стьюдентизированному размаху с внутренним контролем групповой ошибки (см. HSD Тьюки). Выбирайте его, чтобы результат совпадал с выводом другого пакета. Пары ячеек взаимодействия, для которых метод Тьюки не определён, вместо этого корректируются по точному многомерному t.
• Попарные t-критерии с объединённой ошибкой дисперсионного анализа — для тех же критериев: каждая пара проверяется по объединённому члену ошибки общего критерия (разность, интервал и t), а к парам, включая пары ячеек взаимодействия, применяется поправка p-значений из настроек. Если поправка включена, интервалы расширяются до одновременного уровня Бонферрони, поэтому при поправках Холма, Хоммеля, Хохберга, Бенджамини — Хохберга или Бенджамини — Екутели строка может быть значимой, хотя её интервал включает ноль. Об этом предупреждает оговорка под таблицей, а если семейство состоит из одного контраста, её нет (см. попарные t-критерии).
• Критерий Даннетта (против контроля) — для однофакторного, многофакторного, с повторными измерениями, многофакторного с повторными измерениями и смешанного дисперсионного анализа, ANCOVA, MANOVA с повторными измерениями и смешанного MANOVA, включая факторы повторных измерений: каждый уровень сравнивается с уровнем из поля Контрольная группа, а k − 1 контрастов соотносятся с точным многомерным t и контролируются внутри метода (см. критерий Даннетта). Для каждого контраста выводятся разность, интервал, t и p, всегда в длинном формате.
• Критерий Геймса — Хауэлла — для анализов Уэлча и Брауна — Форсайта и MANOVA Йохансена: попарные t-критерии с раздельными дисперсиями, соотнесённые со стьюдентизированным размахом. Метод корректен при неравных дисперсиях и сам контролирует ошибку (см. критерий Геймса — Хауэлла).
• T3 Даннетта (против контроля) — для тех же трёх критериев: вариант Геймса — Хауэлла «все против одного», где каждый контраст с контрольной группой проверяется собственным t с раздельными дисперсиями и df Уэлча — Саттертуэйта, соотносится со стьюдентизированным максимальным модулем и контролируется внутри метода (см. T3 Даннетта). Для каждого контраста выводятся разность, интервал, t и p, в длинном формате.
• Попарные сравнения усечённых средних (lincon) — для анализа усечённых средних (t1way): попарные разности усечённых средних при уровне усечения запуска. Интервалы контролируют групповую ошибку внутри метода, а к p-значениям применяется поправка из настроек (см. lincon).
• Критерий Данна — для критерия Краскела — Уоллиса: все попарные сравнения рангов с поправкой из настроек (см. критерий Данна).
• Критерий Данна (против контроля) — для критерия Краскела — Уоллиса: z Данна только для контрастов с уровнем из поля Контрольная группа. Поправка из настроек применяется лишь к этим k − 1 контрастам, в длинном формате (см. описание метода).
• Попарные парные t-критерии — для дисперсионного анализа с повторными измерениями: каждая пара условий сравнивается парным t-критерием по разностям испытуемых, с поправкой из настроек (см. описание метода).
• Попарные критерии знаковых рангов Вилкоксона — для критерия Фридмана: каждая пара условий сравнивается критерием знаковых рангов Вилкоксона, с поправкой из настроек (см. описание метода).
• Критерий Коновера — для критерия Фридмана: попарные сравнения сумм рангов по распределению t, с поправкой из настроек (см. критерий Коновера).
• Критерий Неменьи — для критерия Фридмана: разности сумм рангов, соотнесённые со стьюдентизированным размахом, с контролем ошибки внутри метода (см. критерий Неменьи).
• Попарные критерии Мак-Немара — единственный метод для критерия Q Кокрена: каждая пара условий сравнивается критерием Мак-Немара (точным биномиальным при числе дискордантных пар меньше 25, иначе асимптотическим χ² без поправки), с поправкой из настроек по всем парам. Сетку заполняют только p-значения, поскольку у статистики Мак-Немара нет направления, а под ней для каждой пары выводится таблица 2×2 совпадений и расхождений (см. описание метода).
• Попарные критерии дивергенции Йенсена — Шеннона — единственный метод для критерия дивергенции Йенсена — Шеннона: сбалансированная оценка JSD и перестановочное p-значение общего критерия для каждой пары групп, с поправкой из настроек по всем парам. Дивергенция симметрична, поэтому знак в ячейках матрицы при отражении относительно диагонали не меняется, и столбца разности нет. Каждая пара получает собственные повторы, так что время расчёта растёт с числом пар и настройкой повторов перестановок (см. описание метода).
• Контрольная группа — появляется для методов «все против одного» (критерия Даннетта, T3 Даннетта и критерия Данна против контроля), по списку на каждый подгоняемый фактор: на группирующую переменную в пакетном режиме и на фактор многофакторного или смешанного плана, включая факторы повторных измерений. В списке перечислены уровни фактора, по умолчанию выбран первый. Остальные уровни сравниваются с выбранным, но не между собой (см. контрольная группа). Если выбранный уровень не принадлежит подгоняемой переменной или после удаления пропусков у него не осталось пригодных данных, его заменяет первый уровень с пригодными данными, о чём сообщает строка над апостериорной таблицей.

Все против одного или все пары? Метод против контроля тратит допустимую ошибку только на k − 1 контрастов с настоящей точкой отсчёта (плацебо, стандартным лечением) и сохраняет для них больше мощности, а методы для всех пар показывают, какие из пар различаются (см. сравнения всех пар и «все против одного»).

Формат попарных сравнений #

Поле Формат таблицы попарных сравнений появляется, когда запуск выводит плоскую таблицу пар: при автоматическом разворачивании двухвыборочного критерия на три и более уровня или при апостериорных сравнениях после однофакторного общего критерия. Многофакторные и смешанные планы выводят контрасты по эффектам и этот выбор не учитывают.

• Матрица — по умолчанию: матрица с уровнями по обеим осям, где в каждой ячейке стоят статистика пары, p-значение, а если включены, то и размер эффекта с интервалом (см. матричный формат в разделе о чтении результатов).
• Длинная таблица — по строке на пару, со статистиками групп, разностью и её интервалом, статистикой, p и размером эффекта в столбцах (см. длинный формат).

Методы «все против одного» (критерий Даннетта, T3 Даннетта и критерий Данна против контроля) всегда выводятся в длинном формате, что бы здесь ни было выбрано.

Поправка на непрерывность #

• Применять поправку на непрерывность — появляется для критерия независимости хи-квадрат, критериев Мак-Немара и Манна — Уитни, парного и одновыборочного критериев знаковых рангов Вилкоксона, критериев Стюарта — Максвелла и Кокрена — Мантеля — Хензеля. По умолчанию включена, чтобы p-значения совпадали с R и SPSS (что она делает и когда её выключать, см. поправка на непрерывность). У табличных критериев поправка существует только для таблицы 2×2, поэтому флажок виден, пока какая-то таблица запуска может такой оказаться: бинарная зависимая переменная при бинарной группирующей, скрещивание из двух ячеек или фактор с большим числом уровней, который апостериорные сравнения разобьют на пары. У ранговых критериев флажок виден всегда. Что меняется: для хи-квадрат — поправка Йейтса на таблице 2×2; для критерия Кокрена — Мантеля — Хензеля — только случай 2×2×K; для критерия Мак-Немара — асимптотический χ² при 25 и более дискордантных парах (при меньшем числе выполняется точный биномиальный критерий, и флажок ни на что не влияет); для критерия Стюарта — Максвелла — случай 2×2, где он сводится к критерию Мак-Немара; для критерия Манна — Уитни и двух критериев знаковых рангов Вилкоксона — поправка ±0.5 в нормальном приближении, которая действует, только если точный критерий не используется (при совпадениях, нулевых разностях или большой выборке). Если фактическая таблица оказалась не 2×2 либо ранговый критерий или критерий Кокрена — Мантеля — Хензеля пошёл по точной ветви, примечание под результатами переменной сообщает, что поправка не повлияла на результат, чтобы включённый флажок не приняли за скорректированное p-значение.

Уровень усечения #

• Уровень усечения (на каждый хвост) — появляется, если выбран t-критерий Юэна для усечённых средних или Однофакторный дисперсионный анализ усечённых средних (t1way): процент значений каждого хвоста, который отбрасывается перед сравнением средних, от 0 до 49, по умолчанию 20%. При 20% отбрасываются наименьшая и наибольшая пятые части значений группы, а усредняются средние 60% (см. усечённое среднее). При меньшем усечении оценка ближе к обычному среднему, при большем сравнение приближается к сравнению медиан, но на чистых данных теряет мощность. Пустое значение или значение от 50% расчёт отклонит. Один и тот же уровень действует для всех групп, для каждого попарного сравнения Юэна, для апостериорного метода lincon и для размера эффекта ξ.

Размеры эффекта #

• Включить размеры эффекта — включено по умолчанию: рядом с каждой статистикой критерия выводится размер эффекта, то есть величина различия на шкале, которая не растёт с объёмом выборки (см. размер эффекта). Блок скрыт для критериев без такой меры, поскольку их статистика сама служит ограниченной мерой величины (Колмогорова — Смирнова, Андерсона — Дарлинга, Бартлетта и Флигнера — Килина), и для энергетического критерия: его карточка выводит для общего критерия R²ₑ при любом состоянии флажка. У многомерных критериев выбранная мера относится к одномерным последующим критериям, а многомерный общий критерий всегда выводит частичную η², восстановленную из приближённого F следа Пиллаи. Гетероскедастичный MANOVA Йохансена не оценивает объединённый член ошибки, поэтому у его общего критерия меры нет, и выбранная ξ выводится только для последующих критериев. Если назначить ковариаты дисперсионному анализу с повторными измерениями, расчёт переходит на MANOVA с повторными измерениями с поправкой на ковариаты, где у частичной ω² нет аналога: вместо неё вычисляется частичная η² с соответствующей подписью, о чём сообщает предупреждение, а обобщённая η² выводится как классическая η².
• Метод расчёта размера эффекта — список под флажком с мерами, доступными для выбранного критерия (см. таблицу ниже, где первой названа мера критерия по умолчанию). Что измеряет каждая мера, её шкала и ориентиры описаны на странице о размерах эффекта, а столбец Интерпретация оценивает величину по этим ориентирам. При многомерном подходе к эффектам повторных измерений список сужается до Частичная эта-квадрат — единственной меры, которую может вычислить этот подход.

Две меры выводят больше одного числа. Δ Гласса выводится как Δ₁, стандартизованная по стандартному отклонению первой группы, и Δ₂ — по стандартному отклонению второй, каждая со своим интервалом и оценкой величины, поскольку в модуле нет поля контрольной группы, которое указало бы, чьё стандартное отклонение брать. Критерий Стюарта — Максвелла выводит g Коэна для каждой пары дискордантных категорий в таблице g Коэна по парам категорий, а не одно усреднённое значение. Две меры Q Кокрена помечены надстрочным ⁿ, указывающим, на какое число испытуемых делит каждая: средний φ² Кокрена — на число информативных испытуемых, w Коэна (Q) — на всех. Отношение шансов Мак-Немара, вычисленное при пустой дискордантной ячейке, помечено ‡: конечным его сохранила поправка Холдейна — Анскомба.

• Доверительные интервалы размеров эффекта — включено по умолчанию: рядом с каждой мерой выводится интервал на уровне доверия. Он получается обращением распределения самой статистики, если такое распределение есть, а иначе — процентильным бутстрэпом, и тогда помечен надстрочным b. Подсказка к нему указывает число выборок, фактически использованных для интервала. Бутстрэп-меры (r Вилкоксона, рангово-бисериальный r для связанных пар, ε² и η²_H Краскела — Уоллиса, W Кендалла, τ-b Кендалла, ρ̄ Пейджа, g Коэна, средний φ² Кокрена и объясняющая мера ξ) берут число выборок из настройки Повторы бутстрэпа, а зерно из настройки Зерно бутстрэпа, поэтому расчёт с ними дольше. Если снять флажок, они не вычисляются вовсе. Есть ещё две пометки. В несбалансированном плане интервал ξ помечен как консервативный, то есть он шире выборочного распределения самой оценки. Бутстрэп, в котором все выборки дали одно и то же значение, выводит вместо интервала нулевой ширины – с пометкой !, и такая оценка не попадает на лесовидную диаграмму. У η² и обобщённой η² дисперсионного анализа с повторными измерениями интервала нет, только точечная оценка. См. интервал для размера эффекта и процентильный бутстрэп.
• Стандартные ошибки — добавляет столбец SE для мер, у которых есть замкнутое выражение для стандартной ошибки на их собственной шкале: для семейства d (d Коэна и g Хеджеса, Δ Гласса, d и g Уэлча, dz Коэна и gz Хеджеса, d_av Коэна и g_av Хеджеса, одновыборочные d и g, робастная d Алгины — Кеселмана — Пенфилда), а также для рангово-бисериального r и δ Клиффа. У мер объяснённой дисперсии и семейства χ², общеязыкового размера эффекта, отношения шансов и всех бутстрэп-мер стандартной ошибки нет, и ячейка остаётся пустой. По умолчанию выключено.

Суммы квадратов #

Для многофакторных планов, подгоняемых через car::Anova (многофакторный дисперсионный анализ, ANCOVA, многофакторный дисперсионный анализ с повторными измерениями, смешанный дисперсионный анализ и смешанный MANOVA), здесь выбирается, как разлагается дисперсия каждого эффекта на несбалансированных данных. Все остальные критерии используют тип III без возможности выбора, а ART-ANOVA суммы квадратов не разлагает вовсе.

• Суммы квадратов — как разлагается дисперсия каждого эффекта при неравных ячейках (см. суммы квадратов типа II и типа III). На сбалансированных данных оба типа совпадают, а таблица эффектов указывает, какой был использован. В многофакторном дисперсионном анализе с повторными измерениями без ковариат межгрупповая часть модели содержит только свободный член, и оба типа сводятся к одному и тому же критерию, поэтому примечание гласит «тип III», что бы вы ни выбрали. Если добавить ковариату, выбор начинает действовать. Пустую ячейку межгруппового скрещивания нельзя подогнать при типе III (кнопка Запустить сравнительный анализ останавливает расчёт с сообщением, где эта ячейка названа), но можно при типе II, главные эффекты которого проверяются сравнением моделей. Строка взаимодействия при этом остаётся пустой и выводится предупреждение. Другие выходы — удалить или объединить фактор либо перейти к пакетному анализу.
• Тип III (по умолчанию) — каждый эффект проверяется после поправки на все остальные, включая взаимодействия. Результат не зависит от порядка эффектов. Этот тип выбран по умолчанию в SPSS и большинстве пакетов, а модуль вычисляет его на кодировке контрастов с нулевой суммой.
• Тип II — каждый главный эффект проверяется после поправки на другие главные эффекты, но не на взаимодействия. Он мощнее, когда взаимодействия нет, и не зависит от кодировки контрастов.

Тип II или тип III? При пренебрежимо малом взаимодействии тип II мощнее и менее капризен, а при заметном взаимодействии тип III сохраняет интерпретируемость каждого главного эффекта и совпадает с выводом SPSS. В сомнительных случаях оставляйте тип III (см. суммы квадратов типа II и типа III).

Подход к эффектам повторных измерений #

Для трёх параметрических семейств с фактором повторных измерений (дисперсионного анализа с повторными измерениями, многофакторного дисперсионного анализа с повторными измерениями и смешанного дисперсионного анализа) здесь выбирается способ проверки эффектов повторных измерений. Дисперсионный анализ с повторными измерениями с ковариатой переводится на MANOVA с повторными измерениями, где такого выбора нет, и поле скрывается.

• Подход к эффектам повторных измерений — выполняется один подход, и от него зависят сразу статистика общего критерия, вывод о значимости, размер эффекта, условие для апостериорных сравнений и семейство для поправки, так что всё на карточке относится к одному анализу (см. одномерный подход и многомерный подход). Межгрупповые эффекты проверяются на средних по испытуемым и многомерной формы не имеют, поэтому при любом выборе остаются одномерными, как и указано в таблице. Для эффекта повторных измерений с одной степенью свободы (два условия) оба подхода численно совпадают, так как требование сферичности там выполняется автоматически. Это не смешанный MANOVA, который совместно моделирует несколько зависимых переменных: они отвечают на разные вопросы, и их можно сочетать.
• Одномерный (с поправкой ε) — по умолчанию: классическое F для повторных измерений, степени свободы которого исправлены на сферичность по Гринхаусу — Гейссеру или Хюйну — Фельдту, а на карточке выводятся критерий Моучли и столбцы ε (см. сферичность). Этот подход применим при любом объёме выборки.
• Многомерный (след Пиллаи) — контрасты между замерами проверяются совместно следом Пиллаи, который вовсе не требует сферичности (см. след Пиллаи). Испытуемых нужно больше, чем контрастов: эффект, для которого это не выполнено, сохраняет одномерное F без поправки на сферичность и называется в диагностике, так что карточка может быть многомерной для двух эффектов и одномерной для третьего. При этом подходе аппарат сферичности (столбцы ε, скорректированные p-значения, таблица Моучли и примечание к ней) и суммы квадратов не выводятся, поскольку нужны для вопроса, которого этот подход не ставит, а примечание под таблицей поясняет, какие столбцы к какому подходу относятся. Размер эффекта — частичная η², восстановленная из приближённого F следа.

Различие наклонов (области значимости) #

Любой критерий, скрещивающий ковариату с фактором, предполагает, что наклон ковариаты одинаков на всех уровнях: это однородность наклонов регрессии, которую проверяет панель допущений. Если она нарушена, расстояние между группами зависит от значения ковариаты, и тогда карточка таких критериев завершается анализом различия наклонов: для каждой пары уровней — разность наклонов с её проверкой, границы Джонсона — Неймана и доля наблюдений внутри области значимости (см. различие наклонов: результаты и описание понятия). Область строится для каждой пары, у которой проверка наклонов отклоняет гипотезу на уровне значимости для проверки допущений, а для остальных пар это решает один флажок:

• Показывать все области значимости — строит область для каждого контраста, а не только для тех, у которых наклоны различаются. Флажок появляется вместе с ролью ковариаты, то есть везде, где ковариату можно назначить: в ANCOVA, MANCOVA, многофакторном, с повторными измерениями, многофакторном с повторными измерениями и смешанном дисперсионном анализе, MANOVA с повторными измерениями и смешанном MANOVA. Дисперсионный анализ с повторными измерениями с ковариатой выполняется как MANOVA с повторными измерениями и флажок сохраняет. По умолчанию выключен.

Дискриминантный анализ #

• Включить описательный дискриминантный анализ — находит комбинацию зависимых переменных, по которой разделяются группы (см. описательный дискриминантный анализ). Предлагается только для MANOVA и MANCOVA, двух критериев, у общего критерия которых есть каноническое разложение. Он раскрывает то, что проверяет многомерный критерий и чего не видно в последующих критериях по отдельным переменным, и выводится рядом с ними, а не вместо них. Четыре его таблицы описаны в разделе результатов. Флажок также открывает флажок График дискриминантных функций в разделе визуализации, который изображает то, что описывают таблицы. По умолчанию выключен.

Анализ соответствий #

• Включить анализ соответствий — раскладывает таблицу сопряжённости, которую проверял критерий, на измерения и размещает категории её строк и столбцов в общем пространстве, где близость означает связь (см. анализ соответствий). Предлагается для критерия независимости хи-квадрат и точного критерия Фишера, двух критериев для таблицы r×c, и относится к ним так же, как дискриминантный анализ к MANOVA: это не второй критерий, а описание того, что нашёл общий критерий, без собственного p-значения. Критерий показывает, что связь есть, а разложение — где она сосредоточена. Результаты описаны в разделе результаты анализа соответствий, а изобразить их можно флажком Карта соответствий в разделе визуализации, который появляется после включения этого флажка. Стратифицированные таблицы критерия Кокрена — Мантеля — Хензеля сюда не попадают. По умолчанию выключен.
• Разложение — какой объект раскладывается. Поле появляется после включения флажка.
• Каждая зависимая переменная против группирующей — по умолчанию: для каждой зависимой переменной строится своё разложение r×c, которое выводится рядом с результатом её критерия и прямо его продолжает.
• Все выбранные переменные совместно — множественный анализ соответствий сразу по всем выбранным категориальным переменным, зависимым и группирующей на равных, на одной карточке уровня запуска (см. множественный анализ соответствий). Предлагается, когда выбраны три категориальные переменные (две зависимые и группирующая), а полных наблюдений должно быть больше, чем переменных. Переменная с единственным фактическим уровнем отбрасывается с примечанием, а две переменные, одинаково разбивающие наблюдения, называются избыточными. Проценты инерции здесь скорректированы на индикаторное кодирование и поэтому несопоставимы с процентами двумерного анализа, о чём предупреждает примечание на карточке.

Двумерный или совместный? Двумерный анализ соотносит каждый исход с явной группирующей переменной и непосредственно продолжает критерий, а множественный анализ соответствий показывает, как организуется весь набор категорий, когда все переменные равноправны (см. множественный анализ соответствий).

Классификационный анализ (ROC) #

• Включить классификационный анализ (ROC) — для независимых двухгрупповых критериев, проверяющих различие в положении или упорядоченности (t-критерия для независимых выборок, t-критерия Уэлча, критерия Манна — Уитни, критерия Бруннера — Манцеля и t-критерия Юэна для усечённых средних), вычисляет площадь под ROC-кривой и метрики классификации рядом с самим критерием. Они показывают, насколько хорошо зависимая переменная различает две группы и выше какого порога наблюдение следует отнести к группе с более высокими значениями (см. ROC-кривая и AUC). Флажок появляется, когда выбран подходящий критерий, и по умолчанию выключен. Критерии разброса и распределения целиком, а также все парные планы и планы с повторными измерениями исключены. При трёх и более группах кривая строится для каждого попарного контраста, как и сам критерий. Для построения нужны ровно две группы и не меньше четырёх наблюдений со значениями, а если AUC переменной меньше 0.5, группы меняются местами, чтобы предсказываемой всегда была группа с более высокими значениями (кроме случая сравнения AUC). Результаты описаны в разделе результаты классификационного анализа (ROC), а кривая выводится по флажку ROC-кривая в разделе визуализации.
• Правило выбора оптимального порога — как выбирается порог. Как и границу эквивалентности, выбирайте правило до того, как посмотрите на данные: подбор правила под желаемый порог обесценивает анализ. Каким бы правилом порог ни был выбран, он выбирается на тех же наблюдениях, на которых оценивается.
• J Юдена (макс. чувств. + специф. − 1) — по умолчанию: порог, максимизирующий чувствительность + специфичность − 1, то есть пропуск и ложная тревога равноценны (см. J Юдена).
• Ближайший к (0, 1) — точка кривой, ближайшая к левому верхнему углу, где находится идеальный классификатор (см. ближайший к (0, 1)).
• Взвешенный по стоимости — для ошибок разной цены: правило Юдена, в котором слагаемое специфичности взвешено по соотношению стоимостей и распространённости (см. взвешенный по стоимости). Оба направления выводятся отдельными строками (в одной дороже пропуск, в другой ложная тревога), чтобы вы могли выбрать нужное.
• Коэффициент асимметрии стоимостей — появляется при правиле, взвешенном по стоимости: во сколько раз одна ошибка хуже другой, по умолчанию 3. Поле принимает только значения строго больше 1 (иначе кнопка Запустить сравнительный анализ останавливает расчёт с сообщением), поэтому, чтобы дороже была другая ошибка, введите обратную величину. Две строки вывода и так охватывают оба варианта.
• Метрики классификации при оптимальном пороге — включено по умолчанию: столбцы для порога (чувствительность, специфичность, PPV, NPV и точность) с бутстрэп-интервалами, в которых порог заново выбирается в каждой выборке, с числом выборок из настройки Повторы бутстрэпа, и соответствующие отметки оптимального порога на ROC-кривой. Выключите флажок, если нужна только сводка по AUC (см. чувствительность, специфичность, PPV и NPV).
• Распространённость в популяции — появляется вместе с метриками классификации: доля одной из групп в популяции, по которой корректируются метрики, зависящие от распространённости (PPV, NPV и точность), если соотношение групп в выборке — артефакт отбора, прежде всего в исследованиях «случай–контроль» (см. распространённость). По умолчанию поле пусто, и эти метрики опираются на доли групп в самой выборке. Значение должно лежать строго между 0 и 1, иначе расчёт останавливается с сообщением. Чувствительность, специфичность и AUC от этого не зависят, а при правиле, взвешенном по стоимости, от распространённости зависит ещё и положение оптимального порога.
• Распространённость относится к группе — появляется после ввода распространённости, по списку на каждый фактор, который будет подогнан (на каждую группирующую переменную в пакетном режиме), с уровнями этого фактора. Распространённость — утверждение об одной из двух групп, и указанный уровень снимает неоднозначность. По умолчанию выбран последний уровень фактора, который при обычной, не перевёрнутой подгонке считается предсказываемой группой. Если распространённость введена, а группа не указана, расчёт останавливается с сообщением.
• Доверительный интервал AUC — интервал для AUC на уровне доверия.
• Делонга — по умолчанию: замкнутая формула по дисперсии самой AUC (см. критерий Делонга).
• Бутстрэп — процентильный интервал по числу выборок из настройки Повторы бутстрэпа: медленнее, но надёжнее на малой выборке.
• Сравнить AUC (попарный критерий Делонга) — появляется, когда выбраны две или больше зависимых переменных: каждая пара AUC проверяется критерием Делонга для коррелированных AUC, который учитывает, что кривые построены на одних и тех же испытуемых. p-значения корректируются как одно семейство по всем парам переменных, парам групп и факторам пакетного анализа по глобальному методу поправки (см. сравнение AUC). Парному критерию Делонга нужно, чтобы все кривые строились на одних и тех же наблюдениях, поэтому, пока флажок включён, строки с пропуском в любой выбранной зависимой переменной исключаются из всех подгонок, и N каждой AUC — это общее подмножество. Ориентация у всех переменных одна, поэтому переменная, различающая группы в обратную сторону, вполне может иметь AUC ниже 0.5, а её порог выбирается по зеркальному правилу. По умолчанию выключено.

Описательная статистика #

Какие описательные статистики выводятся рядом с результатами критерия по каждой группе или условию, в таблицах результатов и в экспорте CSV. На сами вычисления анализа они не влияют. Чтобы указать направление в столбце Интерпретация («Группа A > Группа B»), нужна сводная статистика, и она вычисляется независимо от того, выводится ли на экран: среднее для критериев положения, медиана для ранговых критериев, стандартное отклонение для критериев разброса. Поэтому, сняв флажок, вы лишь сократите таблицу, а направление из вывода не пропадёт.

• Среднее значение — включено по умолчанию: среднее арифметическое каждой группы (см. среднее).
• Медиана — срединное значение, по которому ранговые критерии определяют направление (см. медиана).
• Мода — самое частое значение с его частотой и долей либо Нет моды, если все значения уникальны (см. мода).
• Стандартное отклонение — включено по умолчанию. По нему критерии разброса определяют направление (см. стандартное отклонение).
• Стандартная ошибка — стандартная ошибка среднего (см. стандартная ошибка).
• Доверительные интервалы среднего — включено по умолчанию: интервал для среднего каждой группы на уровне доверия (см. доверительный интервал). Вместе с ним выводятся столбец интервала самой разности (для одновыборочного критерия — интервал оценки, для робастных критериев — интервал разности усечённых средних) и интервалы в попарных таблицах, а в плане с фактором повторных измерений и ID испытуемого — ещё один столбец для каждого условия, ДИ для повторных измерений. Это интервал Кузино — Мори, который отображают планки погрешностей: по нему можно сравнивать повторные уровни между собой, но интервалом для среднего своего условия он не является, о чём предупреждает примечание под таблицей (см. доверительный интервал для повторных измерений). Та же пара интервалов выводится в описательных блоках карточек многофакторного, смешанного и многомерного анализа для ячеек, которые задаёт фактор повторных измерений.
• Процентили (К1, К3, МКР) — квартили и расстояние между ними (см. К1, К3 и МКР).
• Минимум и максимум — см. минимум и максимум.
• Средние ранги (для ранговых критериев) — средний ранг каждой группы в общем ранжировании, то есть величина, которую сравнивают ранговые критерии (см. средний ранг).
• Объём выборки — число наблюдений, по которым вычислены статистики каждой группы (см. объём выборки).
• Совместная таблица частот — включено по умолчанию, для категориальных критериев: таблица сопряжённости, на которой выполнялся критерий (ячейки χ², дискордантные пары Мак-Немара, страты критерия Кокрена — Мантеля — Хензеля), а при апостериорных сравнениях — ещё и таблица каждой пары. Таблицу наблюдаемых и ожидаемых частот критерия согласия карточка выводит в любом случае.

Включить визуализацию #

• Включить визуализацию — открывает флажки графиков, у каждого свои параметры. Графики строятся под результатами (все они описаны в разделе визуализация). Какие флажки появятся, зависит от плана и критерия. Для числовых семейств это графики распределения (ящик с усами, скрипичный график, график ЭФР и график средних с планками погрешностей) и лесовидная диаграмма, для зависимого или смешанного плана — график парных линий, а при двух подогнанных факторах — график взаимодействия. У категориальных критериев графики распределения и лесовидную диаграмму заменяет диаграмма долей категорий. Исключения — критерий согласия со своим графиком наблюдаемых и ожидаемых частот и одновыборочный критерий доли, сохраняющий лесовидную диаграмму с интервалом h Коэна для каждой переменной. График дискриминантных функций, карта соответствий и ROC-кривая появляются, только если выше включён соответствующий анализ. По умолчанию выключено.

Тип планок погрешностей #

• Планки погрешностей показывают: — появляется, когда включён график средних с планками погрешностей или график взаимодействия с планками погрешностей. Поле общее для обоих графиков, так что они не могут расходиться, а подпись под графиком указывает, что охватывают его планки. В плане только с повторными измерениями вариант стандартной ошибки исчезает (стандартная ошибка по разбросу между испытуемыми там не имеет смысла), а вариант доверительного интервала называется Доверительный интервал для повторных измерений. В смешанном плане остаются все варианты, но для ячейки с интервалом для повторных измерений рисуется именно он, что бы ни было запрошено (ДИ или SE), и только стандартное отклонение наблюдений выводится так, как запрошено.
• Доверительный интервал среднего — по умолчанию: точность оценки среднего на уровне доверия (см. доверительный интервал). Если в плане есть фактор повторных измерений, планка — это интервал для повторных измерений Кузино — Мори, тот же, что в таблицах. По нему можно сравнивать повторные уровни между собой, но едва соприкасающиеся планки — ещё не критерий.
• Разностно-скорректированный доверительный интервал для повторных измерений — появляется, только если в плане есть фактор повторных измерений: интервал для повторных измерений, умноженный на $\sqrt{2}/2$, так что две планки перекрываются ровно тогда, когда разность между ними не значима (см. интервал с поправкой на разность).
• Стандартная ошибка среднего — ±1 SE, примерно две трети полуширины ДИ (см. стандартная ошибка).
• Стандартное отклонение — ±1 SD наблюдений, то есть разброс данных, а не точность среднего, поэтому неперекрывающиеся планки SD ничего не говорят о том, различаются ли средние (см. стандартное отклонение). Выбирайте его, чтобы показать изменчивость данных, а ДИ или SE — чтобы показать, на чём основано сравнение.

Проверка допущений #

Нажмите Проверить допущения, чтобы ещё до критерия выполнить проверки, которых требуют текущий план и выбор переменных. Их результаты выводятся на карточке Результаты проверки допущений из трёх частей: сводная таблица с одной строкой на допущение, рекомендации по критериям, где эти строки соотнесены с выборкой, и подробные результаты по каждой строке. Какие строки появятся, зависит от назначенных ролей: для проверки дисперсий нужна группирующая переменная, для проверок ковариат — ковариата, для категориальных проверок — категориальная зависимая переменная. Критерии среди проверок оцениваются на уровне значимости для проверки допущений, M Бокса — на фиксированном α = 0.001, а правила подсчёта — по собственным порогам. Зависимому и смешанному планам здесь, как и при самом расчёте, нужен ID испытуемого, а при стратегии Анализировать каждую переменную отдельно для каждого фактора строится своя карточка с его именем в заголовке, проверенная на его собственном разбиении.

Сводная таблица #

По строке на каждое допущение, которого требует план, в порядке, описанном ниже. Ненужных плану строк в таблице нет, пустыми они не выводятся.

• Допущение — условие, которое проверяет строка, вместе с названием проверяющего критерия (см. что такое допущение). Примечание рядом поясняет, что и на чём проверялось. Это важно, потому что нормальность в одном плане относится к значениям внутри каждой ячейки, а в другом — к остаткам модели.
• Статус — Пройдено, Не пройдено, Пропущено, если проверку нельзя было выполнить на этом выборе переменных (причину называет примечание), или Н/Д, если она выполнилась, но оценить было нечего. В подробной таблице тот же столбец содержит конкретный вывод (Равные дисперсии, МВ норм., Симметрично, Сферичность предполагается, Однородные, Линейная, Независимые, Достаточно и их противоположности) или причину, по которой вывода нет: Недостаточно данных, Сингулярная ковариация, Неприменимо, Не бинарная, Только одна категория, Не удалось вычислить. Нарушение — это сигнал, который рекомендации соотносят с выборкой, а не приговор критерию (см. статус и не оценено).
• Примечания — на чём основан вывод: сколько критериев пройдено или ячеек не прошло из оценённых, наибольший |r|, причина пропуска проверки, а для семейства проверок по ячейкам в широком плане — не вышло ли число нарушений за пределы того, что даёт случайность при таком числе проверок. В последнем случае строка сообщает об этом, и ни один критерий не понижается.
• Нормальность (Шапиро — Уилк) — критерий Шапиро — Уилка для того, что выбранное семейство предполагает нормальным: в независимом плане — каждая зависимая переменная внутри каждой группы (в многофакторном плане — внутри каждой ячейки скрещивания); в зависимом плане с двумя условиями — парные разности; при трёх и более условиях — остатки модели повторных измерений; при выбранной ковариате — остатки модели с поправкой на ковариаты; в смешанном плане — каждая ячейка «группа × замер»; в одновыборочном режиме — собственные значения каждой переменной. Примечание подсчитывает прошедшие ячейки из проверенных (ячейка меньше чем из 3 или больше чем из 5000 значений не проверяется). Нарушение понижает параметрические критерии, только если не прошедшая ячейка меньше порога предупреждения о малой выборке. Выше порога они остаются рекомендованными с оговоркой о центральной предельной теореме. См. нормальность и критерий Шапиро — Уилка.
• Выбросы (стьюдентизированные остатки) — остатки, на которых построены строки нормальности, каждый стьюдентизирован по собственной ошибке модели и проверен с поправкой Бонферрони. Поэтому отметка означает наблюдение более крайнее, чем даёт нормальная выборка такого объёма, а не выход за фиксированный порог. Примечание подсчитывает отмеченные наблюдения из оценённых. Отметка никогда не понижает критерий: критерии средних получают оговорку с советом просмотреть отмеченные ячейки, прежде чем читать результат, а F-критерий и критерий Бартлетта — более строгую, поскольку дисперсия реагирует на крайнее значение гораздо сильнее среднего. При запасной проверке нормальности по факторам строка показывает Пропущено: единого набора остатков там нет. См. стьюдентизированный остаток и выброс.
• Многомерная нормальность (критерий Мардиа) — при двух или более числовых зависимых переменных: многомерные асимметрия и эксцесс Мардиа в каждой группе. При выбранной ковариате они вычисляются по остаткам с поправкой на ковариаты, в зависимом плане — по откликам каждого испытуемого (переменная × условие) как по одной группе, в смешанном — по каждой межгрупповой ячейке. Если хотя бы одна статистика отклоняет гипотезу хотя бы в одной группе, строка не пройдена, и семейство MANOVA и критерий Йохансена понижаются. Если ни в одной группе не хватило полных наблюдений (в группе их должно быть больше, чем переменных), строка показывает Н/Д, а эти критерии остаются рекомендованными с пометкой, что допущение не проверено. Та же пометка добавляется, если одну группу оценить не удалось, а другие удалось. См. многомерная нормальность и критерий Мардиа.
• Однородность дисперсий (критерий Левена, Брауна — Форсайта) — критерий Левена с центрированием по медиане для каждой зависимой переменной: в независимом плане между группами (в многофакторном плане — между ячейками скрещивания), в смешанном — между межгрупповыми группами по среднему каждого испытуемого по условиям, а при выбранной ковариате — по остаткам модели с поправкой на ковариаты. Примечание подсчитывает переменные с неравными дисперсиями. Нарушение понижает критерии с одной объединённой дисперсией (t-критерий Стьюдента, однофакторный и многофакторный дисперсионный анализ, ANCOVA), а рекомендованной альтернативой остаются критерии Уэлча. Критерии Манна — Уитни и Краскела — Уоллиса остаются рекомендованными с оговоркой, поскольку при неравном разбросе их результат нельзя толковать как сдвиг положения. В смешанном плане нарушение затрагивает смешанный дисперсионный анализ по правилу сбалансированности, описанному в следующей строке. См. однородность дисперсий и критерий Левена.
• Однородность дисперсий по условиям (критерий Левена, Брауна — Форсайта) — только для смешанных планов: тот же критерий между группами внутри каждого замера, по строке на каждое сочетание переменной и условия, по испытуемым с данными во всех условиях. На этом допущении основаны F-критерии смешанного дисперсионного анализа. Примечание подсчитывает не прошедшие ячейки, а большое семейство считается нарушением, только если нарушений больше, чем даёт случайность. Нарушение понижает смешанный дисперсионный анализ, если ячейки различаются по размеру (наибольшая больше наименьшей в 1.5 раза и более), и оставляет его рекомендованным с оговоркой, если ячейки примерно равны, поскольку сбалансированный смешанный дисперсионный анализ устойчив к неравным дисперсиям групп. ART-ANOVA в любом случае получает оговорку, потому что выравнивание не исправляет различий в дисперсиях.
• Сферичность (критерий Моучли) — для зависимых и смешанных планов, где у фактора повторных измерений три уровня и больше: W Моучли для каждой зависимой переменной (при нескольких эффектах повторных измерений — по строке на эффект, названный в столбце Эффект). W вычисляется по той же широкой модели, что и дисперсионный анализ с повторными измерениями, с поправкой на межгрупповой фактор смешанного плана и на ковариату, а при неполном скрещивании факторов повторных измерений — на объединённом факторе. Подробная таблица добавляет число испытуемых, оставшихся в модели, и четыре столбца поправок, описанные ниже. Примечание подсчитывает переменные, для которых сферичность нарушена. Если ни у одного эффекта нет трёх уровней, строка показывает Пропущено как неприменимая, потому что сферичность тогда выполняется по построению. Нарушение никогда не понижает критерий: дисперсионный анализ с повторными измерениями, его многофакторный вариант и смешанный дисперсионный анализ остаются рекомендованными с оговоркой, что читать нужно p-значение с поправкой Гринхауса — Гейссера или Хюйна — Фельдта, по которому таблица результатов и так делает вывод. Если критерий Моучли не удалось вычислить, добавляется оговорка, что сферичность не проверена. См. сферичность и критерий Моучли.
• Однородность ковариационных матриц (M Бокса) — при двух или более числовых зависимых переменных: M Бокса между группами (ячейками скрещивания) на фиксированном α = 0.001 независимо от уровня значимости для проверки допущений. При выбранной ковариате он вычисляется по остаткам с поправкой на ковариаты, а в смешанном плане при любом числе зависимых переменных — по откликам каждого испытуемого (переменная × условие) между межгрупповыми группами. Так проверяется многовыборочная сферичность, на которую опирается и одномерный смешанный дисперсионный анализ. Нарушение понижает многомерные критерии с объединённой матрицей (MANOVA, MANCOVA, MANOVA с повторными измерениями и смешанный MANOVA), только если ячейки различаются по размеру (наибольшая больше наименьшей в 1.5 раза и более), и тогда MANOVA и MANCOVA направляются к гетероскедастичному MANOVA Йохансена. При примерно равных ячейках они остаются рекомендованными с оговоркой, и для смешанного дисперсионного анализа действует то же разделение. Энергетический критерий понижается при любом нарушении, поскольку он отклоняет гипотезу из-за неравного разброса так же охотно, как из-за неравных средних. Исключение — случай, когда нарушена и многомерная нормальность: тогда M Бокса ничего не доказывает, и понижение смягчается до оговорки. Если критерий выполнить не удалось, строка показывает Пропущено с причиной: в группе не больше наблюдений, чем переменных, ковариационная матрица вырождена или (в смешанном плане) в группе меньше 5 испытуемых с данными во всех условиях. См. однородность ковариационных матриц и M-критерий Бокса.
• Мультиколлинеарность — при двух или более числовых зависимых переменных: корреляция каждой пары по ковариации ошибки, то есть по остаткам после подгонки групп и ковариат (в зависимом или смешанном плане — после учёта испытуемого и условия). Отмечаются пары с |r| больше 0.90. Примечание приводит число отмеченных пар или наибольший |r|, а подробная таблица перечисляет отмеченные пары. Отметка понижает критерии, обращающие объединённую ковариационную матрицу (семейство MANOVA и критерий Йохансена), и не затрагивает энергетический критерий, который вместо этого вычисляет расстояния. Если проверку оценить не удалось, эти критерии остаются рекомендованными с пометкой, что допущение не проверено. См. мультиколлинеарность.
• Однородность наклонов регрессии — при выбранной ковариате: взаимодействие ковариаты с фактором, проверяемое для каждого сочетания зависимой переменной и ковариаты — с группирующей переменной в независимом плане, с переменной замеров в зависимом и с обеими в смешанном. Нарушение понижает критерии с ковариатами (ANCOVA, MANCOVA и многофакторный дисперсионный анализ с ковариатой, семейство с повторными измерениями или смешанное семейство) с причиной, где названо, что карточка выводит вместо них: область значимости для каждой пары. См. однородность наклонов регрессии.
• Линейность (ковариата–ЗП) — при выбранной ковариате: F-критерий для квадрата ковариаты, добавленного в модель внутри групп, для каждого сочетания зависимой переменной и ковариаты (в зависимом плане — на уровне испытуемых, в смешанном — только по межгрупповой части). При обнаруженной кривизне строка не пройдена, и критерии с ковариатами понижаются. См. линейность.
• Независимость ковариат — при выбранных ковариате и группирующей переменной: однофакторный дисперсионный анализ каждой ковариаты по группам (в смешанном плане — по одной строке на испытуемого). Если ковариата различается между группами, строка не пройдена, а критерии с ковариатами понижаются, поскольку ковариата смешана с воздействием. В плане только с повторными измерениями такой строки нет: ковариата с одним значением на испытуемого не может меняться вместе с условием. См. независимость ковариат.
• Коллинеарность ковариат — при двух или более ковариатах: та же проверка |r| > 0.90 внутри набора ковариат. Отмеченная пара даёт критериям с ковариатами оговорку, а не понижение, поскольку модель всё равно подгоняется, а какую ковариату исключить, решать вам. Подробная таблица перечисляет отмеченные пары.
• Допущения о ковариатах — единственная строка, в которую сворачиваются три проверки ковариат, если их модель не удалось подогнать вовсе. Строка показывает Пропущено с причиной.
• Ожидаемые частоты — для независимых планов с категориальной зависимой переменной: правило Кокрена для ожидаемых частот таблицы каждой переменной с группирующей (при объединяющей стратегии — со скрещиванием): ни в одной ячейке ожидаемая частота не должна быть меньше 1 и не более чем в пятой части ячеек — меньше 5. При стратифицирующей переменной правило применяется к таблицам по стратам, которые объединяет критерий Кокрена — Мантеля — Хензеля (для таблицы 2 × 2 × K — критерий Мантеля — Флейсса), а примечание предупреждает о приближении этого критерия, а не направляет к точному критерию Фишера. Строка ничего не понижает: категориальных критериев нет ни в одном из списков рекомендаций, а сам критерий хи-квадрат при нарушении правила предупреждает об этом под своей таблицей. См. ожидаемые частоты.
• Ожидаемые частоты (критерий согласия) — для одновыборочного режима с категориальной зависимой переменной: то же правило для частот, которые следуют из вашего ожидаемого распределения, — N, умноженное на долю каждого веса, или равномерное разбиение, пока вы ничего не ввели. При нарушении правила критерий согласия сам переходит на вычисление p методом Монте-Карло, о чём сообщает примечание. Если в гипотезе меньше двух категорий или какой-то вес не положителен, переменная не проверяется, а примечание предлагает задать положительное значение для каждой категории: это те же веса, которые отклоняет кнопка Запустить сравнительный анализ.
• Дискордантные пары (Мак-Немар / Стюарт — Максвелл) — для зависимых планов с категориальной зависимой переменной, если выбран критерий Мак-Немара или Стюарта — Максвелла (или условий два, а парный категориальный критерий не выбран): число пар, у которых ответы в двух условиях расходятся, по каждой переменной. Если условий больше двух, подсчёт идёт по каждой паре условий и выводится самая слабая пара. При числе меньше 25 строка не пройдена. При двух категориях примечание сообщает, что ниже этого порога сам собой включается точный биномиальный критерий, при большем числе категорий — что приближение может быть ненадёжным, поскольку у критерия Стюарта — Максвелла точной формы нет. Ничего не понижается. См. дискордантные пары.
• Информативные испытуемые (Q Кокрена) — для зависимых планов с категориальной зависимой переменной, если выбран критерий Q Кокрена (или условий три и больше, а парный категориальный критерий не выбран): испытуемые, чей ответ меняется между условиями. Строка не пройдена, если их меньше 4 или их число, умноженное на число условий, не больше 24, а небинарная переменная отмечается как таковая. Ничего не понижается. См. информативные испытуемые.
• Симметрия — для одновыборочного плана и зависимого плана с двумя условиями: перестановочный критерий со сменой знаков для асимметрии значений каждой переменной или парных разностей. Это допущение критерия знаковых рангов Вилкоксона, заменяющее нормальность, поэтому симметричная выборка с тяжёлыми хвостами не проходит строку нормальности, но проходит эту. Нарушение никогда не понижает критерий: критерий знаковых рангов остаётся рекомендованным с оговоркой, направляющей к критерию знаков или парному критерию знаков, которые не требуют предположений о форме. Строки нет, если ни у одной переменной не набралось 6 значений, нужных критерию. См. симметрия.

Рекомендации #

Каждый критерий, доступный в плане, указан один раз — как рекомендуемый или как нерекомендуемый с причинами, — а каждый вывод из сводной таблицы соотнесён с выборкой, а не принят как есть. Категориальных критериев нет ни в одном списке, поскольку их допущение — только строка ожидаемых частот.

• Рекомендуемые критерии — критерии с выполненными допущениями или с нарушением, которое на этой выборке несущественно, каждый со своими оговорками приглушённым шрифтом после тире. Оговорка значит, что критерий по-прежнему надёжен, но за чем-то стоит следить. Нормальность нарушена, но каждая группа (каждая выборка или парные разности) превышает Порог предупреждения о малой выборке (N), так что критерий устойчив в силу центральной предельной теоремы, и изменение настройки сдвигает эту границу. Нарушения в большом семействе не вышли за пределы случайности. Сферичность нарушена, и нужно читать скорректированное p-значение. Отмечены крайние наблюдения. Проверку не удалось оценить (нормальность, однородность дисперсий, многомерную нормальность, сферичность, ковариационные матрицы, мультиколлинеарность), так что допущение не проверено. Это настораживает, если выборка слишком мала для проверки, и успокаивает, если слишком велика. Неравные дисперсии при критериях Манна — Уитни или Краскела — Уоллиса, с указанием более подходящего критерия. Сбалансированный план, поглощающий нарушение M Бокса или критерия Левена по условиям. Коллинеарные ковариаты. Критерии, которые никогда не понижаются, вместо этого получают постоянную оговорку. У критериев знаков она стоит всегда, поскольку они учитывают только направления. Критерии усечённых средних, критерий Флигнера — Килина и критерий Йохансена получают её как менее мощные запасные варианты, пока ослабляемое ими допущение выполняется. ART-ANOVA и многофакторный ART с повторными измерениями всегда сопровождаются оговоркой, что они предполагают равенство дисперсий во всех ячейках, включая разные замеры, и никак не исправляют отклонений. Насколько оно нарушено, показывает таблица разброса стандартных отклонений по ячейкам ниже.
• Не рекомендуется — каждый пониженный критерий со своими причинами. Это либо нарушенное допущение, существенное для этой выборки (Допущение о нормальности нарушено или, с указанием проверенного, Нарушена нормальность остатков модели, Нормальность в ячейках «группа × замер» нарушена, Нормальность маргинальных распределений по факторам нарушена; Однородность дисперсий нарушена; Многомерная нормальность нарушена; выводы M Бокса и мультиколлинеарности; Ковариата связана с воздействием; Допущение о линейности нарушено; причина о наклонах, где названа область значимости, выводимая карточкой взамен), либо план, на котором критерий выполнить нельзя: Требуется сравнение двух групп, Требуется фактор с двумя или более уровнями, Требуется два или более группирующих фактора, Требуется два или более фактора повторных измерений, Требуется один порядковый фактор минимум с 3 уровнями для критериев тренда и Не оценено — укажите полную модель для оценки, пока нужная критерию роль не заполнена. Это те же требования, которые проверяет кнопка Запустить сравнительный анализ (см. выбор критерия).

Подробные результаты #

По таблице на каждую проверку, в порядке строк сводки. В каждой строке таблицы стоит вывод в столбце Статус, окрашенный по результату: зелёный — пройдено, красный — нарушение, янтарный — ячейка слишком мала или велика для проверки либо отметка о низких частотах, серый — проверка неприменима или не вычислена. Если основа таблицы — не исходные значения, а остатки модели, средние по испытуемым или испытуемые с данными во всех условиях, примечание над таблицей её называет. Для проверки, которую выполнить не удалось вовсе, вместо таблицы выводится причина.

• Проверка нормальности (Шапиро — Уилк) — переменные × ячейки: в каждой ячейке W, его p-значение, n (число испытуемых, если проверялись остатки модели повторных измерений) и моменты формы значений ячейки. Ячейка меньше чем из 3 значений показывает n < 3, больше чем из 5000 — n > 5000. Такие ячейки не проверяются, но моменты для них выводятся. Примечание над таблицей называет, какие остатки проверялись (модели повторных измерений, модели с поправкой на ковариаты или значения по ячейкам у полных испытуемых), а в смешанном плане столбцами служат ячейки «группа × замер». Полный набор критериев (K² Д’Агостино — Пирсона, Харке — Бера, Андерсона — Дарлинга) даёт анализ нормальности, если пропустить через него те же переменные. См. критерий Шапиро — Уилка.
• Асимметрия — вместе с Избыточный эксцесс это приглушённые строки внизу ячейки нормальности: насколько значения ячейки скошены в одну сторону и насколько тяжелее их хвосты, чем у нормальной кривой. Обе величины равны 0 у нормального распределения и не зависят от объёма выборки, в отличие от p-значения над ними, которое на большом n отвергает пустяковые отклонения, а на малом не замечает реальных. Поэтому они показывают, насколько ячейка далека от нормальности, тогда как W отвечает лишь на вопрос, далека ли. См. асимметрию и эксцесс.
• Выборка — единственный столбец таблиц нормальности и симметрии в одновыборочном режиме, то есть собственные значения каждой переменной. Остатки — единственный столбец там, где проверялись остатки модели. В таблицах выбросов и Мардиа эти слова обозначают ячейку, а Все испытуемые — единственную объединённую группу плана с повторными измерениями.
• Межгрупповые — вместе с Повторные измерения это группы столбцов таблицы нормальности, когда скрещивание смешанного плана больше 50 ячеек или его не удалось вычислить и таблица переходит на уровни каждого фактора в отдельности. Межгрупповые строки проверяются на среднем каждого испытуемого по условиям, строки повторных измерений — на средних по испытуемым для каждого уровня фактора, так что n в них — число испытуемых и ни один испытуемый не учитывается по разу на каждое условие. Примечание над таблицей называет применённый запасной вариант. Графики Q-Q и строка выбросов при этом варианте не выводятся, поскольку его строки пересекаются. См. межгрупповой фактор и фактор повторных измерений.
• График Q-Q остатков — по графику на каждую зависимую переменную под таблицей нормальности, по тем же остаткам, на которых проверялись её строки: каждая ячейка центрирована по своему среднему, и все ячейки объединены. Поэтому отклонения в противоположные стороны на общей картине могут взаимно погаситься, и читать график нужно вместе с числами по строкам, а не вместо них. Если остатков больше 5000, график строится по подвыборке из 5000 точек, взятой по порядку рангов (та же кривая с меньшим разрешением, а не случайная выборка), а для переменной меньше чем с 5 остатками графика нет. См. график Q-Q.
• Отмечено — в таблице выбросов, где перечислены только ячейки с отметками: сколько из n оценённых наблюдений ячейки отметил критерий.
• Самый крайний остаток — наибольший внешне стьюдентизированный остаток ячейки, то есть расстояние наблюдения от среднего его ячейки в единицах ошибки модели, вычисленной без этого наблюдения. p (Бонферрони) — его двустороннее p-значение, умноженное на число наблюдений в наборе переменной. Отметка ставится, если оно остаётся ниже уровня значимости для проверки допущений.
• Асимметрия χ² — многомерная асимметрия Мардиа, соотнесённая с χ² с p(p + 1)(p + 2)/6 степенями свободы для p переменных, с p-значением в столбце Асим. p. Эксцесс Z — многомерный эксцесс в виде двустороннего z, с p-значением в столбце Эксц. p. Столбец Группа называет межгрупповую ячейку, Остатки, если была поправка на ковариату, или Все испытуемые для единственной объединённой группы плана с повторными измерениями.
• Симметрия (перестановочный критерий асимметрии) — по строке на переменную: выборочная асимметрия g₁ в столбце Асимметрия, n и p-значение по 2000 повторам смены знаков отклонений от медианы при фиксированном зерне. Выборка или Разность называет, что проверялось. Выводы: Симметрично, Асимметрично или n < 6, когда критерий не может достичь обычного α. См. симметрия.
• Разброс стандартных отклонений по ячейкам — выводится, когда среди рекомендаций есть ART-критерий: по строке на зависимую переменную с числом ячеек (Ячейки), наименьшим и наибольшим стандартными отклонениями среди них (Наименьшее SD, Наибольшее SD) и их отношением (Наибольшее / наименьшее). Всё вычисляется ровно на той выборке, которую использует подгонка ART, поэтому совпадает с числами рядом с результатами ART-ANOVA. Это диагностика без вывода: порога нет, потому что значимость отношения зависит от размеров ячеек и от того, идёт ли разброс между группами или между замерами. Ячейка без дисперсии остаётся в столбцах SD, а отношение для неё не выводится. См. преобразование выровненных рангов и отношение дисперсий.
• ε (GG) — оценка Гринхауса — Гейссера того, насколько дисперсии попарных разностей условий отклоняются от равенства: 1 при выполненной сферичности и не меньше 1/(k − 1) для k уровней. На неё таблица результатов умножает обе степени свободы F. См. поправка Гринхауса — Гейссера.
• p (GG) — p-значение F эффекта при обеих степенях свободы, умноженных на ε (GG). Именно его приводят, когда ε (GG) меньше 0.75.
• ε (HF) — оценка той же величины по Хюйну — Фельдту, немного больше ε (GG), ограниченная сверху единицей. См. поправка Хюйна — Фельдта.
• p (HF) — p-значение с поправкой Хюйна — Фельдта, по которому таблица результатов делает вывод, когда ε (GG) не меньше 0.75.
• M-критерий Бокса — статистика в виде приближённого χ² (прибл.) со степенями свободы и p-значением, оцениваемым на фиксированном α = 0.001, о чём напоминает примечание под таблицей. Если основа — не исходные матрицы групп, примечание над таблицей её называет: остатки с поправкой на ковариаты или, в смешанном плане, отклики каждого испытуемого (переменная × условие). Если критерий выполнить не удалось, вместо таблицы выводится причина.
• ЗП — зависимая переменная строки проверки ковариат (по строке на каждое сочетание зависимой переменной и ковариаты), а Ковариата — проверяемая в строке ковариата (см. ковариата).
• Ось — в таблице наклонов смешанного плана показывает, какую сторону проверяет строка: Группы (межгрупповой фактор) — взаимодействие ковариаты с группирующей переменной по одной строке на испытуемого, Условия (фактор повторных измерений) — взаимодействие ковариаты с условием. Если межгрупповую часть подогнать не удалось, остаются только строки повторных измерений, а примечание объясняет, почему нет таблиц линейности и независимости.
• F (взаимодействие) — F-критерий для члена «ковариата × фактор» со степенями свободы и p-значением. Выводы: Однородные и Неоднородные, либо Неприменимо и Не удалось вычислить. Таблица линейности так же приводит F для квадратичного члена, а таблица независимости — F однофакторного дисперсионного анализа.
• df1 — вместе с df2 это степени свободы числителя и знаменателя соседнего F: в таблицах критерия Левена — число групп минус один и число наблюдений минус число групп, в таблицах наклонов, линейности и независимости ковариат — число коэффициентов члена и остаточные степени свободы модели. Дробное значение выводится с одним знаком после запятой.
• Ковариата 1 — вместе с Ковариата 2 это отмеченная пара таблицы коллинеарности ковариат, а r — их корреляция.
• Мин. ожидаемая — наименьшая ожидаемая частота в таблице переменной или по всем её стратам. Правило Кокрена требует, чтобы она была не меньше 1.
• Ячейки < 5 — число ячеек с ожидаемой частотой меньше 5, а % ячеек < 5 — их доля в таблице, которую правило ограничивает пятой частью. Всего ячеек — число учтённых ячеек (по всем стратам, если есть столбец Страты), Категории — число категорий в таблице критерия согласия, где каждая категория — ячейка, или у парной переменной. Выводы: Достаточно и Низкие частоты, Только одна категория, если проверять у переменной нечего, и Ожидаемое распределение задано не полностью, если введённые веса не все положительны.
• Дискордантные пары — таблица под этим заголовком и её первый столбец: по каждой переменной число пар, у которых ответы в двух условиях расходятся (если условий больше двух, наименьшее число по парам условий, о чём сообщает примечание), рядом с Полные пары — парами со значениями в обоих условиях — и Категории. Выводы: Достаточно и Слишком мало либо Только одна категория.
• Информативные испытуемые — столбец с подсчётом в таблице Q Кокрена: испытуемые, чей ответ меняется между условиями, рядом с Полные испытуемые — испытуемыми со значениями во всех условиях. Выводы: Достаточно, Слишком мало и Не бинарная для переменной, у которой категорий больше или меньше двух. См. информативные испытуемые и полные испытуемые.

Чтение результатов #

Нажмите Запустить сравнительный анализ, чтобы выполнить критерий. Настройки проверяются до любого обращения к R (незаполненная роль, критерий, который план не допускает, устаревшее направление), и при отказе сообщение указывает, что нужно изменить (см. когда критерий не запускается). Карточка называется Сравнительный анализ: {test} ({factor}), в одновыборочном режиме — Одновыборочное сравнение: {test}, а при пакетном или псевдофакторном запуске — по-своему. В ней по порядку идут те из следующих частей, которые дал запуск: общие результаты критерия для однофакторного критерия с последующими таблицами (таблицы сопряжённости, где распределения расходятся, критерий Моучли) и его апостериорными сравнениями; ошибки критериев; карточки семейств (многофакторного, смешанного, ART, многомерного анализа и ANCOVA); попарные сравнения; классификационный анализ; анализ соответствий и графики. Всё, что расчёт решил по ходу (исключить испытуемого, переключиться на другую ветвь, применить запасной вариант), сообщается в примечании под соответствующей таблицей, так что ничего не происходит незаметно: читайте примечания раньше чисел.

Ошибки критериев. Раздел, куда попадает подгонка семейства, закончившаяся неудачей (многофакторного, смешанного, ART, с поправкой на ковариаты или многомерного критерия), с заголовком Не удалось выполнить критериев ({n}): и текстом каждой ошибки, так что карточка, которую не удалось построить, никогда не исчезает бесследно. Ошибки однофакторного критерия перечисляются под его собственной таблицей с заголовком Переменные не прошли анализ ({n} шт.): и сгруппированы по сообщению, с перечнем не прошедших переменных под каждым. Если не осталось ни одной строки, таблицу заменяет Все переменные не прошли анализ. Сообщение пакета приводится дословно.

Диагностика. Блок под исходной таблицей карточки семейства, который появляется, когда подгонка приняла какое-то решение за вас: размер эффекта, не вычисленный пакетом; дисбаланс межгрупповых ячеек с диапазоном их размеров; испытуемые, исключённые построчно из-за пропущенного замера или значения ковариаты; значимое взаимодействие ковариаты с фактором повторных измерений; взаимодействие высокого порядка, оставленное без контрастов; эффект, который не удалось проверить многомерно; апостериорный эффект, расчёт которого не удался; ковариаты, проигнорированные ART-критерием; непройденная проверка выравнивания ART. Читайте этот блок до таблицы, под которой он стоит.

Стандартные критерии (t-критерий, дисперсионный анализ, критерий Краскела — Уоллиса и др.) #

Общие результаты критерия. По строке на каждую зависимую переменную для любого критерия, у которого нет карточки семейства: t-критериев и их ранговых, робастных и знаковых аналогов, однофакторного дисперсионного анализа, критериев разброса и распределения целиком, критериев тренда, категориальных и одновыборочных критериев. Столбцы зависят от критерия и ваших параметров: сводная статистика по группам или условиям, оценка и её интервал, если у критерия она есть, статистика, её степени свободы, p-значение и столбцы, которые добавляют поправка или направление эквивалентности, размер эффекта с интервалом и, если в настройках включена интерпретация, вывод. Двухвыборочный критерий на трёх и более уровнях строки здесь не выводит: его пары — это попарные сравнения.

Сначала идут столбцы по группам, по набору на каждую группу или условие с уровнем в заголовке ({group} N, {group} Среднее, {group} SD, {group} {level}% ДИ, …), в одновыборочном режиме — просто N, Среднее значение, … Каждый столбец описан у той сводной статистики, которая его включает. У категориальной зависимой переменной выводится только N, поскольку у её уровней нет среднего.

• Переменная — проверяемая в строке зависимая переменная, а на карточке множественного анализа соответствий — переменная, которой принадлежит категория. Если в запуске с несколькими переменными группа пуста по одной из них, её строка сохраняется с пустыми столбцами этой группы, так что пробел виден, а не скрыт и не заполнен условными числами.
• {group} {level}% ДИ для повторных измерений — второй интервал для каждого условия в плане с фактором повторных измерений и ID испытуемого. Это интервал Кузино — Мори: он исключает разброс между испытуемыми и потому позволяет сравнивать повторные уровни между собой, но интервалом для среднего самого условия не является — таким интервалом служит обычный интервал рядом, о чём напоминает примечание под таблицей. См. доверительный интервал для повторных измерений.
• Категория — в строке одновыборочного критерия доли: категория, считающаяся успехом, то есть выбор, сделанный в поле Категория, считающаяся успехом. Он повторяется здесь, потому что для переменной больше чем с двумя категориями больше ничто на карточке не показывает, какая доля проверялась. См. категория успеха.
• μ₀ — значение, с которым сравнивалась переменная строки в одновыборочном режиме: эталонное значение или собственное значение переменной при флажке Задать для каждой переменной. В строке критерия доли столбец называется π₀ и содержит гипотетическую долю.
• Оценка — оценка положения в одновыборочных критериях, то есть величина, которую охватывает соседний интервал: среднее для t-критерия, псевдомедиана Ходжеса — Лемана для критерия знаковых рангов Вилкоксона, медиана для критерия знаков и наблюдаемая доля (столбец p̂) для критерия доли.
• Разность — собственная оценка двухгрупповых критериев. Каждый критерий выводит ту величину, которую он оценивает: разность средних для t-критериев, разность усечённых средних для критерия Юэна, сдвиг Ходжеса — Лемана (медиану всех попарных разностей между группами) для критерия Манна — Уитни и его парную форму, псевдомедиану разностей, для критерия знаковых рангов Вилкоксона. Заголовок называет два уровня в порядке вычитания, Разность ({first} − {second}), поэтому знак никогда не бывает двусмысленным, а строка направления в выводе опирается на эту оценку.
• {level}% ДИ разности — интервал этой оценки, выводится вместе с доверительными интервалами среднего. Заголовок — {level}% ДИ разности {first} − {second}, у робастных критериев, оценивающих разность усечённых средних, — … разности усечённых средних (…), а в одновыборочном режиме — … ДИ оценки. Интервал двусторонний даже при одностороннем направлении: он описывает величину и точность эффекта, а решение принимается по одностороннему p. Интервал, не включающий ноль, соответствует двустороннему p ниже α, как объяснено в разделе интервал и p-значение. При направлении эквивалентности интервал строится на уровне 1 − 2α, и заголовок это указывает. При поправке p-значений все интервалы на карточке остаются на номинальном уровне, о чём напоминает примечание под таблицей.
• Статистика — столбец с символом самого критерия и звёздочками значимости для p, по которому принимается решение в строке: t, F (F* у Брауна — Форсайта), H, U, W у Бруннера — Манцеля, Ty у Юэна, D у Колмогорова — Смирнова, T.AD, J, L, Z у Кокрена — Армитиджа, K² у Бартлетта, χ², Q, I и JSD в битах, V у критериев знаковых рангов Вилкоксона. V выводится как V/maxV, то есть сумма рангов из максимально возможной, так же как S критериев знаков — число положительных знаков из n без совпадений, а x критерия доли — число успехов из n. При многомерном подходе V дисперсионного анализа с повторными измерениями — это след Пиллаи, а рядом стоит его приближённое F. У точного критерия Фишера статистики и столбца нет. Если точная ветвь критерия статистики не выводит (критерий Мак-Немара при менее чем 25 дискордантных парах, перестановочная ветвь Бруннера — Манцеля, точный условный вариант критерия Кокрена — Мантеля — Хензеля), ячейка остаётся пустой, а примечание указывает, какая ветвь выполнялась. Справка к заголовку открывает описание критерия в разделе выбор критерия. Соседний столбец размера эффекта озаглавлен символом меры, справка к нему открывает её определение, а описан он в разделе размеры эффекта. См. статистика критерия.
• df (эффект, ошибка) — две степени свободы F, эффекта и ошибки, в строках однофакторного дисперсионного анализа. Единственное значение t-критериев (у Уэлча и Юэна дробное, с одним знаком после запятой) и критериев χ² выводится под простым заголовком df (см. df). У критериев тренда, критериев знаков и точных ветвей степеней свободы нет, и столбец отсутствует, если ни в одной строке их нет.
• df (числ., знам.) — пара степеней свободы F-критерия равенства дисперсий, числителя и знаменателя: n₁ − 1 и n₂ − 1, а не эффект и ошибка.
• df (GG) — две степени свободы дисперсионного анализа с повторными измерениями, умноженные на ε (GG), то есть пара, с которой приводится F с поправкой Гринхауса — Гейссера: F(3.7, 744.7) при исходной паре 5 и 995. Столбец стоит между столбцами ε (GG) и p (GG), которые одномерный подход выводит для фактора с тремя уровнями и больше, а критерий Моучли выводится ниже в отдельной таблице, по строке на переменную. При многомерном подходе шесть столбцов сферичности и таблицу Моучли заменяет столбец V. См. поправка Гринхауса — Гейссера.
• df (HF) — та же пара с ε Хюйна — Фельдта, ограниченным сверху единицей, как и в его столбце (см. поправка Хюйна — Фельдта). Вывод опирается на скорректированное p, выбранное по правилу Гирдена (GG, пока ε (GG) меньше 0.75, и HF начиная с 0.75), что бы ни показал критерий Моучли, и помечается с коррекцией Гринхауса — Гейссера или с коррекцией Хюйна — Фельдта.

Столбец p — p-значение критерия, отформатированное по вашим настройкам p-значений (см. p). При поправке p-значений в режиме добавления за ним следует столбец p (скорр.) (в строке с поправкой на сферичность ячейка подписана p (кор., GG) или p (кор., HF), поскольку в семейство вошло скорректированное p), а в режиме замены скорректированное значение стоит в самом столбце p (см. p (скорр.)). Далее идут столбцы размера эффекта: символ меры, её ДИ и, если запрошено, SE. Они описаны в разделе размеры эффекта, где объяснены и пометки ⁿ, ‡, b и ! в ячейках. Пустая ячейка с ! означает, что в группе меньше двух наблюдений и стандартизованной разности не существует.

• Δ₂ — Δ Гласса, стандартизованная по стандартному отклонению второй группы, со своими ДИ Δ₂ и SE Δ₂, рядом с Δ основного столбца, стандартизованной по стандартному отклонению первой группы (см. Δ Гласса).
• g — в строке t-критерия это выбранная вами d с поправкой на смещение, g Хеджеса или g Уэлча, интервал которой взят от d без поправки, о чём сообщает примечание под таблицей. В строке критерия Мак-Немара или Стюарта — Максвелла и в таблице g Коэна по парам категорий это g Коэна, мера маргинального изменения.
• Интерпретация — вывод из трёх частей. Сначала решение на уровне значимости (по скорректированному p, если поправка применялась, а в строке с повторными измерениями — по p с поправкой на сферичность с пометкой с коррекцией Гринхауса — Гейссера или с коррекцией Хюйна — Фельдта), сформулированное под гипотезу критерия: Значимое различие, Значимая связь, Значимое различие дисперсий, Значимое различие между распределениями, Наблюдаемое распределение отличается от ожидаемого, Наблюдаемая доля отличается от π₀; при одностороннем направлении — Значимо больше (односторонний) или Нет значимого направленного различия; у критерия тренда — Значимый возрастающий тренд и родственные формулировки; выводы эквивалентности; Не определено, если p вычислить не удалось. Затем величина эффекта по ориентирам меры (для Δ Гласса — отдельно для Δ₁ и Δ₂). Затем строка направления, например Группа 1 < Группа 2, по собственной оценке критерия, если она есть, а иначе по сводной статистике семейства: с пометкой (SD) у критериев разброса и (Медиана) у критериев распределения целиком, которые упорядочивают по ней группы, не проверяя её. В одновыборочном режиме это {variable} < μ₀ или p̂ < π₀, а при значимом одностороннем критерии строка начинается с Направление подтверждено: или Неожиданное направление:. В строке критерия Кокрена — Мантеля — Хензеля строки направления нет, потому что направление объединённой таблицы может противоречить общему отношению шансов, которое и задаёт направление. Строка одностороннего точного критерия Фишера сохраняет обычную строку направления, а примечание под таблицей называет проверенные шансы. См. интерпретация.

Примечания под таблицей сообщают то, чего не видно в столбцах. Для всего запуска: уровень усечения критерия усечённых средних (Усечённые средние при γ = 0.2 (20% с каждого хвоста)) с предупреждением при значении выше 0.25; что I и JSD выражены в битах с потолком, который задаёт план; что интервалы не скорректированы на множественность, когда скорректированы p-значения; что интервал для повторных измерений — это интервал Кузино — Мори; что интервал g Хеджеса взят от d без поправки; что ω²p для повторных измерений — подстановочная оценка по тому же параметру нецентральности, обращением которого строится её интервал, и она немного больше, чем в effectsize и SPSS; что эффект повторных измерений проверялся следом Пиллаи; что каждый эффект повторных измерений выводится с поправкой независимо от критерия Моучли. Для каждой переменной: испытуемые, исключённые из-за пропущенного значения в каком-то условии, и испытуемые с несколькими строками в ячейке «испытуемый, условие», которые усредняются до критерия (учитываются один раз на запуск); наблюдения, равные μ₀, или пары с нулевой разностью, которые критерии знаков отбрасывают как совпадения, а критерии Вилкоксона при числе пар меньше 50 сохраняют и ранжируют; точная ветвь, проигнорировавшая поправку на непрерывность, или поправка, не повлиявшая на таблицу больше 2×2; интервал для медианы с дискретным покрытием, отличным от запрошенного, или неограниченный; отношение шансов, не вычисленное, потому что таблица не 2×2 (у критерия Кокрена — Мантеля — Хензеля — не 2×2×K), а если вычисленное, то какие шансы на какие делятся; ожидаемые частоты меньше 5; баллы тренда, использованные критерием Кокрена — Армитиджа; p-значение, полученное методом Монте-Карло или перестановкой, с числом повторов и пометкой, если оно достигло нижнего предела симуляции; критерий Бреслоу — Дея, разреженные страты и страты с нулевой ячейкой, а также страты из одного наблюдения, исключённые критерием Кокрена — Мантеля — Хензеля; вырожденная матрица или матрица неполного ранга у критерия Стюарта — Максвелла; категория, закодированная как успех; шансы, упорядоченные односторонним точным критерием Фишера; эффект повторных измерений, который не удалось проверить многомерно; точная ветвь критерия Бруннера — Манцеля; p критерия Колмогорова — Смирнова, которое пришлось вычислять асимптотически.

Строка критерия тренда содержит собственную статистику (J Джонкхира — Терпстры, L Пейджа, Z со знаком Кокрена — Армитиджа, положительный при растущей доле) и не содержит степеней свободы. Её p соответствует выбранному направлению тренда, а вывод называет его: Значимый возрастающий тренд, убывающий или монотонный. Критерий Джонкхира — Терпстры при совпадающих значениях или n ≤ 100 вычисляет p перестановкой с фиксированным зерном, а примечание указывает число повторов из настройки повторов перестановок. Критерий Пейджа использует точное нулевое распределение L, если условий меньше 16, блоков меньше 21 и ни в одном блоке нет совпадающих рангов, а иначе — нормальное приближение с поправкой на совпадения. Их размеры эффекта — τ-b Кендалла, ρ̄ Пейджа и w Коэна, а сводные столбцы идут в порядке возрастания фактора, так что тренд читается слева направо.

Если какие-то переменные не прошли анализ, сводка ошибок под таблицей группирует их по сообщению.

Где распределения расходятся #

Где распределения расходятся. Вторая таблица карточки критерия Колмогорова — Смирнова, по строке на зависимую переменную, а при попарном разворачивании — по строке на пару в сворачиваемой панели Где распределения расходятся: {variable}. Она раскладывает D на два стоящих за ним односторонних разрыва, так что карточка показывает, в какую сторону расходятся распределения и в каком месте шкалы, чего по одному D не видно. Примечание под таблицей поясняет ориентацию (D⁺ — величина, на которую кривая первой группы проходит выше кривой второй), а при двух группах больший разрыв отмечается на графике ЭФР вертикальным отрезком между кривыми в точке, где он достигается. Сам критерий остаётся двусторонним, и примечание под таблицей результатов поясняет, что для направленного вывода это консервативно, поскольку в хвосте $P(D>d)\approx 2P(D^{+}>d)$, так что двустороннее отклонение подтверждает и одностороннее утверждение в сторону большего разрыва. См. D Колмогорова — Смирнова.

• D⁺ и D⁻ — наибольшие величины, на которые накопленная кривая первой группы проходит соответственно выше и ниже кривой второй. D — большая из двух (см. D⁺ и D⁻).
• Значение при D⁺ и Значение при D⁻ — значение зависимой переменной, при котором достигается каждый разрыв: расхождение в нижнем хвосте означает иное, чем расхождение около медианы.
• Большее расхождение — какой из двух разрывов равен D, то есть статистике, проверенной выше. Если они равны, выводится –.

Результаты проверки эквивалентности #

При направлении эквивалентности таблица результатов открывается примечанием о границах и после двустороннего p получает столбцы эквивалентности. Примечание называет направление (Эквивалентность (TOST), Нехужесть (больше — лучше), Превосходство (меньше — лучше), Минимальный эффект (MET)) и границу. Исходная Δ приводится как введена, а стандартизованная — как введённое значение с мерой разброса, через которую она пересчитана (d Уэлча стандартизовано среднеквадратичным из двух стандартных отклонений, dz Коэна стандартизовано стандартным отклонением разностей, робастные стандартизованные единицы по медианному абсолютному отклонению у ранговых критериев или стандартное отклонение там, где MAD равно нулю), и её значение в исходных единицах, по переменным, если у нескольких переменных исходные границы различаются. В одновыборочном режиме приводятся сами сдвинутые нулевые значения μ₀ ± Δ на шкале интервала оценки. Ещё две строки поясняют, что интервал разности строится на уровне 1 − 2α, так что интервал, лежащий внутри границ, равносилен отклонению гипотезы на уровне α (см. интервал (1 − 2α)), и, для стандартизованной Δ, что границы зафиксированы при пересчёте, который сам является оценкой.

• p (двусторонний) — так называется обычный столбец p в режиме эквивалентности: это обычная двусторонняя проверка того, различаются ли группы, и к их эквивалентности она отношения не имеет. Решение об эквивалентности читайте по p (экви.) или p (MET) и по выводу, но никогда по этому столбцу: различие может быть одновременно статистически значимым и практически пренебрежимым, и вывод в таком случае это отмечает.
• p (нижн.) и p (верх.) — два односторонних критерия, по одному на границу. Они выводятся для TOST и MET, которые проверяют обе границы, а нехужесть и превосходство проверяют одну границу и выводят только её p.
• p (экви.) — решение об эквивалентности: большее из двух односторонних p-значений, поскольку пройти нужно обе границы (см. TOST). У критерия минимального эффекта столбец называется p (MET) и содержит меньшее из двух, поскольку достаточно одной границы (см. критерий минимального эффекта). По нему выносится вывод: Эквивалентны (в пределах Δ = 0.5), Не хуже (Δ = 0.5), Лучше (Δ = 0.5), Существенный эффект (|d| > Δ = 0.5), где Δ приводится так, как вы её ввели (пересчёт в исходные единицы — в примечании о границах), либо … не установлена (Δ = 0.5). Вывод TOST учитывает и двустороннее p: Статистически различны, но эквивалентны, если отклоняют оба, Различны, эквивалентность не установлена, если отклоняет только двусторонний, и Неопределённо — не установлены ни различие, ни эквивалентность, если не отклоняет ни один.
• p (экви., скорр.) — при поправке p-значений в режиме добавления стоит рядом со столбцом p (скорр.), в котором выводится скорректированное двустороннее p: это p решения после поправки. В общее семейство запуска входит именно p эквивалентности, а не двустороннее, поскольку решение принимается по нему. У критерия минимального эффекта столбец называется p (MET, скорр.). В режиме замены столбец решения сам показывает скорректированное значение. Вывод делается по скорректированному p.

Попарные таблицы содержат те же столбцы, если направление эквивалентности применяется к попарному разворачиванию, а примечание о границах перечисляет исходную Δ для каждого сравнения, если они различаются.

Категориальные критерии (хи-квадрат, точный критерий Фишера и др.) #

Категориальные критерии выводят строку результатов, как и любые другие (N по группам, статистика, df, p, размер эффекта и вывод Значимая связь или Значимой связи нет), а при включённой совместной таблице частот под ней выводится таблица частот, на которой выполнялся критерий. У точного критерия Фишера нет столбца статистики: его p берётся прямо из гипергеометрического распределения, размер эффекта — V Крамера или отношение шансов (на таблице 2×2 с точным интервалом из fisher.test), а при одностороннем направлении, доступном только для таблицы 2×2, примечание под таблицей называет шансы, упорядоченные альтернативой. Таблица с тремя и более строками и столбцами при числе наблюдений больше 1000, любая таблица больше 30 ячеек или таблица, перебор которой исчерпывает рабочую память R, получает p методом Монте-Карло по 10 000 повторов с фиксированным зерном, о чём сообщает примечание. Если p достигло нижнего предела симуляции 1/10 001, оно отмечается как верхняя граница. Критерий Мак-Немара при числе дискордантных пар меньше 25 переходит на точный биномиальный критерий по этим парам, а примечание приводит их число. Если таких пар нет, выводится NA с примечанием. Полностью вырожденная матрица критерия Стюарта — Максвелла (пустые или полностью избыточные категории) даёт NA с примечанием, частично вырожденная обращается по своему эффективному рангу со снижением df и примечанием, что результат приближённый, а на таблице 2×2 вместо него выполняется критерий Мак-Немара вместе с поправкой на непрерывность. Q Кокрена и критерий тренда Кокрена — Армитиджа считают успехом большее из двух значений бинарного исхода, а примечание его указывает, чтобы таблица частот и знак тренда читались правильно.

• Таблица сопряжённости — Таблица сопряжённости: {variable}, по одной на каждую зависимую переменную: наблюдаемая частота в каждой ячейке с процентом по столбцу, итоги по строкам и столбцам, а для критериев хи-квадрат и согласия — ещё ожидаемая частота (Ожид.:) и стандартизованный остаток (Ст. ост.:) под каждой частотой. Примечание под таблицей объясняет оба обозначения. Остаток, выделенный полужирным, превышает критическое |z| с поправкой Бонферрони на число ячеек (примечание приводит значение и число ячеек). Такая отметка выделяет ячейку, которая остаётся крайней с учётом множественности по всей таблице, а не просто выходит за эмпирические ±2, и диаграмма долей категорий отмечает те же ячейки по тому же правилу. Таблица парных критериев скрещивает два условия одной переменной (заголовок строк называет первое, общий заголовок столбцов — второе), так что ячейки вне диагонали — это дискордантные пары. Числовая зависимая переменная с не более чем 20 различными значениями получает такую же таблицу частот, но без ожидаемых.
• Значение — категория зависимой переменной, которую подсчитывает строка. В парной таблице это её категория в первом условии, название которого заменяет этот заголовок.
• Количество — единственный столбец таблицы критерия согласия: наблюдаемая частота каждой категории с процентом, а под ней ожидаемая частота и стандартизованный остаток при вашем ожидаемом распределении.
• Наблюдаемые и ожидаемые частоты — Наблюдаемые и ожидаемые частоты: {variable}, таблица критерия согласия. Она выводится независимо от флажка таблиц частот, поскольку это основной результат критерия: по строке на категорию одной переменной, без таблицы сопряжённости (см. критерий согласия). Строка результатов содержит χ², его df (число категорий минус один), p и, при включённых размерах эффекта, w Коэна. Если ожидаемая частота меньше 5, p пересчитывается методом Монте-Карло по 10 000 повторов с фиксированным зерном, а примечание приводит минимальную ожидаемую частоту и число повторов. Сами χ² и df остаются асимптотическими. При включённой визуализации таблицу сопровождает график наблюдаемых и ожидаемых частот.
• Страта: {variable} = {level} — таблицы по стратам критерия Кокрена — Мантеля — Хензеля, по одной после объединённой Таблицы сопряжённости: это срезы, по которым критерий объединяет данные, и по ним видно, направлена ли связь одинаково в каждой страте (см. страта). Строка результатов содержит χ² Мантеля — Хензеля с df = (I − 1)(J − 1), а на таблице 2×2×K при включённых размерах эффекта — общее отношение шансов с интервалом. Примечание под ней называет, какие шансы на какие делятся. Строка Бреслоу — Дей (Тарон) сообщает, однородны ли отношения шансов по стратам, на уровне значимости для проверки допущений. Если они неоднородны, общее отношение может вводить в заблуждение, и приводить следует таблицы по стратам (см. критерий Бреслоу — Дея). Другие примечания сообщают, что объединённая таблица оказалась слишком разреженной для приближения χ² и вместо него выполнен точный условный критерий (p без χ²), что в стратах есть нулевые ячейки, что страты из одного наблюдения исключены и что критерий Бреслоу — Дея вычислить не удалось вовсе.
• g Коэна по парам категорий — g Коэна по парам категорий: {variable}, таблица размера эффекта критерия Стюарта — Максвелла: по строке на пару дискордантных категорий, в каждой — настоящее g Коэна для таблицы 2×2 с интервалом и оценкой величины, поскольку одно g, усреднённое по трём и более категориям, таковым не является.
• Пара категорий — две категории, между которыми вычислено g строки, A против B.

Результаты анализа соответствий #

Анализ соответствий. Раздел, который флажок Включить анализ соответствий добавляет к карточке критерия хи-квадрат или Фишера: по блоку на зависимую переменную с её именем в заголовке, с таблицей инерции, таблицей координат для каждой стороны таблицы с заголовком Категории переменной {variable} и картой соответствий. Примечание под каждой таблицей объясняет, как её читать. Что представляет собой разложение, см. анализ соответствий.

Множественный анализ соответствий. Единственный раздел уровня запуска, который выводится вместо поблочных при варианте Все выбранные переменные совместно: таблица инерции, скорректированной на индикаторное кодирование, строка с числом переменных, категорий и полных наблюдений, примечание о переменных, исключённых из-за единственного значения, и о парах переменных, одинаково разбивающих наблюдения, и одна таблица координат по всем категориям со столбцом Переменная, где названа переменная каждой категории. См. множественный анализ соответствий.

• Категории переменной {variable} — таблица координат одной стороны таблицы, по строке на категорию этой переменной.
• Измерение — в таблице инерции номер измерения. Перечислены все измерения таблицы, их на одно меньше, чем меньшая из её сторон. В таблицах координат столбцы Измерение 1 и Измерение 2 — координаты категории на двух измерениях, которые рисует карта. Только они там и выводятся.
• Инерция — в таблице инерции доля измерения в общей связи в абсолютном выражении (в сумме по измерениям это χ² таблицы без поправки на непрерывность, делённый на n, который приводит строка под таблицей). В таблицах координат это доля категории в этом итоге в процентах. См. инерция.
• % инерции — доля измерения в процентах от итога. На карточке множественного анализа это % скорректированной инерции — после поправки Гринакра на индикаторное кодирование, поэтому проценты не складываются в 100 и несопоставимы с процентами двумерной карточки.
• Накопленный % — нарастающий итог, чтобы два измерения на карте читались одним числом.
• Категория — категория строки из переменной, названной в заголовке таблицы.
• Масса — доля категории в общей частоте таблицы (см. масса): редкая категория мало влияет на решение, как бы далеко она ни лежала.
• Вклад {n} — какую долю измерения определяет категория, в процентах, которые в сумме по столбцу дают 100. Смысл измерения определяют несколько наибольших вкладов (см. вклад).
• Качество {n} — насколько хорошо это измерение представляет категорию (квадрат косинуса), а Общее качество — то же для обоих изображённых измерений вместе. Категорию с низким общим качеством карта не описывает, как бы далеко от начала координат она ни стояла. Вклад и качество показывают связь категории с измерением с противоположных сторон (см. качество).

Таблицу, которую нельзя разложить, расчёт отклоняет и выводит причину вместо таблиц: после удаления пропусков осталось меньше 2 строк или 2 столбцов либо каждая ячейка в точности соответствует независимости. Совместный анализ, кроме того, отклоняет случаи, когда переменных, принимающих больше одного значения, меньше трёх, полных наблюдений меньше, чем переменных, или ни одно измерение не несёт больше кодирования, чем приходится на одну переменную, то есть переменные выглядят взаимно не связанными.

Попарные сравнения #

Попарные сравнения. Карточка содержит плоские таблицы пар, по одной на зависимую переменную с заголовком Попарные сравнения: {variable}. Их дают запуски двух видов: двухвыборочный критерий на факторе с тремя и более уровнями, который разворачивается на все пары и не выводит строки общего критерия (см. выбор критерия), и разбивка, которую флажок Включить апостериорные проверки добавляет к общим критериям без списка методов (критерию независимости хи-квадрат, точному критерию Фишера, критериям Андерсона — Дарлинга, Бартлетта, Флигнера — Килина и взаимной информации). Здесь каждая пара — это общий критерий на её подтаблице или подвыборке. Обе выводятся в виде матрицы или длинной таблицы, как задано в поле Формат таблицы попарных сравнений, а таблицы Апостериорный анализ для: {variable}, которые выводят апостериорные методы из списка (Тьюки, Данна, Коновера и другие), устроены так же и имеют почти те же столбцы. Отличия описаны в разделе таблицы апостериорных сравнений. См. попарные сравнения.

Сводка попарного анализа. Блок над таблицами подсчитывает проанализированные переменные и общее число их сравнений, а при поправке p-значений называет метод и семейство, к которому она применялась: внутри собственного семейства каждой переменной из {n} сравнений для разбивки общего критерия по запросу, совместно со всеми остальными критериями этого анализа для автоматического разворачивания. У апостериорных таблиц свои строки Метод: и поправки, а этот блок явно показывает поправку плоских таблиц.

• Матрица — уровни по обеим осям, заполнен нижний треугольник, и каждая ячейка читается как «строка − столбец». Отражённая ориентация выводится из подогнанной: статистика со знаком меняет знак, F для дисперсий заменяется обратной величиной, U Манна — Уитни, V знаковых рангов и счёт критерия знаков дополняются до своего максимума, симметричная статистика (χ², D, T.AD, I, JSD) сохраняется, разность и её интервал меняют знак и концы, размер эффекта отражается на собственной шкале, Δ₁ и Δ₂ Гласса меняются местами, а одностороннее p эквивалентности заменяется второй подгонкой, которую запуск выполнил для отражённой гипотезы. В ячейке до семи строк: статистика со степенями свободы и звёздочками значимости; оценка разности, если критерий пары её даёт, и интервал разности; p (p (двусторонний) при направлении эквивалентности) и p(adj) в режиме добавления; p решения об эквивалентности (p(equiv), p(NI), p(sup) или p(MET)) со скорректированным двойником; размер эффекта с интервалом и SE; Δ₂ для Δ Гласса. Ячейки окрашены по p решения (по скорректированному, если поправка применялась, и по p эквивалентности при направлении эквивалентности). У неудавшейся пары выводится Ошибка, а обозначения поясняет легенда под таблицей.
• Длинная таблица — по строке на пару со столбцами в таком порядке: сравнение, статистики двух групп, разность и её интервал, статистика, df, p-значения, размер эффекта с интервалом и SE и вывод.
• Сравнение — пара, которую сравнивает строка, {group1} против {group2}. Везде, где есть знак, из первого уровня вычитается второй. В апостериорной таблице пара записывается как {group1} — {group2}.
• Группа 1 и Группа 2 — два члена пары. В каждой ячейке выводятся включённые вами сводные статистики этой группы (n, M, Мед, Мода, SD, SE, интервал, а в плане с фактором повторных измерений — и интервал для повторных измерений, К1, К3, МКР, Мин, Макс, Средний ранг), так что пару можно сопоставить с её описательными статистиками, не покидая строки. Если ни одна сводная статистика не включена, этих двух столбцов нет.

Столбец Разность и его интервал — собственная оценка пары. Они есть у критериев положения, которые её дают, и отсутствуют у пар критериев разброса, распределения целиком и категориальных критериев. Описаны они в разделах Разность и ДИ разности. При направлении эквивалентности интервал строится на уровне 1 − 2α, о чём сообщает примечание о границах над таблицей. Столбец статистики озаглавлен символом самого критерия, как в таблице общих результатов критерия, со звёздочками по p решения строки, а V знаковых рангов и счёт критерия знаков выводятся в виде отношений. df — степени свободы пары: объединённые N − k при разворачивании критерия Стьюдента, дробные у Уэлча и Юэна, df (числ., знам.) у F-критерия (см. df). p-значения устроены так же, как в однофакторной таблице: p, p (скорр.) в режиме добавления, а при направлении эквивалентности — p (двусторонний), p (нижн.), p (верх.), p (экви.) или p (MET) и их скорректированные формы, описанные в разделе результаты проверки эквивалентности. Столбец размера эффекта содержит символ меры, её ДИ и, если запрошено, SE, а для Δ Гласса — Δ₂ рядом с Δ₁. Всё это описано в разделе размеры эффекта.

• Интерпретация — краткий вывод по паре: Значимо или Незначимо на уровне значимости, по скорректированному p, если поправка применялась; Значимо больше или Значимо меньше при одностороннем направлении; Эквивалентны, Различны, но эквивалентны, Различны, не эквивалентны или Нет однозначного вывода при TOST, Не хуже, Превосходит или Существенный эффект (либо их формы «не установлено») при других направлениях эквивалентности; Не определено, если p отсутствует, и Не выполнено, если расчёт пары завершился ошибкой. Затем величина эффекта по ориентирам меры и строка направления, например Группа 1 > Группа 2, по собственной оценке пары, если она есть, а иначе по сводной статистике семейства. При значимом одностороннем сравнении перед ней стоит Направление подтверждено: или Неожиданное направление:. В апостериорной таблице вывод — только само решение. См. интерпретация.

Примечания под таблицами сообщают то, чего не видно в столбцах: что интервалы не скорректированы на множественность, когда скорректированы p-значения; что интервал для повторных измерений — это интервал Кузино — Мори; что интервал g Хеджеса взят от d без поправки; уровень усечения при разворачивании критерия усечённых средних; что попарная JSD выражена в битах с потолком в 1 бит; а для каждой пары — диагностику однофакторной таблицы: ожидаемые частоты меньше 5, ветвь Монте-Карло или точную ветвь, отброшенные совпадения, поправку на непрерывность, не повлиявшую на результат, интервал для медианы с покрытием, отличным от запрошенного. Разворачивание критерия Стьюдента добавляет ещё одно примечание: каждая пара проверялась относительно внутригрупповой ошибки, объединённой по всем группам, с N − k степенями свободы вместо n₁ + n₂ − 2 двух групп. Примечание называет t-критерий Уэлча как способ получить ошибку с раздельными дисперсиями для каждой пары: объединение следует из допущения критерия о равенстве дисперсий, поэтому зависит оно от выбора критерия.

Попарные таблицы сопряжённости. Если пары получены категориальным критерием и включена совместная таблица частот, за таблицей следует сворачиваемая панель Попарные таблицы сопряжённости: {variable} с подтаблицей каждой пары под заголовком A против B: это частоты, на которых построены χ², V Крамера или отношение шансов пары. Такую же панель получают попарные критерии Мак-Немара для Q Кокрена, с таблицей 2×2 совпадений и расхождений для каждой пары. Разворачивание критерия Стюарта — Максвелла добавляет g Коэна по парам категорий: {variable}, по таблице g на пару, а разворачивание критерия Колмогорова — Смирнова — панель где распределения расходятся по парам.

Таблицы апостериорных сравнений #

Апостериорный метод из списка, то есть флажок Включить апостериорные проверки при однофакторном общем критерии со списком методов, выводит по таблице на зависимую переменную на карточке апостериорных сравнений с заголовком Апостериорный анализ для: {variable}, в формате, выбранном в поле Формат таблицы попарных сравнений. Методы «все против одного» всегда выводятся в длинном формате. Между заголовком и таблицей может быть до четырёх строк. Метод: называет метод так, как он записан в списке. Строка поправки — P-значения скорректированы методом {method} (для метода с собственным контролем здесь назван этот контроль: Стьюдентизированный размах Тьюки (точный) или HSD Тьюки, многомерное t (точное), Многомерное t Даннетта (точное), Стьюдентизированный максимальный модуль) либо P-значения не скорректированы. При поправках Холма, Хоммеля, Хохберга, Бенджамини — Хохберга и Бенджамини — Екутели к ней добавляется оговорка, что интервалы получены одношаговой поправкой, поэтому строка может быть значимой, хотя её интервал включает ноль. Далее — контрольная группа, с которой метод «все против одного» сравнивал на самом деле, если у выбранной не оказалось пригодных данных. Наконец, Опорное df = {df} выводится для критерия Коновера: все его пары используют одни и те же (n − 1)(k − 1) степеней свободы. Предупреждение над таблицей отмечает незначимый общий критерий: сетка значимых пар при незначимом общем критерии — классическая ошибка прочтения защищённого критерия.

• Разность — в апостериорной таблице оценка контраста, первый уровень минус второй: разность средних двух уровней для методов Тьюки, Геймса — Хауэлла, Даннетта и попарных t-критериев с объединённой ошибкой, разность оценённых краевых или скорректированных средних для методов на основе emmeans и разность усечённых средних для lincon. Ранговые методы (Данна, Коновера, Неменьи) и пары дивергенции выводят статистику без разности, и столбца нет. Если метод расширил интервал на всё семейство, заголовок интервала — одновременный ДИ (см. {level}% одновременный ДИ).

Столбец статистики у каждого метода свой: Z у критериев Данна, t у Коновера, Геймса — Хауэлла, Даннетта, T3 Даннетта и всех контрастов emmeans, q у Неменьи, JSD у пар дивергенции. У Тьюки и попарных t-критериев с объединённой ошибкой статистики нет, и в строках только разность, интервал и p. Звёздочки ставятся по p строки, которое уже скорректировано. Столбец df есть там, где у метода свои степени свободы для каждой пары (остаточные df контрастов emmeans, df Уэлча у Геймса — Хауэлла и T3 Даннетта), и отсутствует у Тьюки, Неменьи, Данна и однофакторного Даннетта. В матричном формате каждая ячейка содержит статистику, её df, Разн, интервал и p, сводные статистики уровней выводятся под заголовками столбцов, а легенда поясняет строки. В плане с фактором повторных измерений примечание над блоком называет член ошибки, по которому вычислены контрасты. Семейства с повторными измерениями и смешанные дают каждому сравнению свой член ошибки (по его ячейкам, а не объединённый член общего критерия), так что контраст остаётся корректным при нарушении сферичности ценой меньшего числа степеней свободы и вывода, который может не совпадать с общим критерием. Семейства ART используют объединённую ошибку и сообщают об этом (см. член ошибки). В многофакторном или смешанном плане контрасты вместо этого группируются по эффектам, как описано в разделе факторный дисперсионный анализ.

Результаты классификационного анализа (ROC) #

Классификационный анализ (ROC). Раздел, который флажок Включить классификационный анализ (ROC) добавляет после попарных сравнений: одна таблица со строкой на зависимую переменную (при попарном разворачивании — на пару групп, а при правиле, взвешенном по стоимости, — по две строки на подгонку), легенда под ней, нужные примечания и, если AUC сравниваются, таблица сравнения AUC. Кривая, которую не удалось построить (у пары осталось меньше двух групп или меньше четырёх наблюдений со значениями), указывается в сводке ошибок под таблицей, а не строкой. Смысл чисел объяснён на странице об основах регрессии: ROC-кривая, AUC и метрики после них. Саму кривую рисует график ROC-кривая.

• Переменная — зависимая переменная, значения которой сравниваются с порогом.
• Сравнение — пара групп, на которой построена кривая строки, A против B. Столбец есть только при попарном разворачивании.
• Предсказываемая группа — группа, на которую указывают более высокие значения: к ней относится наблюдение на пороге и выше. Это уровень, который подгонка считает «случаями». Он выбирается так, чтобы AUC была не меньше 0.5. Исключение — режим Сравнить AUC: там у всех переменных одна ориентация, и переменная, различающая группы в обратную сторону, сохраняет эту подпись при AUC ниже 0.5, о чём тогда сообщает легенда.
• Другая группа — вторая группа пары, на которую указывают более низкие значения. Именно она названа «другой» в подсчёте столбца N.
• AUC — площадь под кривой: вероятность того, что случайный член предсказываемой группы получит более высокое значение, чем случайный член другой. Значение 0.5 означает случайное угадывание, 1 — полное разделение. Общепринятые градации и то, почему это ориентиры, а не законы, описаны в разделе AUC.
• {level}% ДИ — интервал для AUC, по замкнутой формуле Делонга или бутстрэпом, в зависимости от поля Доверительный интервал AUC. Метод указан в легенде.
• Оценка Брайера — средний квадрат ошибки калиброванных по Платту вероятностей относительно принадлежности к группе. Идеальное значение 0, и чем меньше, тем лучше. AUC проверяет, правильно ли значения упорядочивают группы, а оценка Брайера — верны ли вероятности, которые из них следуют (см. оценку Брайера). Калибровка подгоняется на тех же наблюдениях, поэтому описывает соответствие данным, а не качество прогноза. Если все значения одинаковы, ячейка пуста.
• Относительная оценка Брайера — та же оценка, пересчитанная относительно предсказания, которое всегда равно базовой частоте, и поэтому сопоставимая между переменными с разным соотношением групп: 1 — идеально, 0 — не лучше базовой частоты, отрицательное значение — хуже (см. относительную оценку Брайера).
• N — наблюдения, на которых построена кривая, в виде всего (предсказываемая/другая). В режиме «Сравнить AUC» это общее для всех переменных подмножество, о чём сообщает примечание под таблицей.
• Более тяжёлая ошибка — только при правиле, взвешенном по стоимости: какая из двух строк подгонки перед вами. Пропуск положительного — по соотношению стоимостей более дорогой ошибкой считается пропуск наблюдения предсказываемой группы, Ложная тревога — обратное соотношение.
• Порог — порог, выбранный правилом, с бутстрэп-интервалом в скобках: значения на пороге и выше относятся к предсказываемой группе. Перед порогом стоит ≥ или, для переменной, различающей группы в обратную сторону в режиме «Сравнить AUC», ≤: её рабочая точка берётся по зеркальному правилу. Порог и пять метрик после него выводятся, пока включён флажок Метрики классификации при оптимальном пороге.
• Чувствительность — доля наблюдений предсказываемой группы, которые улавливает порог, то есть доля истинно положительных (см. чувствительность). При сдвиге порога чувствительность и специфичность меняются в противоположные стороны, и ни одна из них не зависит от распространённости.
• Специфичность — доля наблюдений другой группы, которые порог отсекает, то есть доля истинно отрицательных (см. специфичность).
• PPV — доля наблюдений, отнесённых к предсказываемой группе, которые действительно к ней принадлежат (см. прогностическая ценность положительного результата). Вместе с NPV и точностью она зависит от распространённости, поэтому для выборки, в которой соотношение групп не такое, как в популяции, её вычисляют при введённой распространённости в популяции, а примечание под таблицей сообщает, какая распространённость была использована.
• NPV — доля наблюдений, отнесённых к другой группе, которые действительно к ней принадлежат (см. прогностическая ценность отрицательного результата).
• Точность — доля всех наблюдений, классифицированных верно, при той же распространённости, что и PPV с NPV.

Интервал в скобках рядом с порогом и каждой метрикой — процентильный бутстрэп, в каждой выборке которого порог выбирается заново, с числом выборок из настройки Повторы бутстрэпа. Так он учитывает оптимизм порога, выбранного на тех же наблюдениях, на которых он оценивается, о чём напоминает легенда. Под легендой идут примечание о том, что режим «Сравнить AUC» исключил перед подгонкой все наблюдения с пропуском в любой выбранной переменной, если так было, и правило выбора порога (Порог оптимизирован по J Юдена, … как ближайшая точка к (0, 1) или строка правила, взвешенного по стоимости, с соотношением стоимостей и использованной распространённостью, например распространённость в популяции 0.3 там, где она применима, и выборочная распространённость в остальных случаях, когда попарное разворачивание смешивает оба варианта). Если распространённость введена, там же указано, к какой группе она была привязана. Если же она ни к чему не применилась, потому что названный уровень не является группой этого сравнения или группа не указана, используется выборочная распространённость, и примечание об этом сообщает, так что нельзя ошибочно решить, что введённая распространённость была применена.

Сравнение AUC (критерий Делонга) #

Сравнение AUC (критерий Делонга). Если флажок Сравнить AUC включён и построено две кривые или больше, каждая пара зависимых переменных проверяется критерием Делонга для коррелированных AUC (см. критерий Делонга) — в одной таблице или, при попарном разворачивании, в разделах по парам групп с заголовками A против B, каждый со своими сравнениями переменных. Примечание под таблицей поясняет смысл столбцов, а строка поправки называет метод и семейство: все сравнения AUC в анализе (все пары переменных, пары групп и итерации пакетного анализа), а не только строки на экране.

• Переменная 1 и Переменная 2 — две зависимые переменные, AUC которых сравнивает строка.
• Δ AUC — AUC(Переменная 1) − AUC(Переменная 2).
• Z — статистика Делонга для разности двух AUC на одних и тех же испытуемых, со звёздочками по p решения строки (см. z).

За ней следует столбец p, а в режиме добавления — p (скорр.) (см. p (скорр.)). В режиме замены скорректированное значение стоит в столбце p, поэтому метод и указан в строке под таблицей. Пара, критерий для которой завершился ошибкой, указывается в сводке ошибок под таблицей.

Факторный дисперсионный анализ #

Результаты многофакторного дисперсионного анализа. Карточка (при назначенных ковариатах — Результаты многофакторного дисперсионного анализа с ковариатой) содержит по блоку на зависимую переменную с заголовком Многофакторный дисперсионный анализ: {variable} или Многофакторный дисперсионный анализ с ковариатой: {variable} для критерия Многофакторный дисперсионный анализ: две или больше группирующих переменных в одной модели. Запуск с одной переменной отклоняется (см. когда критерий не запускается), а не сводится к однофакторному анализу. Ковариаты входят в ту же таблицу источников вместе с эффектами плана, а скорректированные средние вычисляются с поправкой на них. Всё остальное читается так же. Каждый блок идёт в таком порядке: таблица источников, диагностика, апостериорные контрасты, скорректированные средние, анализ различия наклонов и описательные статистики. Термины плана см. в разделах фактор, ячейка и полное скрещивание.

Таблица источников содержит по строке на каждый эффект полного скрещивания (все главные эффекты и все взаимодействия) и по строке на каждую ковариату и завершается строками Ошибка и Итого (скорректировано), которые замыкают разложение, так что каждое число выше можно с ними сверить. Примечание под таблицей называет тип сумм квадратов, а у нечастичного размера эффекта есть второе примечание о том, на что он делится.

• Источник — эффект, который проверяет строка: фактор, взаимодействие через × или ковариата. При наличии ковариат каждая строка фактора помечена (фактор), а каждая строка ковариаты — (ковариата), так что два вида предикторов различаются с первого взгляда. У строки взаимодействия пометки нет, поскольку A × B и так очевидно член плана.
• SS — сумма квадратов, которую выбранный тип отнёс на этот источник (см. сумма квадратов). При типе III это уникальный вклад каждого члена, поэтому в несбалансированном плане строки эффектов не складываются в скорректированный итог.
• df — степени свободы статистики строки. В таблице источников это степени свободы эффекта и ошибки в одной ячейке (2, 189), то есть пара, с которой соотносится F, а в замыкающих строках — только их собственные. В строке контраста или пары это одно значение: остаточные df контраста emmeans, оценка Кенварда — Роджера на карточках ART, объединённые N − k при разворачивании критерия Стьюдента, дробные у Уэлча и Юэна (см. df).
• MS — средний квадрат, SS, делённая на df (см. MS). MS строки ошибки — знаменатель каждого F выше неё, а у скорректированного итога MS намеренно не выводится: SS/df там — выборочная дисперсия, а не член таблицы источников.

Далее идут F — средний квадрат строки, делённый на средний квадрат ошибки, со звёздочками значимости по p решения (см. F); p и, в режиме добавления, p (скорр.) (каждая строка эффекта, кроме строк ковариат, входит в общее семейство запуска); размер эффекта, выбранный в поле Метод расчёта размера эффекта (по умолчанию частичная η², иначе η², ω² или ε²), с символом в заголовке и интервалом при флажке Доверительные интервалы размеров эффекта. Если пакет не смог вычислить выбранную меру, её заменяет частичная η² с сообщением в диагностике. Последний столбец — вывод Интерпретация: Значимый главный эффект или Нет главного эффекта, Значимое взаимодействие или Нет взаимодействия, Значимый эффект ковариаты или Нет эффекта ковариаты, Не определено, если p нет. Вывод делается по скорректированному p, если поправка применялась, и сопровождается величиной эффекта по ориентирам меры.

η², ω² и ε² — доля эффекта в скорректированной общей сумме квадратов из последней строки таблицы, поэтому их можно проверить вручную, о чём напоминает примечание под таблицей с названием выбранной меры. В несбалансированном плане при типе III доли не складываются в R² модели, а пакет, делящий на сумму SS самого эффекта и SS ошибки, даёт несколько иные значения. На частичную η² это не влияет.

При включённых апостериорных сравнениях далее идёт раздел Апостериорные сравнения (см. апостериорные сравнения) с блоком на каждый член модели. Главный эффект: {factor} — попарные контрасты уровней этого фактора, маргинализованные по остальным факторам (при критерии Даннетта — каждый уровень против контрольного). Взаимодействие: {factors} — контрасты всех пар ячеек, за которыми следуют две таблицы Простые эффекты: сравнения {factor} на каждом уровне {other}: контрасты одного фактора внутри каждого уровня другого, с этим уровнем в первом столбце таблицы (см. простой эффект). Взаимодействия третьего и более высокого порядка сохраняют строку общего критерия, но контрастов не получают, о чём сообщает диагностика. У ковариаты нет уровней для контрастов. Каждый блок открывается строкой поправки (пары ячеек взаимодействия при любом методе с собственным контролем корректируются по точному многомерному t, как сказано в описании поля Метод апостериорных проверок) и предупреждением, если p общего критерия для эффекта незначимо. Его строки содержат Контраст, Разность оценённых краевых средних, её SE, df, t со звёздочками, скорректированное p и интервал.

Раздел Скорректированные средние (оценённые краевые средние) выводится всегда, независимо от апостериорных сравнений, поскольку нулевые гипотезы таблицы источников касаются именно краевых средних (см. ANCOVA): сначала Скорректированные средние по ячейкам (A × B) по полному скрещиванию, затем Маргинальные средние по факторам, каждое со стандартной ошибкой и интервалом. Без ковариат это равновзвешенные краевые средние, которые проверяет главный эффект типа III. В несбалансированном плане они отличаются от взвешенных по объёму исходных средних в описательных статистиках (см. оценённые краевые средние). С ковариатами они скорректированы на ковариаты, а строка под ними называет каждую ковариату и значение, на котором она зафиксирована, — её среднее по строкам подгонки. При наличии ковариат далее идёт раздел Различие наклонов (области значимости), где попарно сравниваются ячейки межгруппового скрещивания.

Блок завершают описательные статистики, описанные у карточки смешанного анализа: Описательные статистики по {variable} (межгрупповые) — одна таблица по уровням каждого группирующего фактора — и Описательные статистики по ячейкам (A × B) по полному скрещиванию, каждая с включёнными сводными статистиками по строкам, на которых подгонялась модель. Поэтому по числу наблюдений в ячейках виден дисбаланс, а исходные средние стоят под скорректированными.

Как читать апостериорные сравнения многофакторного анализа? Сначала по таблице источников решите, какие члены важны, и переходите к их блоку: значимое взаимодействие читается через простые эффекты, которые показывают, где оно проявляется, и только при незначимом взаимодействии основное внимание остаётся на главных эффектах.

ANCOVA #

Карточка Результаты ANCOVA относится к однофакторному варианту из описания ANCOVA и содержит по блоку на зависимую переменную с заголовком ANCOVA: {variable}. Многофакторный ANCOVA описан в разделе факторный дисперсионный анализ. Каждый блок идёт в таком порядке: таблица источников, диагностика, скорректированные средние, апостериорные контрасты, анализ различия наклонов и описательные статистики. Исходные средние стоят под скорректированными, и по этой паре видно, насколько ковариата сдвинула каждую группу. Сам план описан в разделе ANCOVA.

Таблица источников такая же, как у многофакторного анализа: по строке на каждую ковариату с пометкой (ковариата), затем группирующий фактор с пометкой (фактор), каждая строка с SS, df (эффект, ошибка), MS, F и p, размером эффекта, выбранным в поле Метод расчёта размера эффекта (частичная η², если вы не выбрали η², ω² или ε²), с интервалом и выводом в столбце «Интерпретация», который в строке ковариаты гласит Значимый эффект ковариаты или Нет эффекта ковариаты. Строки Ошибка и Итого (скорректировано) замыкают разложение, примечание называет тип сумм квадратов, а у нечастичной меры есть примечание о том, на что она делится. Блок Диагностика: под таблицей называет, к чему пришлось прибегнуть при подгонке: размер эффекта, не вычисленный пакетом, апостериорный член с неудавшимся расчётом.

• Ошибка — строка, замыкающая разложение: остаточные df, SS и MS (знаменатель, относительно которого проверялось каждое F выше), а ячейки F, p и размера эффекта пусты.

• Итого (скорректировано) — итог относительно среднего по строкам подгонки, только df и SS. Отношение SS/df здесь было бы выборочной дисперсией, а не членом таблицы источников, поэтому ячейка MS намеренно пуста.

• Скорректированные средние (оценённые краевые средние) — по строке на группу: её оценённое краевое среднее при значениях ковариат, названных в строке под заголовком (Ковариаты зафиксированы на своих средних: … — среднее каждой ковариаты по строкам, на которых подгонялась модель), со стандартной ошибкой и интервалом, рядом с нескорректированным средним тех же строк. Тот же раздел открывает карточки смешанного и многомерного анализа. Там он появляется при включённых апостериорных сравнениях или ковариате в модели (смешанные семейства) либо всегда (MANCOVA, смешанный MANOVA), без ковариат содержит равновзвешенные краевые средние, при двух и более факторах выводит сначала Скорректированные средние по ячейкам по полному скрещиванию, а под ними Маргинальные средние по факторам, и на карточке с несколькими зависимыми переменными имеет столбец «Переменная», где названа переменная каждой строки.

• Группа — уровень группирующей переменной, который описывает строка. Этот столбец открывает каждую таблицу карточки по группам.

• Замер — уровень переменной замеров, который описывает строка, на карточках повторных измерений.

• Нескорректированное среднее — обычное среднее группы по строкам, на которых подгонялась модель, рядом с N и SD этих строк. От скорректированного среднего оно отличается настолько, насколько значения ковариаты в группе отстоят от значения, на котором их фиксирует модель.

• Скорректированное среднее — среднее группы, предсказанное при значениях ковариат, названных под заголовком, выделено полужирным (см. скорректированное среднее). SE и интервал рядом относятся к самой этой оценке.

• Фактор — фактор, к которому относится строка. В таблице маргинальных средних смешанных семейств это тот фактор, для чьего уровня вычислено среднее строки. В таблице источников столбец содержит пометку члена плана, а строка ковариаты помечена (ковариата).

• Уровень — уровень этого фактора, для которого вычислено среднее строки.

• Апостериорные сравнения (скорректированные средние) — контрасты всех пар групп по скорректированным средним (emmeans), по строке на пару со столбцами «Контраст», «Разность», SE, df, t, p и интервалом (с заголовком одновременный ДИ, если метод расширил его на всё семейство). Читаются они так же, как попарные сравнения. Строка над таблицей называет, как скорректированы p-значения, а для критерия Даннетта указано, с какой контрольной группой на самом деле шло сравнение, если у выбранной не оказалось пригодных данных. Появляется при включённом флажке Включить апостериорные проверки.

• Контраст — пара уровней, которую сравнивает строка, первый уровень минус второй. Так она обозначена во всех таблицах контрастов карточки (см. контраст).

• {level}% одновременный ДИ — интервал разности, расширенный на всё семейство так, чтобы интервалы всех контрастов одновременно накрывали свои истинные разности (см. одновременный доверительный интервал). Интервал для отдельного сравнения озаглавлен просто {level}% ДИ, а какие методы дают какой интервал, сказано в разделе попарные сравнения.

Здесь всегда есть ковариата, поэтому за контрастами следует раздел Различие наклонов (области значимости) (см. различие наклонов: результаты).

• Описательные статистики по группам — нескорректированные сводные статистики по группам для строк, на которых подгонялась модель, по столбцу на каждую группу и включённую сводную статистику. Таблица намеренно стоит под скорректированными средними, чтобы исходные средние рядом со скорректированными показывали, насколько ковариата сдвинула каждую группу. Та же таблица с одной строкой на зависимую переменную завершает карточки MANOVA и MANCOVA, а на карточке MANOVA с повторными измерениями называется Описательные статистики по условиям. При включённой совместной таблице частот к ней добавляется сворачиваемая Таблица частот: {variable} для каждой зависимой переменной.

Смешанный дисперсионный анализ #

Карточка Результаты смешанного дисперсионного анализа (и устроенная так же карточка Результаты многофакторного дисперсионного анализа с повторными измерениями, с ковариатой — Результаты многофакторного ANCOVA с повторными измерениями) содержит по блоку на зависимую переменную с заголовком Смешанный дисперсионный анализ: {variable} или Многофакторный дисперсионный анализ с повторными измерениями: {variable}. Блок открывается строкой N = {n} полных испытуемых: это число полных испытуемых, на которых выполнялась подгонка, так что построчное исключение всегда заметно. Порядок такой: таблица источников, диагностика, критерий Моучли, апостериорные контрасты, скорректированные средние, анализ различия наклонов и описательные статистики. Карточка ART-ANOVA читается так же.

Таблица источников содержит по строке на каждый эффект полного скрещивания (все главные эффекты и все взаимодействия) и по строке на каждую ковариату. В каждой строке SS, df (эффект, ошибка), MS, собственные SS ошибки и MS ошибки эффекта, F, p, размер эффекта, выбранный в поле Метод расчёта размера эффекта, с интервалом и вывод в столбце «Интерпретация» (Значимый главный эффект, Нет взаимодействия, Значимый эффект ковариаты и т. д.) с указанием, насколько велик эффект. Для фактора повторных измерений с тремя уровнями и больше добавляются столбцы ε (GG), p (GG), ε (HF) и p (HF), заполненные только в строках повторных измерений (это те же величины, что выводит проверка допущений), а вывод в строке повторных измерений делается по скорректированному p с пометкой с коррекцией Гринхауса — Гейссера или с коррекцией Хюйна — Фельдта: по Гринхаусу — Гейссеру при ε̂ (GG) меньше 0.75 и по Хюйну — Фельдту начиная с 0.75, что бы ни показал критерий Моучли. При многомерном подходе строки повторных измерений вместо этого содержат след Пиллаи в столбце V с его приближённым F, их суммы квадратов остаются пустыми, примечание под таблицей поясняет, какие строки по какому подходу проверены, а диагностика называет эффекты, которым пришлось остаться одномерными. Примечание называет тип сумм квадратов.

• Эффект — проверяемый в строке член модели (фактор, взаимодействие через × или ковариата) с пометкой (межгрупповой), (повторные измерения), (межгрупповой × повторные измерения) или (ковариата) — стороной плана, к которой он относится. Она определяет, в каком слое ошибки проверялось его F.
• SS ошибки — сумма квадратов слоя ошибки, относительно которого проверяется эффект строки: межгрупповой эффект — относительно разброса между испытуемыми, эффект повторных измерений или взаимодействие — относительно разброса изменений внутри испытуемых. Поэтому в смешанной таблице члены ошибки стоят в каждой строке, а не в одной замыкающей.
• MS ошибки — эта сумма квадратов ошибки, делённая на свои степени свободы, то есть знаменатель F строки.
• Критерий сферичности Моучли — по строке на каждый член повторных измерений с тремя уровнями и больше: эффект, W, p и вывод — Сферичность нарушена на уровне значимости для проверки допущений или Допущение о сферичности выполнено. Примечание под таблицей поясняет, что поправка ε применяется к каждой строке повторных измерений в любом случае, так что выполненное допущение никогда не означает нескорректированного p. См. сферичность и критерий Моучли.
• W — статистика Моучли: 1, если дисперсии попарных разностей равны, и тем меньше, чем сильнее они расходятся.
• Апостериорные сравнения — раздел, который добавляет флажок Включить апостериорные проверки. У однофакторного критерия это по таблице на зависимую переменную с заголовком Апостериорный анализ для: {variable}, описанные в разделе попарные сравнения. У многофакторных, смешанных и ART-семейств это по блоку на эффект: Главный эффект: {factor} — попарные контрасты уровней фактора, маргинализованные по остальным; Взаимодействие: {factors} — контрасты пар ячеек, за которыми в параметрических семействах следуют две таблицы Простые эффекты, контрасты одного фактора на каждом уровне другого. Именно простые эффекты показывают, где проявляется взаимодействие (см. простой эффект). У каждого блока своя строка поправки, столбцы апостериорной таблицы и предупреждение, если p общего критерия для эффекта незначимо, чтобы сетку значимых пар при незначимом F не приняли за находку. Взаимодействия третьего и более высокого порядка сохраняют строку общего критерия, но контрастов не получают, о чём сообщает диагностика. Примечание над блоками указывает член ошибки: общий для всех контрастов или свой у каждого. У смешанного MANOVA раздел называется Апостериорный анализ для: {variable}, по одному на зависимую переменную.

Раздел Скорректированные средние (оценённые краевые средние) появляется при включённых апостериорных сравнениях или ковариате в модели (см. ANCOVA), а при наличии ковариаты за ним следует Различие наклонов (области значимости). В смешанном плане сравниваются обе стороны, поэтому в его строках есть столбцы «Контрасты» и «При» (см. различие наклонов: результаты).

• Описательные статистики по факторам и ячейкам — одна таблица по межгрупповым факторам с заголовком Описательные статистики по {variable} (межгрупповые), одна по замерам, … (повторные измерения), а при двух и более факторах — ещё одна по полному скрещиванию, Описательные статистики по ячейкам ({factors}) (на карточке смешанного MANOVA — по {between} × {within}). В каждой по столбцу на уровень (фактор=уровень, если таблица охватывает два фактора) и включённую сводную статистику. Всё вычислено по тем же полным испытуемым, что и F, так что N рядом со средним — это именно те наблюдения, на которых проверялся эффект. По числу наблюдений в ячейках виден дисбаланс межгрупповых ячеек, а у повторного уровня вторым столбцом интервала выводится интервал для повторных измерений. Карточка многофакторного дисперсионного анализа выводит свои межгрупповые таблицы и таблицы ячеек так же.

Сферичность и две поправки? Сферичность — допущение о равенстве дисперсий разностей, которое добавляет повторный фактор с тремя уровнями и больше, а при её нарушении две поправки уменьшают степени свободы F (см. сферичность, поправки Гринхауса — Гейссера и Хюйна — Фельдта). Приводите ту поправку, которая указана в пометке вывода, вместе с её ε.

ART-ANOVA #

Карточка Результаты ART-ANOVA (для критерия только с факторами повторных измерений — Результаты многофакторного ART-ANOVA с повторными измерениями) устроена так же, как карточка смешанного дисперсионного анализа: по блоку на зависимую переменную с заголовком ART-ANOVA: {variable} и строкой N = {n} полных испытуемых над таблицей, поскольку подгонке на выровненных рангах, как и параметрической, нужен каждый испытуемый в каждом замере. В таблице источников нет сумм квадратов (подгонка на выровненных рангах ничего не разлагает), нет столбцов сферичности и таблицы Моучли, поскольку ранговому подходу это допущение не нужно. В каждой строке Эффект с пометкой, df (эффект и ошибка, причём df ошибки, оценённые по Кенварду — Роджеру для лежащей в основе смешанной модели, могут быть нецелыми), F, p и частичная η² с интервалом — единственный размер эффекта критерия, восстановленный по F и степеням свободы. Таблицу завершает разброс стандартных отклонений по ячейкам по строкам, использованным в подгонке: подгонка предполагает их равенство и никак не исправляет отклонений, а там, где они различаются, все F выше антиконсервативны, включая межгрупповые строки. Ковариата, назначенная ART-критерию, отбрасывается, и блок Диагностика: её называет. Тот же блок сообщает о подгонке, не прошедшей собственную проверку выравнивания ARTool (выровненные отклики не дают в сумме ноль или F на выровненном отклике, не представляющем интереса, далёк от 0, а причиной обычно бывает пустая ячейка «группа × замер» или неравные размеры межгрупповых ячеек), поскольку тогда значения F нельзя интерпретировать. Подгонка, для которой не удалось оценить df знаменателя, останавливается с ошибкой, называющей причину: слишком мало испытуемых в межгрупповой ячейке или коллинеарные факторы. См. преобразование выровненных рангов.

При включённых апостериорных сравнениях раздел Апостериорные сравнения содержит по блоку на каждый главный эффект и двухфакторное взаимодействие, вычисленные функцией art.con пакета ARTool, которая заново выравнивает ранги для каждого члена. Блок главного эффекта — попарные контрасты уровней фактора на его собственном выровненном и ранжированном отклике. Блок взаимодействия — контрасты разности разностей с подписью (a₁ − a₂) × (b₁ − b₂): как разрыв между двумя уровнями одного фактора меняется при переходе между двумя уровнями другого. Таблиц простых эффектов нет, поскольку простой эффект при выравнивании не является корректным контрастом. Все пары блока используют одну стандартную ошибку и одно число степеней свободы, о чём сообщает примечание под блоком: читайте пары как набор, сверяясь с разбросом стандартных отклонений по ячейкам, поскольку при различающихся истинных дисперсиях ячеек одна пара окажется консервативной, а другая либеральной. В выпадающем списке метода выбирается только поправка, как сказано в разделе апостериорные критерии, а описательные статистики завершают карточку так же, как у смешанного анализа.

MANOVA / MANCOVA #

Одна карточка охватывает все зависимые переменные и называется по критерию: MANOVA: результаты, MANCOVA: результаты, Смешанный MANOVA: результаты (с ковариатой — Смешанный MANCOVA: результаты), MANOVA с повторными измерениями: результаты (MANCOVA с повторными измерениями: результаты), Гетероскедастичный MANOVA Йохансена: результаты или Энергетический критерий равенства распределений: результаты. Она открывается строкой с зависимыми переменными, группирующей переменной или переменной замеров и ковариатами, а затем предупреждением с числами, если испытуемые исключены из-за пропущенного замера (планы с повторными измерениями и смешанные) или строки — из-за пропущенного значения зависимой переменной или ковариаты (независимые планы). Если матрица зависимых переменных имеет неполный ранг (две переменные — комбинации друг друга, одна воспроизводит ковариату, слишком мало полных строк), расчёт останавливается с ошибкой, где названы найденный ранг и число переменных, а MANCOVA останавливается и тогда, когда полные строки оставляют меньше степеней свободы ошибки, чем зависимых переменных, и сообщение приводит оба числа. Порядок такой: многомерные критерии, критерии ковариат, одномерные последующие критерии, дискриминантный анализ, скорректированные средние, апостериорные контрасты, анализ различия наклонов и описательные статистики.

• Многомерные критерии — общий критерий, на карточке MANCOVA озаглавленный Многомерные критерии для {variable}. В нём четыре строки (Пиллаи, Уилкса, Хотеллинга — Лоули и Роя), каждая со значением, приближённым F, степенями свободы числителя и знаменателя и p, и все проверяют одну и ту же гипотезу. В смешанном плане — по набору на каждый эффект, названный в столбце «Эффект» с пометкой. При поправке p-значений скорректированное p (одно на эффект, поскольку одна гипотеза — одна поправка) и вывод выводятся только в строке Пиллаи, а при включённых размерах эффекта в этой же строке стоит многомерная частичная η² (η²p, какую бы одномерную меру вы ни выбрали) с интервалом. Строка Роя отмечена подсказкой и примечанием: её F служит верхней границей (точной, только если эффект охватывает одно измерение), поэтому её p — нижняя граница. Если четыре строки расходятся, читайте строку Пиллаи: она свободна от этого недостатка и к тому же устойчивее (см. след Пиллаи). У критерия Йохансена одна строка: его собственная статистика с приближённым F Йохансена и дробными df. У энергетического критерия тоже одна строка с E и перестановочным p, без F и df, с R²ₑ как размером эффекта и примечанием, где указано число повторов и наименьшее p, которое можно получить.
• Значение критерия — какая из четырёх статистик в строке: след Пиллаи, Λ Уилкса, след Хотеллинга — Лоули или наибольший корень Роя.
• Значение — сама статистика на собственной шкале: статистики Пиллаи, Хотеллинга — Лоули и Роя растут с разделением групп, а Λ Уилкса убывает от 1.
• Прибл. F — F, с которым соотносится статистика. Оно точное, если эффект охватывает одно измерение (две группы или одна зависимая переменная), и тогда четыре строки дают одно F, а иначе приближённое.
• Числ. df — степени свободы числителя этого F.
• Знам. df — степени свободы его знаменателя, у критерия Йохансена дробные.
• Многомерные критерии для ковариат (след Пиллаи) — на карточках с ковариатами: критерий Пиллаи для каждой ковариаты по всем зависимым переменным сразу, типа III, так что порядок ковариат не важен, с приближённым F, df и p. Это мешающие члены, поэтому в семейство поправки они не входят.
• След Пиллаи — значение следа Пиллаи для ковариаты.
• Одномерные последующие критерии — по строке на зависимую переменную (в смешанном плане — на эффект и зависимую переменную), вида, соответствующего общему критерию и названного в заголовке: однофакторный дисперсионный анализ или однофакторный ковариационный анализ, смешанный дисперсионный анализ или смешанный ковариационный анализ, дисперсионный анализ с повторными измерениями или ковариационный анализ с повторными измерениями, ANCOVA на карточке MANCOVA, дисперсионный анализ Уэлча после критерия Йохансена (последующий критерий с объединённой дисперсией вернул бы допущение о равенстве ковариаций, от которого отказывается общий критерий) и энергетические критерии после энергетического критерия, с E и без df. В каждой строке статистика, df и p, столбцы сферичности в строках повторных измерений планов с повторными измерениями и смешанных, выбранный размер эффекта с интервалом и вывод, который делается по скорректированному p и помечается так же, как на карточке смешанного анализа. Последующие критерии подгоняются на тех же строках, что и общий критерий, защищены им, а не включены в глобальную поправку, и корректируются между собой: внутри каждого многомерного эффекта K p-значений по переменным корректируются вместе вашим методом поправки, а примечание над таблицей указывает K и метод (см. одномерные последующие критерии).
• Зависимая переменная — зависимая переменная, которую строка проверяет отдельно.
• E — энергетическая статистика перестановочного критерия строки: энергетическое расстояние между группами на стандартизованных переменных. Она растёт с объёмом выборки, и эталонного распределения у неё нет, кроме перестановочного.

Описательный дискриминантный анализ #

• Описательный дискриминантный анализ — включается флажком Включить описательный дискриминантный анализ, только для MANOVA и MANCOVA: раздел описывает комбинацию зависимых переменных, по которой разделяются группы (см. описательный дискриминантный анализ), в четырёх таблицах — функции, стандартизованные коэффициенты, структурные коэффициенты и центроиды, — каждая с примечанием о том, как её читать. В MANCOVA функции строятся по матрицам с поправкой на ковариаты. Раздел стоит рядом с одномерными последующими критериями, а не вместо них, поскольку ни одну отдельную переменную не проверяет.
• Функция — номер дискриминантной функции в порядке убывания её разделяющей способности. В таблицах коэффициентов столбцы озаглавлены Функция 1, Функция 2, … (см. дискриминантная функция).
• Собственное значение — разброс между средними групп вдоль функции, делённый на разброс внутри групп.
• Каноническая r — каноническая корреляция между значениями функции и принадлежностью к группе.
• % дисперсии — доля функции в общем разделении, её собственное значение, делённое на сумму всех собственных значений.
• Λ Уилкса — вместе с соседними χ², df и p последовательная проверка этой функции вместе со всеми последующими: первая строка повторяет общий критерий, а следующие показывают, осталось ли разделение после учёта предшествующих функций.
• Стандартизованные канонические коэффициенты — вес каждой зависимой переменной в каждой функции при фиксированных остальных, в объединённых внутригрупповых стандартных отклонениях. Именно эту таблицу читают, чтобы понять, из чего построена функция. Переменная может иметь здесь большой вес, хотя её собственный последующий критерий незначим, — это как раз то разделение, которое нашёл многомерный критерий и не видят критерии по отдельным переменным.
• Структурные коэффициенты — объединённые внутригрупповые корреляции каждой зависимой переменной с каждой функцией. Они описывают переменные по одной и упорядочивают их примерно так же, как последующие критерии, поэтому выводятся вторыми.
• Центроиды групп — среднее значение каждой группы по каждой функции в объединённых внутригрупповых стандартных отклонениях, так что разрыв в 1 — это одно внутригрупповое стандартное отклонение разделения. В MANCOVA это скорректированные средние, спроецированные на функции.

Раздел Скорректированные средние (оценённые краевые средние) (см. ANCOVA) выводит по набору строк на каждую зависимую переменную со столбцом «Переменная»: у MANCOVA — всегда скорректированные на ковариаты средние групп; у смешанного MANOVA — всегда маргинальные средние по каждому межгрупповому фактору и его межгрупповые ячейки, скорректированные на ковариаты, если те есть; у MANCOVA с повторными измерениями — средние по условиям. Если строки подгонки у разных зависимых переменных различаются, строка под таблицей гласит Ковариаты зафиксированы на своих средних, вычисленных по полным наблюдениям каждой зависимой переменной. MANOVA этот раздел не выводит, поскольку его скорректированные средние совпали бы со средними групп, которые уже показывают описательные статистики.

При включённом флажке Включить апостериорные проверки каждая зависимая переменная получает после скорректированных средних блок Апостериорный анализ для: {variable}. MANOVA, MANCOVA, критерий Йохансена и MANOVA с повторными измерениями выводят плоскую таблицу (попарные контрасты групп, в MANCOVA с поправкой на ковариаты, выбранный вами апостериорный метод на последующих критериях Уэлча у Йохансена, попарные контрасты условий в плане с повторными измерениями), которая читается так же, как попарные сравнения, со строкой Метод:, называющей семейство контрастов. Смешанный MANOVA выводит блоки по эффектам из раздела апостериорных сравнений. Члены с фактором повторных измерений сравниваются по собственной модели с расщеплёнными делянками для этой переменной, так что совпадают с её одномерным F, а каждое предупреждение о незначимом общем критерии опирается на p последующего критерия этой переменной, а не на многомерный общий критерий: многомерный критерий защищает весь набор, а не контрасты одной переменной. У энергетического критерия апостериорного блока нет (объединённого члена для контрастов нет), а его последующие критерии — описанные выше критерии по переменным.

Карточку завершают описательные статистики: Описательные статистики по группам (MANOVA, MANCOVA, критерий Йохансена, энергетический критерий) или по условиям (план с повторными измерениями), по строке на зависимую переменную (см. ANCOVA), а у смешанного MANOVA — три таблицы по факторам с карточки смешанного анализа.

Различие наклонов: результаты #

Этим анализом завершается каждая карточка, подогнанная с ковариатой: ANCOVA, многофакторный ANCOVA, смешанный дисперсионный анализ, дисперсионный анализ с повторными измерениями и его многофакторный вариант, MANCOVA, MANOVA с повторными измерениями и смешанный MANOVA. Модель выше содержит один наклон на каждую ковариату для всех уровней, поэтому каждая скорректированная разность относится к этому общему наклону. Если наклоны пары действительно различаются, разность между этими уровнями — функция ковариаты, а не одно число, и этот раздел её описывает. О том же напоминает примечание под заголовком, а когда раздел появляется, сказано в параметрах. На многомерных карточках, где одна карточка охватывает несколько зависимых переменных, каждая область одномерна и помечена своей зависимой переменной, поскольку многомерная область значимости не является общепринятой конструкцией, о чём сообщает примечание над таблицами. См. различие наклонов.

По таблице на каждую ковариату под заголовком Наклоны по {covariate}, по строке на контраст: пара сравниваемых уровней названа в столбце «Контраст», а в столбце «Переменная», если на карточке несколько зависимых переменных, — зависимая переменная:

• Контрасты — только в двух смешанных семействах (смешанный дисперсионный анализ, смешанный MANOVA): к какой стороне плана относится пара строки, Межгрупповые или Повторные измерения. У смешанного плана две стороны для контрастов, и строка, не назвавшая свою сторону, была бы двусмысленной.
• При — вместе с ним ячейка другого скрещивания, в которой подгонялась пара: межгрупповая ячейка для пары условий, условие для пары групп.
• Разность наклонов — член «ковариата × фактор», который подогнанная модель намеренно опускает, оценённый для этой пары, с SE, t и p. Это попарный вариант общей проверки однородности наклонов регрессии, которая показывает лишь, что наклоны какой-то пары различаются, но не какой именно.
• Границы области — значения ковариаты по Джонсону — Нейману, в которых пара входит в область значимости или выходит из неё, на уровне доверия. Перечисляются только границы внутри наблюдаемого диапазона ковариаты: за его пределами пересечение было бы экстраполяцией подогнанной прямой, не подкреплённой данными. Поэтому у пары может быть две, одна или ни одной границы. Если их нет, доля рядом показывает, различается ли пара во всём диапазоне или нигде.
• Наблюдений в области значимости — доля наблюдений, значение ковариаты у которых лежит там, где пара различается, подсчитанная по фактическим данным. Область, охватывающая 3% выборки, означает совсем иное, чем область на 80%, а по одной проверке наклонов их не различить.

Под таблицей строится график Область значимости: {contrast} для каждого контраста, собственная проверка наклонов которого отклоняет гипотезу на уровне значимости для проверки допущений, или для каждого контраста, если включён флажок Показывать все области значимости. На нём разность контраста в зависимости от ковариаты с доверительной полосой, зелёная заливка над значениями ковариаты, при которых два уровня значимо различаются, и пунктирные линии на границах Джонсона — Неймана (см. область Джонсона — Неймана).

Замена, а не дополнение. Когда проверка наклонов не пройдена, панель допущений понижает критерий именно по этой причине: одна скорректированная разность не может быть верной на всём диапазоне ковариаты. Группы вдали от значения, на котором зафиксирована ковариата, описывает область значимости, а в самой этой точке их по-прежнему описывают скорректированные средние выше. См. различие наклонов.

Пакетный анализ #

В пакетном режиме каждая группирующая переменная (независимые планы) или переменная замеров (зависимые планы) получает свою карточку с заголовком Пакетный анализ {current}/{total}: {test} ({factor}), которая в оглавлении указана как Сравнение ({group}) и устроена так же, как однофакторная карточка этого критерия. Семейство поправки объединяет p-значения всех карточек (его состав описан в разделе поправка p-значений).

Псевдофакторный анализ #

При объединяющей стратегии карточка называется Псевдо-многофакторный анализ: {test} ({factor}), в оглавлении указана как Сравнение ({group}) и устроена так же, как однофакторная карточка этого критерия, группами которой служат ячейки скрещивания.

Поправка p-значений #

Каждый критерий в запуске — ещё один шанс ложноположительного результата, поэтому p-значения запуска корректируются вместе по глобальному методу поправки. Что гарантируют методы, описано в разделе поправка на множественные сравнения, а как выбрать метод — в разделе какую поправку выбрать. Скорректированное p выводится рядом с исходным или вместо него в зависимости от настройки отображения, а на карточках попарных и апостериорных сравнений указаны метод и семейство, к которому он применялся.

В одно семейство входят все p-значения общих критериев запуска, по одному на гипотезу: одно на зависимую переменную у стандартных критериев; каждая пара двухвыборочного критерия, развёрнутого на три и более уровня; каждая строка эффекта многофакторного, смешанного дисперсионного анализа, анализа с повторными измерениями и ANCOVA, кроме строк ковариат (строка повторных измерений вносит p с поправкой ε, по которому делается её вывод); и одно p на многомерный эффект, записанное во все четыре многомерные статистики, которые проверяют одну гипотезу. Пакетный или псевдофакторный запуск объединяет все итерации, как и стратегия Анализировать каждую переменную отдельно.

Три семейства корректируются отдельно от общего, тем же методом. Это таблицы апостериорных сравнений, если у метода нет собственного контроля, и попарная разбивка критерия хи-квадрат или точного критерия Фишера по запросу — по каждой зависимой переменной, так что включение разбивки не ужесточает поправку для всех остальных критериев; одномерные последующие критерии многомерного критерия — вместе внутри каждого многомерного эффекта (см. MANOVA / MANCOVA); сравнения AUC — по всем парам переменных, парам групп и итерациям пакетного анализа. Семейство из одного сравнения остаётся без поправки, а собственное p ковариаты выводится в таблице эффектов нескорректированным.

Если в настройках выбрано Нет, появляется предупреждение, когда запуск создаёт семейство, не корректируемое ничем другим: любой пакетный или псевдофакторный запуск, а также одиночный запуск с несколькими зависимыми переменными при критерии, подгоняющем их по отдельности, с двумя и более факторами, с двухвыборочным критерием, развёрнутым на три и более уровня, или с апостериорными сравнениями при методе, использующем глобальную поправку. Точное многомерное t, HSD Тьюки, критерии Геймса — Хауэлла, Неменьи, Даннетта и T3 Даннетта корректируют свои таблицы сами, поэтому однофакторный дисперсионный анализ с методом Тьюки выполняется без предупреждения, как и t-критерий для двух групп.

Значимость определяется по скорректированному p. Выводы Значимо… и звёздочки у статистики опираются на скорректированное p в обоих режимах отображения, поэтому в режиме добавления звёздочки статистики могут расходиться с соседним столбцом исходного p (см. p (скорр.)).

Сколько критериев я выполняю? Пять зависимых переменных при одном факторе — это пять критериев. Двухфакторный дисперсионный анализ добавляет по три строки эффектов на переменную, попарное разворачивание для четырёх групп — по шесть пар на переменную (см. много проверок сразу).

Пропущенные данные #

Пропущенные значения обрабатываются до запуска по глобальной настройке пропущенных данных: попарное удаление (по умолчанию) даёт каждому критерию наблюдения, полные по его собственным переменным, построчное удаление — наблюдения, полные по всем выбранным переменным, а импутация сначала заполняет пропуски. В опубликованных сравнениях обычно выбирают построчное удаление, поскольку тогда все сравнения групп выполняются на одних и тех же наблюдениях. На каких наблюдениях выполнялся каждый критерий, показывает сводный столбец Объём выборки.

Парным критериям и критериям для повторных измерений нужны полные испытуемые. Критерий для повторных измерений (парный t-критерий и критерий знаковых рангов Вилкоксона, дисперсионный анализ с повторными измерениями и критерий Фридмана, критерий тренда Пейджа, критерии Мак-Немара, Стюарта — Максвелла и Q Кокрена) до подгонки исключает каждого испытуемого, у которого пропущено какое-либо условие проверяемой переменной, и указывает их число в предупреждении. Описательные статистики по условиям вычисляются на тех же испытуемых, а для переменной без единого полного испытуемого вместо запуска выводится сообщение (см. полные испытуемые и предпросмотр групп).

Визуализация #

Флажок Включить визуализацию добавляет под результатами карточку графиков (Сравнение распределений для числовых семейств, Распределение в одновыборочном режиме) с отмеченными графиками для каждой числовой зависимой переменной, разбитыми по группам или условиям в том же порядке, что и таблицы результатов: по числовому значению, если каждый уровень — число, чтобы доза 1, 2, 5, 10 читалась по порядку, и по алфавиту в остальных случаях. Многофакторный критерий с несколькими факторами, стратегия объединения факторов и любой смешанный план разбивают ящик с усами, скрипичный график, график ЭФР и график средних с планками погрешностей по полному скрещиванию ячеек, а подпись оси X перечисляет скрещённые переменные (Пол × Лечение). В одновыборочном режиме на тех же четырёх графиках проводится пунктирная опорная линия на уровне μ₀, и ось значений расширяется, чтобы она была видна. Группа без допустимых значений переменной исключается из графиков этой переменной и называется в примечании Исключены (нет данных) под ними, а группа из одного значения так же исключается из скрипичного графика и графика средних. В углу каждого графика распределения указано, по скольким наблюдениям построена фигура каждой группы. Любой график можно изменить в размере и экспортировать в SVG, PNG или JPG. У категориальных критериев свои карточки (Доли категорий и Наблюдаемые и ожидаемые частоты), график дискриминантных функций входит в эту карточку, а карта соответствий выводится отдельной карточкой.

Ящик с усами #

• Ящик с усами — включён по умолчанию: по сгруппированному ящику с усами на каждую зависимую переменную. Ящик идёт от К1 до К3, внутри линия медианы, усы тянутся до самых дальних значений в пределах 1.5 МКР, а каждое значение за ними отмечено ромбом (см. ящик с усами). При наведении на ящик выводятся n, пять чисел, МКР, среднее (если показано) и выбросы.
• Показывать выбросы — включено по умолчанию: ромб на каждом значении за пределами усов (см. границы Тьюки). Если выключить флажок, усы всё равно заканчиваются на границах, а значения за ними не рисуются.
• Показывать среднее — включено по умолчанию: полый кружок на среднем каждой группы, так что расхождение среднего и медианы указывает на асимметрию (см. среднее).
• Показывать вырез — по умолчанию выключено: вырезает в каждом ящике выемку, охватывающую интервал для медианы на уровне доверия. Интервал интерполируется по порядковым статистикам и потому на асимметричных данных асимметричен (см. интервал для медианы). Два неперекрывающихся выреза указывают на различие медиан. Группа, слишком малая для интервала, выреза не получает, а интервал шире ящика обрезается по его краям, и о том и другом сообщает примечание под графиком.
• Показывать точки данных — по умолчанию выключено: каждое наблюдение с небольшим случайным сдвигом рядом со своим ящиком, причём выбросы среди них рисуются ромбами, пока включено Показывать выбросы.

Скрипичный график #

• Скрипичный график — по умолчанию выключен: распределение каждой группы в виде контура ядерной оценки плотности, широкого там, где значения сгущаются. Он показывает второй пик или длинный хвост, скрытые ящиком с усами. О цене сглаживания см. скрипичный график. Группа меньше чем из двух значений или без разброса не имеет плотности и исключается с примечанием под графиком.
• Показывать внутренний ящик с усами — включено по умолчанию: миниатюрный ящик с усами внутри каждой «скрипки» — белая точка на медиане, полоса от К1 до К3 и линия до концов усов.

График ЭФР #

• График ЭФР — по умолчанию выключен: эмпирическая функция распределения каждой группы, то есть доля её значений, не превышающих каждое значение, — ступенчатая кривая, поднимающаяся от 0% до 100% (см. ЭФР и две ЭФР вместе). Две группы с одинаковыми средним и стандартным отклонением могут разойтись здесь — у нижней границы, у потолка или на скоплении значений. Если выбран Критерий Колмогорова — Смирнова и групп две, график отмечает наибольший вертикальный разрыв между кривыми в точке, где он достигается, с подписью D⁺ или D⁻ (см. D⁺ и D⁻).
• Показывать медианную линию — включено по умолчанию: горизонтальная пунктирная линия на уровне 50% и от неё вертикальный спуск к оси на медиане каждой группы.
• Доверительная полоса: — заштрихованная полоса вокруг каждой кривой на уровне доверия, поточечная или одновременная. Чем они различаются и когда какая уместна, см. полоса Уилсона и полоса DKW.
• Уилсона (поточечная) — по умолчанию: каждая точка кривой получает интервал Уилсона для доли, поэтому на концах, где кривая закреплена на 0% и 100%, полоса сужается до нуля. Читайте её в отдельных точках (см. полоса Уилсона).
• DKW (одновременная) — полоса постоянной ширины, которая накрывает всю кривую сразу (по Дворецкому — Кифер — Вулфовицу). Она нужна, когда кривые сравнивают по всей длине, а не в одной точке (см. полоса DKW).
• Нет — полосы нет.

График средних с планками погрешностей #

• График средних с планками погрешностей — по умолчанию выключен: точка на среднем каждой группы с планками, охватывающими то, что выбрано в поле Планки погрешностей показывают (по умолчанию доверительный интервал среднего, иначе стандартную ошибку или стандартное отклонение), и подпись, называющая выбранное, с уровнем для интервала. В плане с фактором повторных измерений (зависимом или смешанном, на ячейках «группа × замер») планки — это интервал для повторных измерений Кузино — Мори или его вариант с поправкой на разность, подпись объясняет, как их читать, а испытуемые с пропущенной ячейкой исключаются из оценки, и их число указано под графиком. При наведении на группу выводятся её среднее, SD, SE, границы планки и n.

График парных линий #

• График парных линий — по умолчанию выключен, предлагается для зависимых и смешанных планов: по бледной линии на каждого испытуемого через его значения во всех условиях, сопоставленные по ID испытуемого, и жирная линия среднего поверх них (см. повторные измерения). Линии с одинаковым наклоном означают согласованный эффект, пересекающиеся — эффект, который меняется от испытуемого к испытуемому, а значим ли ход линии среднего, показывает критерий. Если несколько переменных замеров подгоняются вместе, каждая позиция на оси X — ячейка их скрещивания, так что линия проходит через все сочетания. Повторные строки испытуемого в одном условии усредняются, а испытуемый с пропущенным условием не рисуется (так же поступает и критерий), и число таких случаев сообщает всплывающее уведомление. Значение n в углу — число нарисованных испытуемых.
• Показывать линию среднего — включено по умолчанию: жирная линия через средние условий, каждое с подписью M = …, и легенда, отличающая её от линий испытуемых.

График взаимодействия #

• График взаимодействия — по умолчанию выключен, предлагается, когда выбрано два фактора или больше (многофакторные независимые планы, планы с повторными измерениями и смешанные): для каждой пары факторов и каждой зависимой переменной средние ячеек вдоль уровней одного фактора в виде отдельной линии для каждого уровня другого, с легендой (см. взаимодействие). Параллельные линии означают отсутствие взаимодействия, сходящиеся или пересекающиеся — что эффект одного фактора зависит от уровня другого. Превосходит ли эта картина случайность, показывает таблица общего критерия, а трёхфакторное взаимодействие остаётся только в таблице. Для смешанного плана рисуются пары «группа × замер» и пары внутри каждой стороны. В плане с большим числом факторов, чем два нарисованных, повторы каждого испытуемого усредняются по остальным. Если в модели есть ковариаты, линии строятся по скорректированным на ковариаты средним ячеек из подгонки ANCOVA, а заголовок гласит График взаимодействия (скорректированные средние). Так бывает, когда в подгонке скрещена ровно нарисованная пара факторов. Линия, у которой нет внутреннего уровня, в этом месте прерывается, а не соединяется через пропуск. При наведении на среднее выводятся его ячейка, среднее, SD, SE, границы планки и n.
• Показывать планки погрешностей — включено по умолчанию: планки на каждом среднем, охватывающие то, что выбрано в поле Планки погрешностей показывают, с подписью, называющей выбранное. Если один из пары — фактор повторных измерений, планки — это интервал для повторных измерений, что бы ни было выбрано (кроме SD), а испытуемый с пропущенной ячейкой исключается из них, и число таких испытуемых указано под графиком. Ячейка из одного наблюдения исключается, пока планки включены, и рисуется, когда они выключены.

Лесовидная диаграмма #

• Лесовидная диаграмма — по умолчанию выключена, предлагается для числовых семейств и одновыборочного критерия доли. При включённом флажке Включить размеры эффекта по строке на зависимую переменную (при попарном разворачивании — на пару): размер эффекта ромбом, его доверительный интервал отрезком и числа рядом, причём размер ромба отражает точность, так что самый узкий интервал получает самый крупный ромб. Пунктирная линия отмечает значение меры при отсутствии эффекта (0 для разности или корреляции, 0.5 для общеязыкового размера эффекта, 1 для отношения дисперсий), а мера-отношение получает логарифмическую ось, чтобы уменьшение вдвое и увеличение вдвое лежали на одинаковом расстоянии от 1. Если граница интервала не положительна, ось возвращается к линейной. Для меры без интервала диаграмма остаётся пустой с примечанием. Если в запуске есть что показать, следуют ещё две диаграммы. При включённых апостериорных сравнениях с методом, который выводит разность с интервалом (точное многомерное t, HSD Тьюки, попарные t-критерии с объединённой ошибкой и парные, Геймса — Хауэлла, Даннетта, T3 Даннетта и lincon), для каждой зависимой переменной строится Лесовидная диаграмма (апостериорные сравнения): разности в собственной шкале переменной с линией на нуле, размер эффекта для неё не нужен. Ранговые и категориальные методы (Данна, Коновера, Неменьи, пары Вилкоксона, Мак-Немара и Йенсена — Шеннона) разности не выводят и диаграммы не строят. Для многофакторного дисперсионного анализа, смешанного дисперсионного анализа и многофакторного дисперсионного анализа с повторными измерениями апостериорные контрасты выводятся на диаграмму по эффектам: панель на каждый главный эффект с его попарными разностями и на каждое взаимодействие с контрастами простых эффектов. У ART-ANOVA и его варианта с повторными измерениями нет исходной шкалы для такой диаграммы, и они её не строят.
• Объединить эффекты в одну лесовидную диаграмму — появляется для этих трёх семейств, когда включены и лесовидная диаграмма, и апостериорные сравнения. По умолчанию выключено, и каждому эффекту соответствует своя панель. Если включить флажок, все эффекты собираются в одну диаграмму под жирными заголовками эффектов на общей оси.

График дискриминантных функций #

• График дискриминантных функций — включён по умолчанию, как только отмечен флажок Включить описательный дискриминантный анализ, для MANOVA и MANCOVA. Один график на карточку, поскольку функция объединяет все зависимые переменные, чего не могут показать графики по отдельным переменным: по точке на каждое наблюдение в его значениях канонических функций и каждый центроид группы в виде крупного маркера с кольцом. При двух и более функциях это диаграмма рассеяния функции 1 против функции 2, где каждая ось подписана долей межгрупповой дисперсии функции (Функция 1 (78.4% дисперсии)), а легенда называет группы. При одной функции (две группы) по оси Y откладываются группы, и наблюдения каждой группы разнесены вдоль своей полосы. Пунктирные линии пересекаются в нуле, то есть в центроиде всей выборки, а каждая функция масштабирована к внутригрупповой дисперсии 1 при одинаковом масштабе пикселей, так что разрыв в 1 по любой оси — одно внутригрупповое стандартное отклонение. При наведении на центроид выводятся группа, её значения и n, а у точек наблюдений подсказок нет. Если наблюдений больше 5000, облако равномерно прореживается внутри каждой группы, а примечание сообщает, сколько точек нарисовано. Читайте разделение центроидов вдоль каждой оси, а не плотность облаков (перекрывающиеся облака вокруг разнесённых центроидов — всё равно реальное многомерное различие), а из каких переменных построена каждая ось, смотрите в таблице стандартизованных канонических коэффициентов.

Карта соответствий #

• Карта соответствий — включена по умолчанию, как только отмечен флажок Включить анализ соответствий: отдельная карточка, Карта соответствий для каждой зависимой переменной или Карта множественных соответствий для совместного анализа, где категории строк и столбцов размещены в одном пространстве — по цвету на каждую серию, с легендой и подсказкой к каждой точке с её массой, инерцией и качеством (см. анализ соответствий). Обе оси подписаны долей инерции измерения, пунктирные линии пересекаются в начале координат, то есть в среднем профиле, где находилась бы каждая категория при независимости, а масштаб пикселей у осей общий. Каждая серия рисуется в своих главных координатах (симметричная карта), и под картой выводится соответствующая оговорка: расстояние внутри серии читается непосредственно, а расстояние между двумя сериями — нет, поэтому между сериями сравнивают направления от начала координат. При одномерном решении категории разнесены по сериям вдоль оси Y. Подписи размещаются по убыванию инерции, а подписи с наименьшей инерцией там, где они перекрывались бы, опускаются (примечание указывает их число), тогда как в таблицах координат названы все категории.

ROC-кривая #

• ROC-кривая — включена по умолчанию, как только для подходящего критерия отмечен флажок Включить классификационный анализ (ROC): для каждой зависимой переменной чувствительность против 1 − специфичность (при попарном разворачивании — по кривой на каждую пару групп) с диагональю случайного угадывания и легендой, где для каждой кривой указана AUC (см. ROC-кривая и AUC). Предсказываемая группа указана в классификационной таблице. При включённом флажке Метрики классификации при оптимальном пороге точки отмечают выведенные пороги. При наведении на точку выводятся её значение, чувствительность, специфичность, PPV, NPV, точность и, при правиле, взвешенном по стоимости, какую ошибку оно считает более дорогой. При включённом флажке Сравнить AUC дополнительный график накладывает кривые всех переменных для одной пары групп, так что AUC, которые сравнивает критерий Делонга, оказываются на одной оси.

Диаграмма долей категорий #

• Диаграмма долей категорий — включена по умолчанию для категориальных критериев вместо графиков распределения, поскольку у критерия для таблицы сопряжённости нет распределения, которое можно нарисовать. Карточка Доли категорий содержит по диаграмме на зависимую переменную: как её категории делятся внутри каждого уровня группирующего фактора (у парных критериев — внутри каждого условия), так что сдвиг состава виден непосредственно, а не выводится из χ². n в углу — итог каждой группы. При наведении на столбец выводятся его доля, частота, итог группы и z. Если выбран Критерий Кокрена — Мантеля — Хензеля, за общей диаграммой следует диаграмма для каждой страты с её значением в заголовке, так что видно, направлена ли связь одинаково во всех стратах. Если категорий больше 25, сгруппированные столбцы были бы тоньше пикселя, и каждая группа отображается одним составным столбцом высотой 100%. Редкие категории при этом не объединяются в долю «прочее». В пакетном и псевдофакторном запусках карточка подписана своей группирующей переменной.

Где сосредоточена связь: метки ▲ / ▼. Выделяющиеся столбцы помечены треугольником, а что означает метка, зависит от вида критерия. Примечание под диаграммой называет правило, критическое значение и семейство, на которое сделана поправка, а при наведении на столбец выводится его z независимо от того, превысило ли оно порог.

• Критерий независимости хи-квадрат — собственный стандартизованный остаток столбца: ▲ — наблюдений больше, чем ожидается при независимости, ▼ — меньше, если остаток превышает критическое |z| с поправкой Бонферрони на число ячеек таблицы. Это то же правило и то же значение, по которым остаток выделяется полужирным в таблице сопряжённости, так что диаграмма и таблица никогда не расходятся.
• Критерий Мак-Немара и Критерий Стюарта — Максвелла — оба столбца категории являются маргиналами одной парной таблицы, поэтому величина относится к категории: стандартизованное изменение её доли от первого условия ко второму, изображённое соединительной линией между столбцами пары с меткой посередине (▲ — рост, ▼ — снижение), при критическом |z| с поправкой на число категорий.
• Критерий Q Кокрена — отклонение каждого столбца от среднего его категории по условиям, масштабированное так, что сумма квадратов отклонений одной категории равна Q: ▲ — выше среднего, ▼ — ниже, при критическом |z| с поправкой на число условий.

Точный критерий Фишера, критерий Кокрена — Армитиджа и панели критерия Кокрена — Мантеля — Хензеля такой величины не вычисляют и рисуют столбцы без меток.

График наблюдаемых и ожидаемых частот #

Строится, только если выбран Критерий согласия хи-квадрат, без флажка, на отдельной карточке Наблюдаемые и ожидаемые частоты, по диаграмме на переменную. Наблюдаемая частота каждой категории показана столбцом, а ожидаемая при вашем ожидаемом распределении — маркером, выступающим за края столбца, так что они различимы, даже когда почти совпадают. Категория, добавленная в редакторе и ни разу не встретившаяся, показана маркером без столбца: это именно тот разрыв, который учитывает критерий. При наведении на категорию выводятся O, E и её вклад в статистику, ${(O-E)}^2/E$. Значимость критерия складывается прежде всего из столбцов, дальше всего отстоящих от своих маркеров: вывод даёт таблица результатов, а диаграмма показывает, откуда он берётся.

Контрольный список для отчёта #

Что стоит включить в описание результатов сравнения:

Метод:

• План анализа (независимые, зависимые, смешанные выборки или одна выборка), а для зависимого или смешанного плана — что критерий выполнялся на полных испытуемых, и сколько испытуемых исключено
• Какой статистический критерий использован и почему (например, «использован t-критерий Уэлча, поскольку дисперсии неравны»). При нескольких группирующих переменных или переменных замеров — стратегию анализа: отдельный запуск на каждый фактор, один объединённый фактор или многофакторный критерий
• Проверялись ли допущения, какие выполнены, а какие нарушены, и что изменило нарушение: какой критерий понизили рекомендации, по какой поправке сделан вывод
• Как обрабатывались пропущенные данные
• Метод поправки p-значений, если она применялась
• Для апостериорных сравнений: какой метод, а для попарных критериев, использующих глобальную настройку, — какая поправка
• Для критериев хи-квадрат, Мак-Немара, Манна — Уитни, знаковых рангов Вилкоксона (парного и одновыборочного), Стюарта — Максвелла и Кокрена — Мантеля — Хензеля: применялась ли поправка на непрерывность, а для критерия Мак-Немара (на бинарном исходе он выполняется и вместо критерия Стюарта — Максвелла) при числе дискордантных пар меньше 25 — что использовался точный биномиальный критерий
• Для критерия, p которого получено точной, перестановочной или симуляционной ветвью, а не асимптотической (точный критерий Фишера больше чем на 30 ячейках, критерий согласия при малых ожидаемых частотах, критерии Колмогорова — Смирнова, Андерсона — Дарлинга, Джонкхира — Терпстры, Бруннера — Манцеля, Пейджа, Йенсена — Шеннона и энергетический, критерий Кокрена — Мантеля — Хензеля на разреженной таблице 2×2×K), — какая это была ветвь, а для симуляционного или перестановочного p — число повторов. Примечание под результатом приводит и то и другое
• Для критерия согласия: ожидаемое распределение и его источник (равномерное, теоретическая модель, опубликованные доли), число категорий и были ли ожидаемые частоты меньше 5
• Для критериев знаков (парного критерия знаков и одновыборочного критерия знаков): что учитывалось только направление каждого изменения, так что о форме разностей ничего не предполагалось, почему выбран он, а не критерий знаковых рангов (обычно из-за непройденной проверки симметрии), и сколько нулевых разностей отброшено как совпадения
• Для одновыборочного критерия доли: гипотетическую долю π₀, какая категория считалась успехом (а все остальные — неудачей) и что p-значение — точное биномиальное, а не приближение χ²
• Для параметрических семейств с повторными измерениями (дисперсионный анализ с повторными измерениями, его многофакторный вариант, смешанный дисперсионный анализ): какой подход к эффектам повторных измерений использован: одномерный (с поправкой ε) или многомерный (след Пиллаи). При одномерном подходе укажите, по какой поправке ε сделан вывод, а при многомерном — эффекты, которым пришлось вернуться к одномерному F
• Для плана с ковариатой, где не пройдена проверка однородности наклонов регрессии: что вместо одной скорректированной разности приводится анализ различия наклонов и по какой ковариате читаются области
• Для ART-ANOVA: что в качестве непараметрического многофакторного или смешанного анализа использовано преобразование выровненных рангов, а df знаменателя получены приближением Кенварда — Роджера (отсюда нецелые df ошибки)
• Для критериев разброса: какой критерий и почему (например, «использован критерий Флигнера — Килина, поскольку распределения в группах не нормальны») и что гипотеза касается разброса, а не положения
• Для робастных критериев усечённых средних (Юэна, t1way): использованный уровень усечения (например, 20% с каждого хвоста) и что усечённые средние сравнивались из-за ненормальности и/или гетероскедастичности данных
• Для критериев тренда (Джонкхира — Терпстры, Пейджа, Кокрена — Армитиджа): что использовался упорядоченный (порядковый) фактор и как он упорядочен, проверенное направление тренда, приведённый размер эффекта (τ-b Кендалла или средняя внутриблочная ρ для критерия Пейджа), а для критерия Кокрена — Армитиджа — какая категория исхода моделировалась как событие и что баллами тренда служили значения фактора
• Для критерия Кокрена — Мантеля — Хензеля: стратифицирующую переменную и число страт, применялась ли поправка на непрерывность (2×2×K), а для 2×2×K — результат проверки однородности Бреслоу — Дея, который оправдывает (или ставит под сомнение) приведение одного общего отношения шансов
• Направленность (одно- или двусторонний критерий) и то, что одностороннее направление было выбрано до знакомства с данными
• Для проверки эквивалентности: её вид (TOST, нехужесть, превосходство или MET), границу эквивалентности Δ и в каких единицах она задана, исходных или стандартизованных. Для стандартизованной границы — меру разброса, через которую она пересчитана, и полученную исходную границу (то и другое есть в примечании о границах под таблицей)
• Для ROC-анализа: правило выбора порога (по Юдену, ближайший к (0, 1), взвешенный по стоимости, с коэффициентом асимметрии стоимостей и введённой распространённостью в популяции, если она задавалась), метод доверительного интервала AUC (Делонга или бутстрэп) и то, что для сравнения AUC использовался критерий Делонга
• Для анализа соответствий: вариант анализа (двумерный по каждой зависимой переменной или совместный множественный), что карта использует симметричное масштабирование, поэтому расстояния между сериями непосредственно не интерпретируются, а для множественного анализа — что проценты инерции скорректированы по Гринакру и несопоставимы с двумерными
• Если в запуске использовался ресэмплинг: число повторов и Зерно бутстрэпа, при котором строились бутстрэп-интервалы. Какими шагами управляет каждое зерно, сказано в разделе воспроизводимость

Результаты:

• Описательные статистики по группам или условиям (как минимум средние, стандартные отклонения и объёмы выборок) — сводная статистика, которую выводит карточка
• Статистику критерия со степенями свободы (например, t(58) = 2.34, F(2, 87) = 5.12), а для критерия, который её не выводит, — то, что он выводит вместо неё: у точного критерия Фишера статистики нет, критерии знаков выводят счёт
• Точное p-значение (или p < 0.001 для очень малых значений), исходное и скорректированное, если выводятся оба
• Размер эффекта с доверительным интервалом и названием меры (например, d Коэна = 0.65, 95% ДИ [0.12, 1.18]) — см. как сообщать размер эффекта
• Для F-критерия дисперсий: отношение дисперсий с ДИ (например, F(29, 29) = 1.84, отношение дисперсий 1.84, 95% ДИ [0.88, 3.86])
• Для робастных критериев усечённых средних: статистику критерия с df, объясняющую меру ξ (для t1way — с ДИ), а для критерия Юэна — разность усечённых средних с ДИ
• Для одновыборочных критериев: эталонное значение μ₀ и оценку положения с доверительным интервалом — среднее (t-критерий), псевдомедиану (критерий Вилкоксона) или медиану (критерий знаков)
• Для критериев знаков: число положительных разностей (или наблюдений выше μ₀) из эффективного n, медиану с непараметрическим доверительным интервалом и фактически достигнутым покрытием этого интервала, а также размер эффекта r₊ = 2p̂ − 1
• Для одновыборочного критерия доли: наблюдаемую долю p̂ с интервалом Клоппера — Пирсона, точное p-значение относительно π₀ и h Коэна с интервалом
• Для плана с повторными измерениями или смешанного: ε и скорректированные df, при которых сделан вывод, если сферичность нарушена, а рядом со средними условий — какой у них интервал, обычный или для повторных измерений
• Для анализа различия наклонов: по каждому контрасту разность наклонов с SE, t и p, границы области Джонсона — Неймана (с оговоркой, что приводятся только границы внутри наблюдаемого диапазона ковариаты) и долю наблюдений в области значимости
• Для критерия Кокрена — Мантеля — Хензеля: χ² Мантеля — Хензеля с df и p-значением, а для 2×2×K — общее отношение шансов с ДИ и χ², df и p критерия Бреслоу — Дея (например, CMH χ²(1) = 11.43, p = 0.001; общее ОШ = 3.00, 95% ДИ [1.62, 5.55]; Бреслоу — Дей χ²(2) = 0.00, p = 1.00)
• Для проверки эквивалентности: p эквивалентности (p (экви.) или p (MET)) и два односторонних p-значения, а также использованную исходную границу Δ и интервал (1 − 2α) для разности
• Для критериев с несколькими группами: сначала результат общего критерия, затем апостериорные сравнения с названием поправки
• Для многофакторных и смешанных планов: главные эффекты, взаимодействия и, где уместно, простые эффекты по скорректированным средним
• Для ROC-анализа: AUC с ДИ по каждой переменной (и по каждой паре, если это применимо), а также чувствительность и специфичность при выведенном пороге. Для сравнения AUC — Δ AUC, Z и p-значения
• Для анализа соответствий: общую инерцию, число сохранённых измерений и процент инерции каждого, а для каждой категории, которую вы интерпретируете по карте, — её вклад и качество (квадрат косинуса), чтобы читатель видел, что она представлена достаточно полно и такая интерпретация оправдана

Воспроизводимость #

Каждый анализ выводит свой R-код в консоль R, где команды можно просмотреть, скопировать и запустить заново. Сравнительный анализ использует базовый R для t-критериев, критериев Вилкоксона, знаков и точного биномиального, критериев Краскела — Уоллиса и Фридмана, хи-квадрат (chisq.test, включая критерий согласия), критерия Мак-Немара, однофакторного анализа Уэлча (oneway.test), критерия Колмогорова — Смирнова (ks.test), критериев разброса (var.test, bartlett.test, fligner.test), критерия тренда Кокрена — Армитиджа (prop.trend.test) и критерия Кокрена — Мантеля — Хензеля (mantelhaen.test). Пакет car используется для семейства дисперсионного анализа и для критериев Левена и сферичности в проверке допущений, biotools — для M Бокса, emmeans — для оценённых краевых средних и апостериорных контрастов многофакторных моделей, моделей с ковариатами и факторами повторных измерений, mvtnorm — для критерия Даннетта и (через emmeans) для апостериорных сравнений по точному многомерному t, dunn.test — для критерия Данна, DescTools — для проверки Бреслоу — Дея и точного нулевого распределения критерия Пейджа. Пакеты brunnermunzel, kSamples, clinfun и onewaytests выполняют критерии Бруннера — Манцеля, Андерсона — Дарлинга, Джонкхира — Терпстры и Брауна — Форсайта, WRS2 — критерий Юэна, t1way и апостериорный метод lincon, energy — энергетический критерий, FNN вычисляет расстояния до ближайших соседей для информационных критериев, ARTool выполняет ART-ANOVA при поддержке lme4 и pbkrtest для смешанной модели и степеней свободы Кенварда — Роджера, effectsize вычисляет η², ω² и ε² семейства дисперсионного анализа, pROC — блок ROC и критерий Делонга, ca — совместный множественный анализ соответствий. L Пейджа и его нормальное приближение, критерии Стюарта — Максвелла и Q Кокрена, оценка взаимной информации по Россу и её перестановочный критерий, двумерное разложение анализа соответствий, апостериорные методы Геймса — Хауэлла, Коновера, Неменьи, T3 Даннетта и Данна против контроля, проверки эквивалентности и большинство размеров эффекта с интервалами вычисляются собственным R-кодом модуля без других пакетов. Какое зерно каким шагом управляет: бутстрэп-интервалы размеров эффекта (r Вилкоксона, рангово-бисериального r для связанных пар, ε² и η²_H Краскела — Уоллиса, W Фридмана, τ-b Кендалла, средней внутриблочной ρ, g Коэна, среднего φ² Кокрена, интервала ξ) и блока ROC зависят от параметра Зерно бутстрэпа, а пустое зерно даёт новые выборки при каждом запуске. Каждое перестановочное или симуляционное p (симуляционные p критерия Фишера и критерия согласия, p критериев Андерсона — Дарлинга, Джонкхира — Терпстры, Йенсена — Шеннона, энергетического критерия и проверки симметрии) и интегрирование методом Монте-Карло в критерии Даннетта и точном многомерном t используют собственные фиксированные зёрна и поэтому воспроизводятся при любых настройках, а сбалансированная подвыборка ξ зависит от параметра Зерно воспроизводимости. Ссылки на литературу по R-пакетам и статистическим методам вашего анализа автоматически появляются в начале раздела результатов: цитируются именно применённые в запуске критерии, апостериорные методы, размеры эффекта и поправки, а не только вычислившие их пакеты. Решения, на которых построен модуль (какая подгонка стоит за карточкой, откуда берётся порог, что расчёт отклоняет или сводит, почему зерно p-значения зафиксировано), обоснованы в методических заметках.

Типичные ошибки #

Проверка допущений после просмотра результатов. Нажимайте Проверить допущения до Запустить сравнительный анализ, а не после. Если вы выполнили t-критерий, получили незначимый результат, а затем переключились на критерий Манна — Уитни в надежде на значимость, вы завышаете частоту ошибок первого рода: проверка должна определять критерий, а не наоборот (см. когда допущение нарушено).

Игнорирование размеров эффекта. Значимое p-значение при крошечном размере эффекта (d = 0.05) означает, что группы «статистически различны», но на практике различие ничтожно. Незначимый результат при умеренном размере эффекта (d = 0.50) может означать лишь, что выборка была слишком мала, чтобы его обнаружить. Не снимайте флажок Включить размеры эффекта и приводите меру с интервалом рядом с каждым p (см. почему p-значения недостаточно).

Несколько группирующих переменных в отдельных пакетных анализах, когда нужны взаимодействия. Различается ли эффект лечения в зависимости от пола — вопрос о взаимодействии, а стратегия Анализировать каждую переменную отдельно, запускающая критерий на каждый фактор отдельно, его никогда не проверяет. При объединении факторов в один этот член тоже теряется. Выберите многофакторный критерий: многофакторный дисперсионный анализ, его варианты с повторными измерениями и на выровненных рангах или смешанный дисперсионный анализ, если один из факторов — фактор повторных измерений (см. отдельно, объединённо или многофакторно?).

Критерии для зависимых выборок на независимых данных (и наоборот). Сравнение баллов до и после t-критерием для независимых выборок вместо парного рассматривает два набора баллов как полученные от разных людей и теряет мощность, которую даёт знание изменения у каждого человека. Сопоставление же строк, не принадлежащих одним и тем же людям, создаёт зависимость, которой в данных нет. План определяется тем, как связаны наблюдения, а зависимому плану нужен ID испытуемого, указывающий, какие строки относятся к одному наблюдению.

Подгонка ожидаемого распределения под данные. Критерий согласия имеет смысл, только если ожидаемое распределение взято извне выборки: из теоретической модели, предположения о равновероятности или долей, опубликованных в другом месте. Если взять наблюдаемое распределение из самих данных и ввести его (или что-то близкое) как ожидаемое, незначимый результат гарантирован и ничего не доказывает: задавайте веса по гипотезе до того, как посмотрите на частоты. И всерьёз относитесь к примечанию об ожидаемых частотах: приложение переходит на симуляционное p, когда частоты нарушают правило Кокрена, но настолько разреженная таблица — слабое свидетельство, какое бы p ни было выведено. Объедините редкие категории или соберите больше данных.

Одно отношение шансов Кокрена — Мантеля — Хензеля при расходящихся стратах. Общее отношение шансов описывает все страты одним числом, и это оправдано, только если отношения шансов по стратам направлены одинаково и близки по величине. Когда критерий Бреслоу — Дея отклоняет гипотезу или таблицы по стратам заметно расходятся (связь в некоторых меняет знак или исчезает), объединённое отношение скрывает эту неоднородность: приводите результаты по стратам и подумайте, не является ли стратифицирующая переменная модификатором эффекта, а не вмешивающимся фактором. И никогда не стратифицируйте по переменной, лежащей на причинном пути между группой и исходом: фиксация медиатора искажает ту самую связь, которую вы измеряете.

Критерий тренда на факторе, который на самом деле не упорядочен. Критерии тренда предполагают, что уровни фактора имеют настоящий порядок, заданный их числовыми значениями: доза, класс, время. Если пометить произвольный код (номера групп 1/2/3) как порядковый только ради доступа к критерию, проверяется тренд, лишённый смысла, и модуль этого не заметит: отличить реальный порядок от случайного он не может. Критерий Кокрена — Армитиджа к тому же использует значения как баллы тренда, так что важен и шаг между ними. Помечайте фактор как порядковый, только если его возрастающие значения действительно задают интересующий вас тренд.

Вывод об эквивалентности из незначимого результата. Незначимый критерий не показывает, что группы одинаковы, — он показывает лишь, что доказать различие не удалось, а утверждение о пренебрежимо малом различии даёт только проверка эквивалентности: выберите в поле Направление критерия один из её вариантов. Особенно важно это различие в клинических исследованиях, где «различие не обнаружено» и «эквивалентность доказана» имеют совершенно разные регуляторные последствия.

Граница эквивалентности, заданная после просмотра данных. Границу Δ выбирают до анализа, исходя из того, какое различие в вашей области считается практически значимым. Граница, подобранная после получения результатов ровно такой ширины, чтобы её пройти, обесценивает критерий точно так же, как выбор одностороннего направления после просмотра средних (см. граница эквивалентности). По возможности регистрируйте границу заранее.

Переоценка высокой AUC на малой выборке. У AUC на малых выборках широкие доверительные интервалы, а интервал Делонга по умолчанию опирается на асимптотическую теорию. Если в группе меньше примерно 30 наблюдений, выбирайте бутстрэп в поле Доверительный интервал AUC и считайте точечную оценку предварительной: AUC 0.85 с 95% ДИ [0.55, 1.0] — не сильный сигнал, а широкий диапазон, в который случайно попадает и «отлично».

PPV и NPV как универсальные величины. PPV и NPV зависят от распространённости предсказываемой группы: выборка, сбалансированная 50/50, при реальной распространённости 5% даёт PPV намного выше, чем будет на практике. Чувствительность и специфичность от распространённости не зависят и переносятся на другие выборки, а прогностические ценности описывают вашу выборку, если вы не введёте распространённость в популяции, по которой они будут пересчитаны.

Выбор направления стоимости после просмотра порогов. Правило, взвешенное по стоимости, выводит два порога, по одному на каждое направление асимметрии стоимостей. Выбирать строку, которая «кажется правильной», после просмотра чисел, вместо того чтобы заранее решить, какая ошибка хуже, — та же апостериорная подгонка, что и смена одностороннего направления задним числом.