Сравнительный анализ — методические заметки #

Решения, на которых построен модуль сравнительного анализа: какая подгонка стоит за каждой карточкой, откуда берутся пороги и ограничения, что расчёт отклоняет, отбрасывает или сводит ещё до начала. Разделы соответствуют разделам руководства.

Назначение переменных #

Переменная выполняет в плане одну роль. Переменная, назначенная на две роли (скажем, один и тот же столбец как фактор ANCOVA и её ковариата), даёт модель с неразличимыми коэффициентами: dv ~ … + X + grouping, где группировка — копия X. lm() выходит из положения, просто отбрасывая коэффициент, а предупреждение попадает только в консоль R. Поэтому расчёт заранее отклоняет такое пересечение и называет переменную: само по себе распределение ролей лишь не допускает переменную с несколькими ролями в число зависимых.

Ковариаты предлагаются только из числовых переменных. Ковариата входит в lm() и car::Anova() как непрерывная поправка, а категориальная была бы закодирована фиктивными переменными как ещё один скрещённый фактор. Это иной план, чем поправка ANCOVA или MANCOVA, которую подразумевает роль, и карточка не подписала бы его как таковой, поэтому фильтруется список, а не переосмысляется модель.

Дисперсионный анализ с повторными измерениями с ковариатами подгоняется как MANOVA с повторными измерениями, а выводится как одномерный критерий. Процедура однофакторного анализа с повторными измерениями подгоняет aov() со слоем Error(), в который ковариату не включить, а процедура MANOVA с повторными измерениями подгоняет lm() в плане повторных измерений car::Anova(), где это возможно. Поэтому ковариата переводит расчёт на вторую подгонку, а карточка выводит то, что было выбрано: одномерное F повторных измерений с поправками Гринхауса — Гейссера и Хюйна — Фельдта, размер эффекта с интервалом и эффекты ковариат. Многомерный общий критерий при этом отбрасывается, а не выводится в другом виде: это не требующая сферичности проверка по (число условий − 1) измерениям контрастов, то есть другая статистика при любом числе зависимых переменных. У перенаправленного пути нет собственного многомерного подхода, поэтому поле Подход к эффектам повторных измерений для него скрывается, чтобы сделанный выбор не игнорировался, а апостериорные контрасты условий берутся из emmeans по модели с поправкой на ковариаты.

Зависимая переменная неподходящего типа отбрасывается с предупреждением, а не ведёт к отказу. Критерий, работающий только с числовыми (или только с категориальными) зависимыми переменными, оставляет в наборе те, на которых может выполняться, и расчёт отклоняется, лишь если не осталось ни одной: смешанный по типам выбор — обычное дело, когда каждая переменная без роли становится зависимой. Иначе частичный отбор был бы незаметен (оставшиеся переменные обрабатываются, остальные исчезают), поэтому предупреждение называет исключённые переменные и правило критерия. Критерий согласия допускает в категориальный набор порядковые переменные, поскольку работает с зависимой переменной как с таблицей частот, а критерии положения относят порядковую переменную к числовым.

Пороги предпросмотра групп. Группа меньше чем из 3 наблюдений отмечается, поскольку два значения дают для оценки разброса одну степень свободы, а одно — ни одной. Группа меньше 10 приглушается как предостережение. Перечень останавливается на 30 группах и 10 предупреждениях, чтобы широкое скрещивание не растягивало панель. Числовая группирующая переменная с более чем 50 различными значениями отмечается как, вероятно, непрерывная: переменная с таким числом уровней почти никогда не бывает настоящим фактором. То же правило при запуске предупреждает о стратифицирующей переменной, у которой предпросмотра нет. Скрещивание ограничено 10 000 ячеек (жёсткий предел, чтобы подсчёт ячеек и фактор в R не подвесили браузер), а начиная с 1000 ячеек выводится предупреждение о затратах. Больше 100 попарных сравнений вызывают предупреждение о поправке p-значений, поскольку семейство такого размера на данных без эффекта даёт при α = 0.05 в среднем пять ложных открытий. В смешанном плане размер межгрупповой ячейки определяется числом различных испытуемых, а не строк: каждый испытуемый вносит по строке на каждый замер, и подсчёт строк показал бы для каждой ячейки n в k раз больше того, с которым работают проверки допущений. Пустые ячейки подсчитываются по скрещиванию и отбрасываются, а число пар считается только по заполненным ячейкам.

Полный испытуемый — это испытуемый со всеми условиями. Повторные строки в ячейке усредняются. Критерий для повторных измерений выполняется на испытуемых, у которых есть хотя бы одна строка на каждом уровне переменной замеров. У испытуемого без какого-то уровня там нечего измерять, и он исключается, а предпросмотр и карточка подсчитывают таких испытуемых. Испытуемый с несколькими строками на одном уровне сохраняется: до подгонки его строки усредняются в одно значение на ячейку «испытуемый, условие». Альтернатива — оставить первую строку, как по отдельности поступили бы reshape(), ранговая матрица и слои ошибки aov(), — вывела бы среднее ячейки по одному набору строк рядом с интервалом для повторных измерений, который модуль строит по всем строкам. Усреднение маргинализует фактор повторных измерений, который измеряют повторы, и оставляет критерий, описательные статистики и интервал на одном наборе строк. Число испытуемых с усреднёнными строками сообщает предупреждение.

Неполное скрещивание факторов повторных измерений сводится в один фактор, а не отклоняется. Если две или больше переменных замеров скрещены не полностью (для какого-то сочетания нет строк), матрица плана повторных измерений имеет неполный ранг: car::Anova() прямо отказывается от подгонки, а ARTool без предупреждения отбрасывает неразличимые члены. Модуль вместо этого считает наблюдаемые ячейки уровнями одного фактора повторных измерений. Пространство различий между замерами остаётся тем же, теряется лишь его разложение на главные эффекты и взаимодействие, и именно такую подгонку план допускает. Предпросмотр называет недостающие сочетания до запуска, а карточка сообщает о сведении после него. Сведение касается критериев, скрещивающих факторы повторных измерений: многофакторного дисперсионного анализа с повторными измерениями, его ART-варианта и смешанного семейства.

Стратегия предлагается независимому и зависимому планам только при однофакторном критерии. Многофакторный критерий включает все выбранные факторы в одну модель, так что перебирать или объединять нечего, и переключатели скрываются. Смешанный критерий скрещивает межгрупповые факторы и факторы повторных измерений в том же плане повторных измерений и всегда выполняется одной подгонкой. Критериям тренда доступен только вариант Анализировать каждую переменную отдельно. Вариант Объединить переменные в один фактор передал бы им номинальный скрещённый столбец, а статистика тренда опирается на числовой порядок фактора, так что ранжировался бы произвольный порядок ячеек, и ответ выглядел бы убедительно, но был бы неверным. При раздельной стратегии p-значения запусков объединяются в одно семейство для глобальной поправки, поскольку это проверки на одних и тех же данных.

Выбор критерия #

Невыполненное условие отклоняет запуск, а скрыть критерий может только тип анализа. Список фильтруется только по плану (независимые, зависимые, смешанные выборки или одна выборка), а все остальные требования проверяются при запуске, и сообщение называет, что нужно изменить. Критерий, который пропадал бы из списка при невыполненном условии, невозможно было бы найти: пользователь, ни разу не выбравший две зависимые переменные, так и не узнал бы о семействе MANOVA, а пользователь с номинальным фактором — о том, что критерию тренда нужен порядковый. Предварительная проверка выполняется до обращения к R, поэтому отказ ничего не стоит. Она охватывает и программные, и восстановленные конфигурации, до которых не доходит скрытие элементов на панели (одностороннее направление у общего критерия, направление эквивалентности у критерия без механизма TOST, двусторонний тренд у критерия Пейджа), так что устаревшая настройка никогда не дойдёт до процедуры и не исказит результат незаметно.

Двухвыборочный критерий на более чем двух уровнях разворачивается на все пары без общего критерия. Каждая пара проверяется напрямую, а p-значения пар входят в общее для запуска семейство глобальной поправки, где и контролируется множественность. Предварительный общий критерий добавил бы второе решение, которое поправка уже принимает. Член ошибки определяется допущением о дисперсиях, которое делает выбранный критерий. t-критерий для независимых выборок пересчитывает t каждой пары по стандартному отклонению, объединённому по всем группам, с N − k степенями свободы (pairwise.t.test(pool.sd = TRUE), контраст НЗР Фишера). Так он заимствует информацию у всей выборки, и это корректно именно потому, что критерий уже предполагает равенство дисперсий. t-критерий Уэлча сохраняет для каждой пары t с раздельными дисперсиями, поскольку объединение вернуло бы допущение, от которого он отказывается. Все остальные двухвыборочные критерии (ранговые, критерии Юэна и Колмогорова — Смирнова, F-критерий, парные и парные категориальные) проверяют каждую пару на её собственных данных, как это делают pairwise.wilcox.test и pairwise.t.test(paired = TRUE).

t-критерий Уэлча выводит d и g Уэлча, а не d Коэна с объединённым стандартным отклонением. d Коэна и g Хеджеса стандартизуются по объединённому стандартному отклонению, что противоречит допущению о неравных дисперсиях, ради которого и выбирают критерий Уэлча. d Уэлча стандартизуется мерой, подходящей для неравных дисперсий, а g Уэлча — её вариант с поправкой на смещение. Эта пара устроена так же, как d Коэна и g Хеджеса при t-критерии Стьюдента, и её рекомендуют для критерия Уэлча Делакр и др. (Delacre et al., 2021). Δ Гласса по построению использует стандартное отклонение одной группы. η² и ω² тоже не выводятся: вычисленные по t Уэлча с дробными степенями свободы Саттертуэйта, они давали бы долю объяснённой дисперсии, которой не соответствует никакое реальное разложение. Точечно-бисериальный r выводится как гомоскедастичная корреляция, стандартизованная по восстановленному объединённому стандартному отклонению с N − 2 степенями свободы, какой бы критерий ни выполнялся.

Критерий тренда выполняется на порядковом факторе с тремя и более уровнями или не выполняется вовсе. Критерии Джонкхира — Терпстры, Пейджа и Кокрена — Армитиджа берут тренд из возрастающих числовых значений фактора. Переупорядочить уровни в приложении нельзя, так что номинальный фактор был бы ранжирован в произвольном порядке уровней и дал бы правдоподобный на вид, но неверный ответ. Расчёт отклоняет такой фактор и называет переменную, которую нужно перекодировать. При двух уровнях тренд сводится к обычному сравнению двух групп, поэтому нижняя граница — три уровня. Стратегия объединения в один фактор для этих критериев отклоняется, потому что у скрещённого номинального столбца нет порядка (почему скрывается переключатель, объясняет заметка о стратегии выше). L Пейджа проверяет заданный порядок и двусторонней формы не имеет, поэтому двустороннее направление, попавшее к нему из устаревшей конфигурации, отклоняется, а не подменяется без предупреждения возрастающим трендом.

Критерий Джонкхира — Терпстры использует перестановочное p при совпадениях или при n ≤ 100. clinfun::jonckheere.test при n ≤ 100 без совпадений использует точный путь jtpdf, а эта процедура на Фортране под WebAssembly работает неверно: распределение не суммируется в единицу, и p может выйти за пределы [0, 1]. При совпадениях пакет переходит на нормальное приближение, теряющее мощность. В обоих случаях модуль принудительно использует перестановочное p пакета с фиксированным зерном (n ≤ 100 — область точного пути, а совпадения встречаются и выше) и числом повторов из настройки повторов перестановок и сообщает это число. При n > 100 без совпадений сохраняется нормальное приближение пакета, которое там корректно. Сопутствующая мера — τ-b Кендалла: она выражает ту же монотонную связь на шкале от −1 до 1 и вычисляется и на перестановочной ветви.

Критерий Кокрена — Армитиджа берёт в качестве баллов собственные значения фактора и моделирует старшую категорию исхода. По умолчанию prop.trend.test использует равноотстоящие баллы и проверил бы дозы 1 / 5 / 10 как три равных шага. Модуль передаёт фактические числовые значения порядкового фактора, сопоставленные со столбцами таблицы по индексу уровня, и возвращает подогнанный вектор, чтобы карточка могла его показать. χ² тренда с одной степенью свободы переводится в z со знаком (χ² = z²), чтобы в поле направления тренда можно было задать возрастающий, убывающий или двусторонний тренд. Событием считается старший из двух кодов исхода, и примечание его называет, поскольку без этого знак z бессмыслен. Правило Кокрена для ожидаемых частот проверяется на таблице 2 × k, как и у других критериев на основе χ², а бинарность зависимой переменной проверяется заранее, а не оставляется на ошибку процедуры.

Критерий Бруннера — Манцеля использует точную перестановочную ветвь, пока разбиения меток можно перебрать. Перестановочный критерий Нейберта и Бруннера (Neubert and Brunner, 2007) перебирает все разбиения объединённой выборки на группы заданных размеров, поэтому он точен, но ограничен числом $\left(\genfrac{}{}{0px}{}{n_1+n_2}{n_1}\right)$. Собственный предел пакета — 4 × 10⁷ разбиений, однако перебор на Фортране выделяет память под каждое разбиение и переполняет кучу WebAssembly уже примерно после 1.3 × 10⁵: C(20, 8) = 125 970 выполняется, а C(20, 9) = 167 960 обрушивает движок, и страницу приходится перезагружать. Поэтому модуль идёт по перестановочной ветви при числе разбиений не больше 100 000 и берёт приближение Саттертуэйта выше этого порога, где приближение и так достаточно точно, а малые выборки, на которых оно наименее надёжно, получают точное p. Перестановочная ветвь по построению не возвращает ни статистики, ни степеней свободы, поэтому эти столбцы остаются пустыми, а примечание называет ветвь.

Критерий Колмогорова — Смирнова: точное p при n₁·n₂ меньше 10 000, только двусторонний, с D⁺ и D⁻ вместо одностороннего p. ks.test вычисляет точное распределение D, включая совпадения, пока произведение размеров групп меньше 10 000, и переходит на асимптотическое приближение выше этого порога (собственного порога R). Карточка сообщает об этом, чтобы переключение не прошло незаметно. Поле направления критерия скрыто, потому что ks.test(alternative = "greater") означает, что функция распределения группы 1 лежит выше функции группы 2, то есть группа 1 стохастически меньше, — противоположное тому, что общая подпись Группа 1 > Группа 2 утверждает для всех остальных критериев этого поля. Вместо одностороннего p карточка выводит D⁺ и D⁻ со значениями, при которых они достигаются, по двум ЭФР: так вопрос о направлении получает ответ с указанием места на шкале, чего одностороннее p не даёт. Двустороннее p для направленного вывода консервативно, поскольку в хвосте $P(D>d)\approx 2P(D^{+}>d)$, о чём сообщает примечание к статистике.

Критерий Андерсона — Дарлинга получает p симуляцией при совпадениях или группе меньше 5 и отклоняет объединённую выборку, которую нельзя ранжировать. Асимптотическое p в kSamples::ad.test не учитывает совпадений, а если в группе меньше 5 наблюдений, пакет сам выставляет предупреждающий флаг. И то и другое делает асимптотическое p недействительным. Поэтому модуль повторяет критерий с перестановкой групповых меток, которую симулирует сам пакет, при фиксированном зерне и числе повторов из настройки повторов перестановок и сообщает, какое условие сработало и сколько было повторов. Симулированное p восстанавливается как $(1+r)/(N_{\text{sim}}+1)$ из исходного $r/N_{\text{sim}}$ пакета, так что хорошо разделённая выборка показывает нижний предел, который фактически дало число повторов, а не 0. Выводится стандартизованная статистика T.AD из второй строки вывода пакета (вариант, устойчивый к совпадениям и дискретности), а не исходная статистика AD, которую неверно было бы сравнивать с опубликованными критическими значениями. На объединённой выборке из двух наблюдений или такой, где каждая группа состоит из одного наблюдения, пакет возвращает NA при p = 1, что выглядело бы как уверенное «различий нет». Вместо этого расчёт сообщает об ошибке.

Гетероскедастичные и робастные общие критерии выводят ξ и не выводят мер объяснённой дисперсии. η², ω² и ε² разлагают общую сумму квадратов, которая существует только при равенстве дисперсий, а от этого допущения отказываются анализ Уэлча, F* Брауна — Форсайта и t1way. Поэтому вычисленная по ним объяснённая дисперсия не соответствует никакому реальному разложению, в точности как d с объединённым стандартным отклонением у t-критерия Уэлча. Их место занимает объясняющая мера ξ — отношение межгруппового разброса к объединённому винзоризованному разбросу, не предполагающее никакого разложения. Для анализов Уэлча и Брауна — Форсайта она вычисляется при γ = 0, то есть при том усечении, с которым эти общие критерии сравнивают группы, а для t1way и критерия Юэна, оценивающих разность усечённых средних, — при уровне усечения запуска. Критерий Юэна добавляет δ_t, стандартизованную разность усечённых средних со знаком, поскольку ξ знака не имеет и выражает величину без направления. Апостериорные методы этого семейства — критерий Геймса — Хауэлла и T3 Даннетта (методы с раздельными дисперсиями, которым не нужен объединённый член), а также lincon при усечении общего критерия. MANOVA Йохансена опирается на то же рассуждение уровнем выше: η² и родственные меры разлагают сумму квадратов, которая существует только при объединённой ковариационной матрице.

MANOVA Йохансена отклоняется, если собственную ковариационную матрицу группы нельзя обратить. Каждая группа взвешивается собственной ковариационной матрицей, как у Йохансена (Johansen, 1980), и именно это делает критерий многомерным аналогом критерия Уэлча. На несбалансированных планах с трёхкратной разницей стандартных отклонений он сохраняет номинальный уровень (0.052 / 0.050), тогда как след Пиллаи даёт 0.406, если избыточный разброс у малой группы, и 0.002, если у большой. Поэтому понижение по M Бокса и направляет к нему. Многомерную нормальность он по-прежнему предполагает и при её нарушении понижается так же, как семейство с объединённой матрицей. Из оценивания матрицы для каждой группы следуют три условия, которые расчёт проверяет заранее, а не внутри подгонки, где solve() на вырожденной матрице упал бы с необработанной ошибкой R. В каждой группе полных наблюдений должно быть больше, чем зависимых переменных. Зависимые переменные должны оставаться линейно независимыми внутри каждой группы. Сообщение называет группы, где это не выполнено, и предлагает обычный MANOVA с одной объединённой матрицей. Наконец, у многомерного общего критерия нет объединённого члена ошибки для контраста, поэтому у него нет размера эффекта, а попарные сравнения выполняются на последующих дисперсионных анализах Уэлча, всегда выводимых вместе с ним: последующий критерий с объединённой дисперсией вернул бы допущение, ради отказа от которого общий критерий и выбран.

Энергетический критерий стандартизует переменные, снижает число повторов в пределах фиксированного объёма работы и отклоняет запуск сверх него. k-выборочный критерий Секея и Риццо (energy::eqdist.etest) не зависит от вида распределения, поэтому к нему направляет понижение при нарушении многомерной нормальности: на логнормальных маргиналах он сохраняет номинальный уровень (0.054 / 0.040 / 0.032 при 10 / 20 / 40 наблюдениях в группе), тогда как след Пиллаи падает до 0.020. Его нулевая гипотеза охватывает разброс и форму наравне с положением, и одно лишь различие разброса отклоняется с вероятностью, близкой к 1.00. Поэтому отклонение гипотезы не свидетельствует о различии средних: в названии стоит «равенство распределений», значимый M Бокса тоже понижает этот критерий, и он предлагается как запасной вариант, а не как замена MANOVA. E-статистика строится по исходным евклидовым расстояниям и, в отличие от статистик Пиллаи и Йохансена, не инвариантна к масштабу: на рабочем движке стократное перемасштабирование одной несущественной переменной снизило мощность с 0.93 до 0.03. Поэтому зависимые переменные сначала стандартизуются, причём scale() использует всю выборку, а она инвариантна к перестановке меток, так что критерий остаётся точным. Перестановки выполняются внутри кода на C и не уступают управление, поэтому до них не доходят ни прерывание движка, ни кнопка «Отмена», и объём расчёта приходится ограничивать заранее. Затраты почти линейны по произведению «критерии × повторы × n²» и не зависят от числа переменных (0.8–2.9 с на 10⁹ единиц по всей проверенной сетке), поэтому бюджет — 10⁹ единиц на общий критерий и по одному последующему критерию на переменную, все одной стоимости. Прежде чем отклонить запуск, число повторов снижается, чтобы уложиться в бюджет, поскольку более грубое p всё равно даёт ответ, а использованное число сообщается. Ниже 199 повторов (разрешение 1/200) или ниже собственной, более грубой настройки пользователя расчёт отклоняется. При двух зависимых переменных этот предел наступает примерно на 1300 полных строках. Сообщение предлагает MANOVA и критерий Йохансена (преимущество энергетического критерия при ненормальности на малых n исчезает примерно к 500 строкам), а также настройку повторов. Апостериорного блока нет, потому что нет объединённого члена для контрастов. Последующие критерии — энергетические критерии по каждой переменной, которые разделяют нулевую гипотезу общего критерия и не предполагают ничего сверх неё, и выводятся как E-статистики без F и df. Сама E растёт с объёмом выборки и масштабом расстояний, поэтому размер эффекта — R²ₑ, DISCO-разложение того же общего рассеяния на межгрупповую и внутригрупповую части, вычисленное при R = 0, так что бюджета оно не расходует.

Многомерным подгонкам повторных измерений нужно остаточных степеней свободы больше, чем размерность контрастов между замерами. MANOVA с повторными измерениями подгоняет lm() в плане повторных измерений car::Anova(), и критерий для повторных измерений существует, лишь пока остаточные степени свободы (испытуемые − 1 − ковариаты) превышают размерность контрастов между замерами (зависимые переменные × (условия − 1)). Ниже этой границы матрица ошибок вырождена. Для смешанного MANOVA граница — испытуемые − межгрупповые ячейки − ковариаты против наибольшего члена повторных измерений, зависимые переменные × ∏(число уровней условия − 1), а дисперсионный анализ с повторными измерениями, переведённый ковариатами на подгонку MANOVA, упирается в ту же границу при одной зависимой переменной. Проверка выполняется до подгонки, а сообщение приводит оба числа и три выхода. После удаления испытуемых с пропусками проверка повторяется, поскольку подгонка работает именно с полными испытуемыми.

Пустая межгрупповая ячейка отклоняется при типе III и подгоняется при типе II. Полностью пустая ячейка скрещивания группирующих переменных делает неразличимым коэффициент взаимодействия, поэтому car::Anova(type = 3) выдаёт ошибку «aliased coefficients» для всей таблицы эффектов. При типе II главные эффекты строятся сравнением моделей, и пропадает только строка взаимодействия, поэтому расчёт блокирует тип III сообщением, где названы ячейка и путь через тип II, а тип II пропускает с предупреждением, что взаимодействие не оценивается. Проверяется само скрещивание, а не число уровней, которое уже контролируют ограничения по факторам. Предел числа ячеек проверяется раньше, поскольку скрещивание сверх предела не возвращает списка ячеек для просмотра. Она действует для всех многофакторных и смешанных критериев с двумя или больше группирующими переменными, включая ART-варианты. У них выбора сумм квадратов нет, и сообщение предлагает удалить или объединить фактор.

Ковариата, как и группирующая переменная смешанного плана, принимает одно значение на испытуемого. Процедуры для повторных измерений с поправкой на ковариаты подгоняют одну широкую строку на испытуемого, поэтому ковариата, меняющаяся внутри испытуемого, была бы либо отклонена внутри подгонки, либо, что хуже, незаметно создала бы псевдоповторения. Расчёт заранее отклоняет её с названием переменной, и только для критериев, использующих ковариаты: ART их игнорирует и сообщает об этом, так что отклонять конфигурацию из-за переменной, которую процедура всё равно отбросит, значило бы блокировать корректный анализ. Межгрупповой фактор смешанного плана постоянен для испытуемого по той же причине: модель подгоняет одну межгрупповую метку на испытуемого, а преобразование формата, M Бокса для смешанного плана и подгонка смешанного дисперсионного анализа по отдельности без предупреждения сохранили бы первую встретившуюся метку.

Информационные критерии — только для независимых выборок, на оценке по k ближайшим соседям, с перестановочным p. Взаимная информация и дивергенция Йенсена — Шеннона оцениваются методом k ближайших соседей Росса (Ross, 2014) для смешанных дискретно-непрерывных данных, а не по гистограмме, причём крошечный случайный сдвиг с фиксированным зерном разбивает точные совпадения, чтобы радиус соседства внутри группы никогда не схлопывался до нуля и не завышал оценку. p получается перестановкой групповых меток с числом повторов из настройки повторов перестановок, поэтому число повторов и сообщается. Обе величины — общие для всех k групп: обобщённая дивергенция Йенсена — Шеннона Лина (Lin, 1991) сравнивает распределение каждой группы с их смесью и ограничена сверху log₂ k, то есть это настоящая k-групповая величина, а не замаскированная пара. Поэтому попарная разбивка — апостериорный анализ по запросу, который повторяет ту же оценку для каждой пары, и каждая ячейка ограничена 1 битом. Исходные статистики не откалиброваны (биты относительно потолка, который меняется с энтропией групп или их числом), поэтому размеры эффекта — их нормировки на этот потолок: U Тейла для взаимной информации и дивергенция, делённая на log₂ k, для JSD. Для парного или смешанного плана ни один из критериев не предлагается: у вопроса «сдвинулся ли исход внутри испытуемого?» нет прямого теоретико-информационного ответа.

Интервал критериев знаков берётся по порядковым статистикам, и его покрытие дискретно. Собственный интервал binom.test охватывает долю, а не положение, поэтому интервал парного критерия знаков для медианы разностей и одновыборочного — для медианы строятся по порядковым статистикам, на которых основан сам критерий, как у Коновера (Conover, 1999, § 3.4): $[d_{(k)},d_{(n-k+1)}]$ накрывает медиану с вероятностью $1-2\text{pbinom}(k-1,n,0.5)$. Модуль берёт наибольшее k, при котором двусторонний хвост ещё укладывается в α, так что покрытие не меньше заданного уровня. Дискретное семейство не допускает точного уровня, поэтому рядом с интервалом выводится фактически достигнутое покрытие. При 95% подходящее k требует n ≥ 6, а при меньшем n ни одна пара порядковых статистик не достигает уровня, и интервал выводится как вся числовая прямая, [−∞, ∞], с покрытием 1. Пары с нулевой разностью или наблюдения, равные μ₀, отбрасываются как совпадения до подсчёта, как того требует binom.test по знакам, а размер эффекта r₊ = 2p̂ − 1 — это счёт, перемасштабированный на отрезок от −1 до 1. Ни один критерий знаков не предлагает направлений эквивалентности: binom.test не относится к семейству t-критерия или критерия Вилкоксона, и механизму TOST, повторяющему подгонку со сдвигом μ, не к чему применяться.

Точный критерий Фишера переходит на метод Монте-Карло при числе ячеек больше 30 или при числе строк больше 1000 в таблице с тремя и более строками и столбцами. Таблица 2 × 2 проходит точный гипергеометрический критерий при любом объёме, а обобщение Фишера — Фримана — Холтона пытается выполнить точный перебор и на больших таблицах. Однако FEXACT нельзя прервать после запуска, и на рабочем движке таблица с тремя и более строками и столбцами при n ≥ 2000 обрабатывалась 10.6 с в пределах рабочей памяти по умолчанию, тогда как сеть для таблицы с двумя строками (или двумя столбцами) остаётся узкой при любом n: 224 неблагоприятные таблицы вплоть до n = 100 000 заняли не больше 0.34 с. Поэтому точный путь используется при числе ячеек меньше 30, а если обе размерности больше двух, — ещё и при числе строк меньше 1000, с рабочей памятью, уменьшенной с 2 × 10⁷ по умолчанию в R до 2 × 10⁵. Если эти границы превышены или рабочая память исчерпана, расчёт переходит на p методом Монте-Карло по 10 000 повторов с фиксированным зерном. Карточка называет симуляцию и отмечает p на нижнем пределе $1/(B+1)$ как верхнюю границу, а не как точечное значение. Границы найдены эмпирически, поэтому расширять запасной путь предпочтительнее, чем поднимать их. Односторонние альтернативы существуют только для отношения шансов таблицы 2 × 2 (у обобщения на r × c направленной формы нет), поэтому поле направления открыто, только если на каждой оси ровно две фактические категории, а предварительная проверка повторяет это условие для конфигураций, минующих панель.

Критерий Мак-Немара точен при числе дискордантных пар меньше 25 и требует бинарного исхода. Асимптотический χ² ненадёжен при малом числе дискордантных пар, поэтому обёртка повторяет поведение wilcox.test с exact = NULL: при числе дискордантных пар меньше 25 выполняется точный биномиальный критерий по ним (b из b + c при p = ½), а число пар приводится в примечании. Иначе выполняется mcnemar.test с поправкой на непрерывность, которой управляет пользователь. Таблица без единой дискордантной пары выводится как неопределённая. Процедуре нужна ровно таблица 2 × 2, иначе она останавливается и направляет к критерию Стюарта — Максвелла, так что до обобщения Боукера дело не доходит. Бинарность проверяется заранее, чтобы не тратить обращение к R. Сведение критерия Стюарта — Максвелла к таблице 2 × 2 использует ту же обёртку, поэтому на бинарном исходе оба критерия согласуются, а карточка называет критерий Мак-Немара.

Критерий Кокрена — Мантеля — Хензеля исключает страты из одного наблюдения и на разреженной таблице 2 × 2 × K переходит на точный условный критерий. Страта из одного наблюдения ничего не вносит в статистику, но прерывает mantelhaen.test, поэтому такие страты удаляются до подгонки и подсчитываются в примечании. Страта, у которой после удаления пропусков на какой-либо оси осталось меньше двух уровней, не подгоняется и выводится как вырожденная. На таблице 2 × 2 × K по критерию Мантеля — Флейсса (ожидаемая частота первой ячейки, суммированная по стратам, отстоит не меньше чем на 5 от обеих границ своего диапазона) определяется, адекватно ли приближение χ². Если он не выполнен, расчёт повторяется стандартным средством mantelhaen.test(exact = TRUE), и ветвь размера эффекта берёт отсюда условную оценку максимального правдоподобия для отношения шансов и точный интервал. Статистики χ² и df у этого критерия нет. Точный критерий может не сработать вовсе на полностью разделённой таблице, где оценку максимального правдоподобия нельзя ограничить, и тогда остаётся асимптотический результат с предупреждением о разреженной таблице. За пределами 2 × 2 × K критерия Мантеля — Флейсса нет, поэтому к объединённым ожидаемым частотам применяется правило Кокрена с тем же порогом, что и у обычного хи-квадрат. Поправка на непрерывность и общее отношение шансов определены только для 2 × 2 × K и на общей таблице I × J × K не действуют или отсутствуют.

Критерии согласия и доли: p симуляцией при малых ожидаемых частотах и интервал, который почти всегда согласуется с точным критерием. Процедура критерия согласия проверяет правило Кокрена для ожидаемых частот подогнанной модели той же вспомогательной функцией, что и вкладка допущений, так что их выводы не могут разойтись. При нарушении правила p пересчитывается методом Монте-Карло по 10 000 повторов с фиксированным зерном (статистика, df и ожидаемые частоты берутся из асимптотической подгонки, X² которой тот же), а p на нижнем пределе отмечается как верхняя граница. Категорию, которой не было в выборке, можно ввести, и она проверяется при наблюдаемой частоте 0, а нулевой вес отклоняется, поскольку при нём χ² не определён. Одновыборочный критерий доли — это binom.test по частоте выбранной категории, поэтому его p точное, без приближения χ², а интервал на карточке — собственный интервал binom.test, построение Клоппера — Пирсона. Оба опираются на одни и те же биномиальные вероятности, но это не одно решение: интервал обращает равнохвостый точный критерий (α/2 в каждом хвосте), а двустороннее p binom.test суммирует все исходы, не более вероятные, чем наблюдаемый. Поэтому на границе интервал может накрыть π₀, когда p отклоняет гипотезу, или наоборот: так происходит в 34 из 7106 сочетаний (x, n, π₀) при n = 20, 50, 100, 200 и π₀ = 0.05 … 0.95 при α = 0.05, а сам binom.test(135, 200, 0.6) даёт p = 0.030, тогда как удвоенное меньшее одностороннее p, которому соответствует интервал, равно 0.035. Ни один из них не подгоняется под другой, поскольку каждый — стандартная форма под своим названием. При односторонней альтернативе собственный интервал binom.test односторонний, поэтому для карточки двусторонний интервал вычисляется заново. Размер эффекта — h Коэна, $h=2\arcsin \sqrt{\hat{p}}-2\arcsin \sqrt{{\pi }_0}$, на собственной шкале Коэна. Его границы проходят через то же арксинусное преобразование и потому согласуются с интервалом для p̂.

Параметры #

Поле направления задаётся для каждого критерия отдельно, а группа эквивалентности — там, где процедурой служит t.test или wilcox.test. Односторонняя альтернатива предлагается там, где её принимает вызов R, а подпись может указать, что именно упорядочивается: у t-критериев, ранговых критериев и критериев знаков, критерия доли, F-критерия (его подписи называют дисперсии, поскольку одно «Группа 1 > Группа 2» рядом с критерием разброса воспринималось бы как гипотеза о положении) и точного критерия Фишера на таблице 2 × 2 с ограничением, описанным в заметке о нём выше. Критерий Юэна двусторонний, потому что yuen() из WRS2 не принимает альтернативы. У критерия Колмогорова — Смирнова поле скрыто, потому что «greater» в ks.test утверждает противоположное общей подписи, и карточка вместо этого выводит D⁺ и D⁻. У общего критерия направления нет. Направления эквивалентности повторяют критерий с нулевой гипотезой, сдвинутой на Δ (mu = ±Δ), и потому существуют только для процедур t.test и wilcox.test. У binom.test критериев знаков, критерия Бруннера — Манцеля, критерия Фишера, F-критерия и критерия доли формы со сдвинутой нулевой гипотезой нет, и группа для них скрыта. Устаревшее одностороннее направление или направление эквивалентности, пришедшее из восстановленной конфигурации, отклоняется до обращения к R, а не выполняется без предупреждения как двустороннее. Подписи пересчитываются для каждого плана (группы, два условия по именам, если подогнана одна переменная замеров с двумя уровнями, — в порядке уровней приложения, а не в порядке выбора, переменная относительно μ₀, p̂ относительно π₀), так что вариант всегда называет величину, которую упорядочивает выбранный критерий.

Каждое направление эквивалентности — собственный вызов критерия со сдвинутой нулевой гипотезой, а стандартизованная Δ пересчитывается по разбросу критерия и затем фиксируется. TOST дважды выполняет t.test или wilcox.test с mu, равным −Δ и +Δ (μ₀ ∓ Δ для одной выборки), при alternative = "greater" и "less" и выводит большее p. Критерий минимального эффекта выполняет те же два вызова с переставленными хвостами и выводит меньшее p. Нехужесть и превосходство делают один вызов против одной границы, которую выбирает предпочтительное направление, а обратное p на карточке (та же гипотеза с переставленными группами) — вторая подгонка, а не преобразование. Интервал разности строится на уровне 1 − 2α, чтобы «внутри границ» и «TOST отклоняет на уровне α» совпадали. Стандартизованная Δ переводится в исходные единицы через тот разброс, по которому стандартизует собственный размер эффекта выбранного критерия, чтобы граница и статистика были на одной шкале. Для t-критерия для независимых выборок это объединённое стандартное отклонение (при попарном разворачивании критерия Стьюдента — объединённое √MSE по всем группам), для критерия Уэлча — $\sqrt{(s_1^2+s_2^2)/2}$, для парного t — стандартное отклонение разностей, для одновыборочного t — выборочное стандартное отклонение, а для ранговых критериев — MAD, приведённое к нормальному стандартному отклонению (× 1.4826): объединённое по n для критерия Манна — Уитни, по разностям для критерия знаковых рангов и по выборке для одновыборочного критерия Вилкоксона. Если MAD равно нулю, его заменяет стандартное отклонение, о чём сообщает примечание на карточке. Пересчитанная Δ входит в критерий как константа (подстановочное соглашение TOSTER), поэтому выборочная ошибка самого стандартизатора в границах не учитывается, и они становятся слегка либеральными. Исходная граница лишена этого недостатка.

Флажок апостериорных сравнений скрывается при двух уровнях только в однофакторном плане. У фактора с двумя уровнями в однофакторном плане один контраст, и общий критерий уже его проверяет. Многофакторный или смешанный план сохраняет флажок при бинарных факторах, потому что контрасты пар ячеек взаимодействия и простых эффектов остаются информативными, а смешанные планы строят таблицы по эффектам внутри себя, а не через общий механизм плоских попарных сравнений. У энергетического критерия апостериорных сравнений нет, потому что он не оставляет члена ошибки, на котором можно построить контраст (см. заметку о нём выше). Критерий Йохансена по той же причине уровнем выше сравнивает пары по своим последующим критериям Уэлча по переменным, а MANOVA и MANCOVA строят контрасты по одномерному последующему критерию каждой зависимой переменной, поскольку у многомерного общего критерия нет одной разности, которую можно разбить на пары.

Точное многомерное t стоит в списке перед методом Тьюки везде, где предлагаются оба, и корректирует пары ячеек взаимодействия при любом методе с собственным контролем. Оба метода сравнивают одни и те же пары. Стьюдентизированный размах точен для сбалансированных ячеек с общим членом ошибки и становится консервативным в несбалансированном плане, где многомерное t интегрирует по фактической корреляции контрастов: в сбалансированном плане они совпадают с точностью до округления, а при размерах групп 60/25/60/60 p-значения многомерного t равномерно меньше, до 7%. В процедурах с факторами повторных измерений метод Тьюки отпадает ещё по одной причине: у каждого их контраста свой член ошибки, так что равнокоррелированной структуры пар, для которой точен стьюдентизированный размах, уже нет, а многомерное t — его точный аналог при фактических корреляциях. Поэтому для дисперсионного анализа с повторными измерениями, MANOVA с повторными измерениями и смешанного MANOVA предлагаются только многомерное t, критерий Даннетта и попарные критерии, использующие глобальную поправку. Для пар ячеек взаимодействия (контрастов разности разностей) метод Тьюки не определён, а emmeans без предупреждения заменяет для них tukey на поправку Шидака, поэтому при методах Тьюки, Даннетта и самом многомерном t они получают adjust = "mvt", а при попарных критериях — глобальную настройку, к которой обращается только этот метод. ART-критерии строят контрасты через art.con по тому же правилу, а в списке выбирается только поправка.

Интервалы попарных t-критериев расширяются до уровня Бонферрони всякий раз, когда применяется поправка. Однофакторный путь восстанавливает разность и интервал каждой пары по объединённому MSE рядом с матрицей p из pairwise.t.test. Если глобальная поправка — не нет, критическое значение интервала берётся при α, делённом на число фактических сравнений, чтобы интервал никогда не исключал ноль рядом с незначимым скорректированным p. На многофакторном пути и пути повторных измерений то же делает emmeans. Ни один интервал не двойствен нисходящей процедуре или процедуре контроля доли ложных открытий, поэтому при поправках Холма, Хоммеля, Хохберга, Бенджамини — Хохберга и Бенджамини — Екутели, менее консервативных, чем расширение по Бонферрони, возможно обратное: строка значима, хотя её интервал включает ноль. Обе части корректны сами по себе (p контролирует частоту ошибок по критериям, а интервалы образуют корректный одновременный набор), и под таблицей выводится оговорка, когда включена одна из этих пяти поправок. Исключение — семейство из одного контраста, где любая поправка сводится к исходному p и расхождения быть не может.

Калибровка Даннетта доходит до планов с факторами повторных измерений через emmeans, а заменённая контрольная группа сопровождается уведомлением. У метода два пути. Однофакторные процедуры сами вычисляют t с объединённой дисперсией по qmvt и pmvt, а каждая процедура с контрастами emmeans запрашивает trt.vs.ctrl при adjust = "mvt". Оба пути интегрируют точное многомерное t по фактической корреляции k − 1 контрастов с контрольной группой, а второй — это калибровка Даннетта на модели, где у каждого контраста свой член ошибки. Именно это позволяет применять метод в планах с повторными измерениями и смешанных, где t с объединённой дисперсией неприменимо. T3 Даннетта — единственный вариант «все против одного» в гетероскедастичном семействе: он сохраняет для каждого контраста t с раздельными дисперсиями и df Уэлча — Саттертуэйта и соотносит их со стьюдентизированным максимальным модулем. Критерий Данна против контроля — это z Данна только для контрастов с контрольной группой, с глобальной поправкой по этим k − 1. Контрольная группа выбирается для каждого подгоняемого фактора, по умолчанию первый уровень. Если в пакетном запуске или подгонке с фильтром выбранный уровень не принадлежит подгоняемой переменной или у него нет пригодных данных, его заменяет первый уровень с пригодными данными, а заголовок называет замену и её причину: подменённая точка отсчёта, принятая за выбранную, перевернула бы смысл каждого контраста. Все три метода всегда выводятся в длинном формате, поскольку матрица k × k из k − 1 контрастов — это единственная заполненная строка.

Поправка на непрерывность включена по умолчанию и существует только там, где её применяет R. Флажок установлен, чтобы карточка совпадала с умолчаниями R и SPSS (correct = TRUE в chisq.test, mcnemar.test, mantelhaen.test и wilcox.test), а известная консервативность поправки Йейтса при частотах не меньше 25 в каждой ячейке объясняет, почему флажок вообще есть, но не служит причиной выключать его по умолчанию. Сдвиг ±0.5 ранговых критериев срабатывает только в нормальном приближении, поскольку exact = NULL выбирает точное распределение при числе наблюдений в группе меньше 50 (у критериев знаковых рангов — пар меньше 50), если совпадений нет, а точная ветвь без предупреждения игнорирует correct, как и точный условный вариант критерия Кокрена — Мантеля — Хензеля. Поэтому карточка сообщает ветвь. Табличные критерии учитывают флажок только на фактической таблице 2 × 2, поэтому флажок скрыт, если ни одна пара выбранных осей не может её образовать, и появляется, как только может хоть одна: бинарная зависимая переменная при бинарном факторе, скрещивание из двух ячеек или фактор с большим числом уровней, который апостериорные сравнения разобьют на пары. Скрытый флажок принудительно давал бы значение «ложь» и отменял бы умолчание R для тех таблиц, которые всё-таки 2 × 2, поэтому таблицы, где флажок ни на что не повлиял, называются под результатами. Попарные критерии Мак-Немара после Q Кокрена выполняются с correct = FALSE независимо от флажка, в соответствии с собственным сведением Q к двум условиям без поправки, а малые выборки, ради которых иначе нужна была бы поправка, обрабатывает точная биномиальная ветвь при числе дискордантных пар меньше 25.

Уровень усечения по умолчанию — 20%, а 50% отклоняется. Двадцать процентов с каждого хвоста рекомендует Уилкокс (Wilcox, 2017), и это умолчание WRS2: достаточно, чтобы ограничить влияние хвостов, а усечённое среднее при нормальности сохраняет бо́льшую часть эффективности среднего. Значение вводится в процентах и переводится в долю γ, а WRS2 требует 0 ≤ γ < 0.5: усечение на 50% даёт медиану и не оставляет винзоризованной дисперсии для стандартной ошибки. Поэтому пустое значение или значение вне диапазона отклоняется с сообщением, а не подменяется незаметно значением по умолчанию, которое выдало бы число при усечении, никогда не заданном пользователем. Один и тот же γ передаётся для каждой группы, каждого попарного контраста Юэна, lincon и размера эффекта ξ, так что каждое число на карточке описывает одну и ту же оцениваемую величину.

Многомерный общий критерий выводит частичную η², восстановленную по следу Пиллаи, какую бы меру ни получили последующие критерии, а у перенаправленного дисперсионного анализа с повторными измерениями меры заменяются до запуска. Многомерный размер эффекта — частичная η², восстановленная из приближённого F следа Пиллаи (V/s, значение SPSS), которая в выводе обозначена η²p. Она зависит только от того, запрошены ли размеры эффекта, поскольку выбор η², ω² или ε² опирается на разложение сумм квадратов, которого у многомерной статистики нет, и относится к одномерным последующим критериям, где вычисляется пакетом effectsize. Блок размеров эффекта скрыт для критериев, у которых в реестре нет мер: критериев Колмогорова — Смирнова, Андерсона — Дарлинга, Бартлетта, Флигнера — Килина и энергетического, чья R²ₑ — это отношение межгрупповой части к общей из energy::disco для самого общего критерия, вычисляемое в любом случае. Дисперсионный анализ с повторными измерениями с ковариатами выполняется как MANOVA с повторными измерениями (см. заметку в разделе о назначении переменных), в реестре которого есть классическая нечастичная η², но нет частичной ω². Обобщённая η² сопоставляется этой η², а не оставляется на усмотрение процедуры, которая без предупреждения перешла бы на частичную η². Частичная ω², исключающая слой испытуемых (тогда как ω² процедуры MANOVA — классическая нечастичная), до запуска заменяется частичной η² с предупреждением, чтобы заголовок столбца, значение и предупреждение относились к одной и той же мере.

Интервалы семейства d обращают нецентральное t там, где стандартизатор объединённый, и строятся по Вальду в остальных случаях. Семейство r следует собственной дисперсии. d Коэна и g Хеджеса стандартизуются по объединённому стандартному отклонению, поэтому t = d/a имеет нецентральное распределение t(df, ncp = δ/a), где a = √(1/n₁ + 1/n₂), и два корня параметра нецентральности на целевых хвостовых вероятностях переводятся обратно через d = ncp·a, по Стайгеру и Фулади (Steiger & Fouladi, 1997) и Каммингу (Cumming, 2012). Получается асимметричный интервал, ограниченный данными, вместо симметричного интервала Вальда по t. d и g оценивают одну и ту же δ, поэтому три варианта g используют интервал d без поправки, а поправка на смещение сдвигает только точечную оценку. В effectsize, JASP и jamovi вместо этого границы масштабируются множителем j, и легенда указывает на это различие, чтобы расхождение интервалов не приняли за ошибку. При попарном разворачивании критерия Стьюдента стандартизатор — √MSE по всем группам с N − k степенями свободы, собственный член ошибки попарного t-критерия с объединённой дисперсией, так что у d, её интервала и статистики общий стандартизатор и общие df. Парные dz Коэна и gz Хеджеса обращают то же нецентральное t для t = dz√n с n − 1 степенями свободы и потому согласуются с собственным решением парного t-критерия о нуле. Одновыборочные d и g устроены так же. Δ Гласса, d и g Уэлча, d_av Коэна и g_av Хеджеса сохраняют интервалы Вальда по распределению t, потому что необъединённый стандартизатор (стандартное отклонение одной группы, знаменатель по средней дисперсии, среднее двух стандартных отклонений условий) не допускает чистого нецентрального t. d и g Уэлча опираются на df Уэлча — Саттертуэйта, а весь интервал g Уэлча и g_av масштабируется множителем поправки на смещение j, тогда как интервал g Хеджеса остаётся без изменений. Робастная d Алгины — Кеселмана — Пенфилда получает интервал Вальда по собственной стандартной ошибке Юэна и df уэлчевского типа, перенесённый на шкалу δ. Точечно-бисериальный r использует обратное z-преобразование Фишера со стандартной ошибкой по df. Его интервал строится на шкале z, поэтому стандартной ошибки рядом нет. Рангово-бисериальный r и δ Клиффа — одна статистика, δ = 2U/(n₁n₂) − 1, и они используют состоятельную дисперсию Клиффа (Cliff, 1993) по разбросу доминирования по строкам и столбцам с асимметричным интервалом того же Клиффа (Cliff, 1996), по построению остающимся внутри (−1, 1), а не обрезаемым по границам. Приближённая дисперсия используется, только если состоятельную вычислить нельзя. Общеязыковой размер эффекта использует дисперсию согласованности Хэнли и Мак-Нила (Hanley & McNeil, 1982), учитывающую зависимость между n₁·n₂ парами, которую игнорирует наивная биномиальная формула, с интервалом по дельта-методу на логит-шкале, чтобы он оставался в [0, 1], и без стандартной ошибки, поскольку симметричная стандартная ошибка на исходной шкале не соответствовала бы интервалу рядом.

Интервалы мер объяснённой дисперсии и семейства χ² обращают нецентральные F и χ². η² для повторных измерений — только точечная оценка. η², ω² и ε² для t-критериев и семейства дисперсионного анализа (однофакторного, многофакторного, с повторными измерениями, смешанного, ANCOVA и многомерных последующих критериев), а также частичные η² и ω² обращают нецентральное F по Стайгеру (Steiger, 2004) и Смитсону (Smithson, 2001). Преобразование λ/(λ + df₁ + df₂ + 1) ограничивает ту единственную долю дисперсии в популяции, которую оценивают все три меры, поэтому интервал общий, асимметричный и ограниченный отрезком [0, 1], как в MBESS::ci.pvaf. Точечная оценка с поправкой на смещение (ε², ω²) может стоять слегка не в центре, и стандартная ошибка рядом с интервалом такой формы не выводится. В многофакторных, смешанных таблицах и таблицах с повторными измерениями выбранную η², ω² или ε² вычисляет пакет effectsize, и значения пересчитываются с его знаменателя (суммы квадратов эффекта плюс каждый слой ошибки по одному разу) на скорректированный итог по всем наблюдениям подгонки, поскольку ω² для повторных измерений добавляет ошибку слоя испытуемых к каждому эффекту. В дисперсионном анализе с повторными измерениями η² и обобщённая η² — доли всей модели, знаменатель которых охватывает слой испытуемых, а его нецентральное F эффекта повторных измерений не ограничивает, поэтому это только точечные оценки. Интервал есть у частичной η² и частичной ω² Олейника и Альгины (Olejnik & Algina, 2003), которые остаются частичными. V Крамера, φ Мак-Немара и w Коэна обращают наблюдаемый χ² относительно нецентрального χ² по Смитсону (Smithson, 2003) и переводят границы параметра нецентральности через √(λ/(n·scale)): V и φ ограничены единицей, w сверху не ограничен. V вычисляется по χ² Пирсона без поправки, даже если критерий применил поправку Йейтса, поскольку поправка относится к p-значению, а не к размеру эффекта. Её ориентиры — ориентиры w Коэна, делённые на √df, чтобы таблица k×k не считалась большим эффектом, чем таблица 2×2 с той же связью. Отношение дисперсий выводит s₁²/s₂² с точным интервалом по F-распределению из var.test и без оценки величины, поскольку у отношения дисперсий нет канонических ориентиров (1 — одинаковый разброс). У U Тейла и нормированной дивергенции Йенсена — Шеннона интервала нет вовсе: у оценки по k ближайшим соседям нет аналитического интервала, а бутстрэп-выборка повторяет строки и схлопывает радиусы, на которых построена оценка.

Меры на основе долей получают интервал самого критерия, а отношение шансов — три построения под одной подписью. r критерия знаков равен 2p̂ − 1 по наблюдениям без совпадений, с интервалом Уилсона для p̂ по Ньюкомбу (Newcombe, 1998), переведённым тем же преобразованием, так что 0 означает медиану, равную μ₀. h Коэна равно 2·asin(√p̂) − 2·asin(√π₀), и его интервал — собственные границы Клоппера — Пирсона критерия, пропущенные через это монотонное преобразование, так что интервал h исключает 0 ровно тогда, когда интервал для p̂ исключает π₀. Отношение шансов у критериев Фишера и Кокрена — Мантеля — Хензеля — их собственная оценка и интервал, если объект критерия их содержит. При одностороннем критерии Фишера они пересчитываются двусторонними на уровне доверия, поскольку интервал fisher.test соответствует альтернативе, а полуоткрытый интервал отображался бы как ∞ и выпадал бы из лесовидной диаграммы. У критерия Мак-Немара отношение шансов равно b/c, отношению дискордантных ячеек, а у критерия хи-квадрат — ad/bc, оба со стандартной ошибкой на логарифмической шкале по Вулфу (Woolf, 1955). Поправка Холдейна — Анскомба +0.5 применяется ко всем ячейкам, которые использует оценка, только если одна из них пуста (на полной таблице она внесла бы лишнее смещение), и скорректированная оценка помечается ‡. Таблица Мак-Немара без единой дискордантной пары отношения шансов не выводит, поскольку критерий там не определён, а поправка создала бы рядом с ним ОШ, равное 1. Стандартная ошибка не выводится, поскольку se(OR) на шкале отношения не соответствовала бы асимметричному логарифмическому интервалу рядом.

Бутстрэп-интервал — процентильный, по единице ресэмплинга самого критерия. Ему нужны восемь единиц и половина удачных выборок, и он помечается. Для r Вилкоксона, рангово-бисериального r для связанных пар (парного и одновыборочного), ε² и η²_H Краскела — Уоллиса, W Кендалла, τ-b Кендалла, ρ̄ Пейджа, g Коэна, среднего φ² Кокрена и ξ нет аналитического нецентрального распределения, которое можно обратить. Дисперсия по независимым вкладам, на которой строится интервал Вальда, даёт сбой на дискретной решётке или ограниченной ранговой статистике, а стандартная ошибка через z Фишера относится к r Пирсона при двумерной нормальности, а не к этим построениям. Поэтому для каждой меры выполняется бутстрэп, а интервал берётся по процентилям, что напрямую учитывает эффекты совпадений и непрерывности. Единица ресэмплинга — единица самого критерия: для мер знаковых рангов — знаковые отклонения (каждый повтор заново проверяется wilcox.test на той же ветви, что и точечная оценка: точной при числе ненулевых отклонений меньше 50, с тем же флагом непрерывности); для мер Краскела — Уоллиса и τ-b — наблюдения внутри каждой группы при фиксированных размерах групп; для W, ρ̄ и φ̄² — испытуемые; для g — сопоставленные пары. Число повторов берётся из настройки «Повторы бутстрэпа», зерно — из «Зерна бутстрэпа», а границы ограничиваются диапазоном меры. Нижний предел — восемь единиц (восемь ненулевых отклонений, наблюдений, пар, информативных испытуемых, наименьшая группа из восьми): меньше этого бутстрэп-выборок слишком мало, и они слишком похожи, чтобы квантили что-то значили. Меры знаковых рангов, кроме того, не строят интервал при |r| = 1, где дисперсия исчезает и интервал получил бы нулевую ширину. Интервал не выводится, если конечное значение вернули меньше половины повторов, а подсказка к метке b называет, сколько повторов его вернули. Набор повторов, давший везде одно и то же значение (например, g Коэна на паре категорий, где в одном направлении перехода нет частот для бутстрэпа), означает, что оценка на границе диапазона меры, где у процентильного бутстрэпа нет покрытия. Поэтому ячейка выводит помеченный пропуск, а не мнимо точный [0.50, 0.50], а лесовидная диаграмма, которой нужны конечные границы, такую оценку не показывает.

ξ вычисляется по данным групп при том усечении, при котором сравнивал критерий, и при сбалансированной выборке. Объясняющая мера Уилкокса и Тяня (Wilcox & Tian, 2011) — дисперсия γ-усечённых средних групп, делённая на винзоризованную дисперсию объединённой выборки, масштабированную на cterm(γ) стандартного нормального распределения. Эта формула стоит за yuen.effect и t1way.effect в WRS2. Модуль вычисляет её по данным групп, а не берёт из объекта WRS2: собственная оценка пакета при неравных размерах групп — медиана Монте-Карло без зерна, ей нужен объект результата, не создаваемый гетероскедастичными общими F-критериями, а её интервал привязан к внутреннему числу повторов, не учитывающему уровень доверия. γ — усечение запуска для критериев Юэна и t1way и ноль для анализов Уэлча и Брауна — Форсайта, сравнивающих неусечённые средние, так что ξ всегда описывает те средние, которые сравнивал критерий. Двухгрупповая ξ больше 1 заменяется винзоризованной корреляцией, как в WRS2, а оценка и бутстрэп ограничиваются отрезком [0, 1]. ξ определена для сбалансированного плана: межгрупповая доля объединённой винзоризованной дисперсии максимальна при равных размерах, поэтому прямая подстановка в несбалансированном плане её завышает (0.317 против 0.295 на тестовом наборе 20 против 200). Поэтому при неравных размерах оценка — медиана формулы по выборкам из min(nⱼ) наблюдений в каждой группе, как в WRS2, с зерном воспроизводимости, чтобы величина повторялась от запуска к запуску. Для интервала эти выборки размера min-n перевыбираются с возвращением, так что каждый повтор — одна выборка, тогда как оценка — медиана по многим. Поэтому здесь интервал помечен как консервативный: он шире выборочного распределения самой оценки и ошибается в сторону завышения покрытия.

Стандартные ошибки выводятся только там, где у меры есть замкнутая стандартная ошибка на её собственной шкале. Семейство d и робастная d Алгины — Кеселмана — Пенфилда получают стандартную ошибку по дельта-методу, а рангово-бисериальный r и δ Клиффа — состоятельную стандартную ошибку Клиффа, даже если выведенный интервал использует более точный асимметричный метод (нецентральное t, интервал Клиффа). Поэтому стандартная ошибка служит только для отображения, а интервал d ± t·SE не совпадает с выведенным и не лучше него. У мер объяснённой дисперсии и семейства χ² с их асимметричными нецентральными интервалами, у точечно-бисериального r и общеязыкового размера эффекта с интервалами на шкалах z и логита, у отношения шансов с интервалом на логарифмической шкале и у всех бутстрэп-мер симметричной стандартной ошибки на шкале эффекта нет изначально, поэтому для них столбец остаётся пустым, а не содержит число, которому противоречил бы интервал рядом.

Δ Гласса выводится как Δ₁ и Δ₂, потому что в модуле нет выбора контрольной группы. Δ Гласса стандартизует разность средних по стандартному отклонению одной группы, а не по объединённой оценке. Такой выбор правилен, когда дисперсии различаются (именно тогда объединение в d Коэна перестаёт работать), и по соглашению берётся стандартное отклонение контрольной группы. Указать, какая группа контрольная, в модуле нельзя, поэтому выводятся обе меры: Δ₁ — по стандартному отклонению первой группы, Δ₂ — второй. При равных дисперсиях они совпадают, а чем больше отношение стандартных отклонений, тем сильнее они расходятся, причём в противоположные стороны, так что, видя обе меры, читатель не забудет, какой стандартизатор перед ним. Каждая получает в столбце «Интерпретация» свою оценку величины, поскольку обе — стандартизованные эффекты по шкале Коэна.

Средний φ² Кокрена делится на число информативных испытуемых, а w Коэна (Q) — на всех. φ̄² заимствует ориентиры мер объяснённой дисперсии. φ̄² = Q/(N(k − 1)) — форма w² для статистики Q в расчёте на одну степень свободы. Она ограничена отрезком [0, 1] и интерпретируется как доля максимально возможной неоднородности между условиями, где N — число испытуемых, чей ответ менялся. Испытуемый, отвечавший каждый раз одинаково, ничего не добавляет ни к числителю Q, ни к его знаменателю, так что учёт таких испытуемых удерживал бы φ̄² ниже 1 и лишал бы такую интерпретацию смысла. По этому же числу панель допущений проверяет Q, следуя Тейту и Брауну (Tate & Brown, 1970). w Коэна (Q) сохраняет полное число испытуемых, потому что w по соглашению равно √(χ²/n) для выборки, на которой вычислен χ², а Q действительно вычисляется по всем испытуемым. Меры делятся на разные числа, поэтому каждая помечена надстрочным ⁿ, указывающим её знаменатель. Канонической таблицы порогов для φ̄² нет, поэтому модуль заимствует пороги мер объяснённой дисперсии (0.01, 0.06, 0.14), откалиброванные для η² и ω², — разумная аналогия для другого ограниченного отношения, похожего на долю объяснённой дисперсии. Мера w Коэна (Q) оценивается по его шкале 0.10 / 0.30 / 0.50 для тех, кто опирается на опубликованные пороги. φ̄² приводится вместе с Q, N и k, поскольку одно и то же значение значит разное при k = 3 и k = 8.

Критерий Стюарта — Максвелла выводит g Коэна для каждой пары дискордантных категорий. g Коэна измеряет маргинальную асимметрию как отклонение от отсутствия изменений: на таблице 2×2 это |b − c|/(2(b + c)), половина разрыва между дискордантными частотами, отнесённая к числу дискордантных пар, а не к N. Она ограничена отрезком [0, 0.5], а ориентиры Коэна (Cohen, 1988) — 0.05, 0.15 и 0.25. На таблице k×k одно усреднённое g, оцениваемое по этим порогам, откалиброванным для 2×2, вводило бы в заблуждение, поэтому модуль выводит gᵢⱼ = |nᵢⱼ − nⱼᵢ|/(2(nᵢⱼ + nⱼᵢ)) для каждой пары дискордантных категорий, каждое отдельно и со своим бутстрэп-интервалом по сопоставленным парам. Таблица, где нет ни одного дискордантного перехода, выводит величину 0, как и ветвь 2×2, а не пустую таблицу.

Сопутствующие меры критериев тренда выражают J и L на шкале корреляции, и ρ̄ — это не Z/√N. У J и L собственные шкалы, поэтому каждый критерий упорядоченной альтернативы выводит меру, которую с ним принято приводить. τ-b Кендалла выражает монотонную связь критерия Джонкхира — Терпстры на шкале от −1 до +1 с поправкой на совпадения. J — монотонная функция τ-b, так что их направления всегда совпадают, а поскольку τ-b вычисляется по данным, она доступна и на перестановочной ветви. Средняя внутриблочная ρ Пейджа — среднее по блокам корреляций Спирмена между наблюдаемыми рангами испытуемого и порядком, который предсказывает гипотеза, с поправкой на совпадения. Она лежит в пределах от −1 до +1 и сопоставима между планами с разным числом условий, тогда как форма Z/√N была бы ограничена величиной √((k − 1)/k), равной 0.816 при трёх условиях, и «большой» эффект означал бы при каждом k своё. Блок, все ранги которого совпадают, вносит 0 — столько же, сколько он вносит в L. Обе меры получают процентильные бутстрэп-интервалы: τ-b — с бутстрэпом внутри групп, чтобы размеры групп плана оставались неизменными, ρ̄ — с бутстрэпом целых блоков.

W Кендалла оценивается по шкале Шмидта, а не по ориентирам для r. W = χ²/(N(k − 1)) лежит на шкале r, но это согласованность испытуемых в порядке условий, а не корреляция, и таблица Шмидта (Schmidt, 1997) — единственная таблица ориентиров, опубликованная для самого этого коэффициента: 0.1 — очень слабая, 0.3 — слабая, 0.5 — умеренная, 0.7 — сильная и 0.9 — необычно сильная согласованность, где каждое значение — нижняя граница своей полосы. Поэтому нижняя полоса тянется до 0.3, и пренебрежимо малых W не бывает. Модуль воспроизводимости и согласованности оценивает свой W той же функцией полос, так что W = 0.55 на обеих карточках — умеренная согласованность, хотя пороги r Коэна назвали бы её сильной, а соседние полосы ICC — умеренной. В подписи стоит слово согласованность, чтобы число никогда не принимали за r, а ссылка на Шмидта приводится, только когда эта подпись видна на экране.

Тип III — умолчание на контрастах с нулевой суммой, а многофакторный дисперсионный анализ с повторными измерениями без ковариат выводит «тип III», что бы ни было выбрано. Выбор доступен для критериев, подгоняемых через car::Anova (многофакторного дисперсионного анализа, ANCOVA, многофакторного дисперсионного анализа с повторными измерениями, смешанного дисперсионного анализа и смешанного MANOVA). Тип III стоит по умолчанию, потому что не зависит от порядка эффектов и его выводят SPSS и большинство пакетов, а значит, это воспроизводимый выбор. Осмыслен он только при контрастах с нулевой суммой, поэтому модуль до подгонки задаёт contr.sum для каждого фактора. Тип II проверяет каждый главный эффект после поправки на другие главные эффекты, но не на взаимодействия, мощнее при отсутствии взаимодействия и не зависит от кодировки. На сбалансированных данных оба типа совпадают. Все остальные критерии подгоняют тип III без возможности выбора, а ART-ANOVA суммы квадратов таким образом не разлагает. В многофакторном дисперсионном анализе с повторными измерениями без ковариат межгрупповая часть содержит только свободный член, и car::Anova подставляет критерии типа III независимо от аргумента, поэтому карточка выводит «тип III», что бы ни было выбрано, а не заявляет разложение, которое не вычислялось. С ковариатой типы расходятся, и выбор начинает действовать. Пустая межгрупповая ячейка отклоняется при типе III и подгоняется при типе II, как сказано в заметке раздела Выбор критерия.

Подход к эффектам повторных измерений — один анализ (общий критерий, вывод, размер эффекта, условие для апостериорных сравнений и семейство поправки), с запасным вариантом для отдельных членов. Одномерный подход стоит по умолчанию, потому что применим при любом объёме выборки и надёжнее на малых n. Многомерный подход проверяет контрасты между замерами совместно следом Пиллаи по той же сводке car::Anova и требует, чтобы остаточных степеней свободы было больше, чем контрастов, — ниже этого матрица ошибок вырождена и критерия не существует. Поэтому член, для которого это условие не выполнено, сохраняет одномерное F без поправки на сферичность (аппарат ε на этом пути не переносится) и называется в диагностике. Так карточка может быть многомерной для двух эффектов и одномерной для третьего, и ни один из них не будет истолкован неверно. При многомерном подходе критерии сферичности, столбцы ε и скорректированные p-значения отбрасываются, поскольку нужны для вопроса, которого этот подход не ставит, а вместе с ними и суммы квадратов, поскольку средний квадрат не воспроизвёл бы соседнее приближённое F. Межгрупповые члены многомерной формы не имеют и остаются одномерными. Для эффекта повторных измерений с одной степенью свободы оба подхода численно совпадают. Единственный размер эффекта этого подхода — частичная η², восстановленная из приближённого F следа Пиллаи, поэтому список сужается до неё, а процедура так же сужает и программно заданную конфигурацию. Дисперсионный анализ с повторными измерениями с ковариатой до запуска переводится на MANOVA с повторными измерениями, у которого на этом пути нет подхода Пиллаи, поэтому поле скрывается, чтобы выбор не игнорировался.

Двумерное разложение — сингулярное разложение в базовом R, а совместное передаётся ca::mjca на индикаторной матрице с поправкой только инерций. Двумерный анализ соответствий — это сингулярное разложение стандартизованных остатков модели независимости, делённых на √n: их сумма квадратов — общая инерция χ²/n, а сингулярные векторы — измерения, так что пакет здесь ничего бы не добавил. Результат сверен с таблицей курильщиков Гринакра и summary(ca::ca()) по каждой массе, инерции, координате, вкладу и квадрату косинуса. Сторона таблицы, опустевшая после отбора полных наблюдений, отбрасывается, а таблица, у которой осталось меньше двух строк или столбцов, отклоняется. Совместный анализ берёт индикаторное решение ca::mjca с исходными главными инерциями, ограниченными величиной 1/Q и потому выглядящими пренебрежимыми при любой структуре, и применяет поправку Гринакра (Greenacre, 1993) только к инерциям. mjca(lambda = "adjusted") к тому же перемасштабирует координаты и делит их на инерции другой матрицы, что даёт квадраты косинусов больше 1, которые пакет затем перезаписывает, тогда как косинусы индикаторного решения для каждой категории в сумме дают ровно 1. Поэтому координаты, вклады и косинусы берутся из него, а скорректированы только проценты инерции — по измерениям выше 1/Q, отчего доли и не складываются в 1, о чём сообщает карточка. Совместному анализу нужны три переменные, поскольку две дают двумерную таблицу, и больше полных наблюдений, чем переменных. Переменная с одним фактическим уровнем отбрасывается, а две переменные, одинаково разбивающие наблюдения (измерение чистой избыточности, с которого начиналась бы карта), называются в выводе, а не ведут к отказу.

Классификационный анализ предлагается только независимым критериям положения и упорядоченности и никогда — парному плану. t-критерий или критерий Манна — Уитни проверяет, различаются ли группы, а ROC-анализ оценивает двойственное: насколько хорошо значения их различают (AUC — это U Манна — Уитни, нормированное на [0, 1]), и добавляет порог с метриками при нём. Вариант ограничен критериями положения и упорядоченности, потому что чистый критерий разброса (F-критерий) или критерий распределения целиком (Колмогорова — Смирнова, Йенсена — Шеннона) может показать большое и совершенно верное различие рядом с AUC около 0.5: группы с одинаковым центром и разным разбросом действительно трудно разделить одним порогом, и это выглядело бы как противоречие внутри одной карточки. Парный план и план с повторными измерениями исключены, потому что аппарат AUC предполагает независимые наблюдения, так что стандартный интервал на данных «до–после» неверен, а вопрос «различает ли показатель состояние до и после у одного и того же испытуемого» редко совпадает с поставленным. Различение на парных данных — это разности, соотнесённые с внешней меткой, в независимом запуске. Подгонка — pROC::roc с направлением «<» по порядку уровней закодированного фактора. Ей нужны ровно две группы и не меньше четырёх наблюдений со значениями. Если AUC переменной оказывается меньше 0.5, порядок её уровней переворачивается и подгонка повторяется, по ранговой проверке pROC, а не по предварительной ориентации по средним, которая ненадёжна для бимодальных значений или значений с тяжёлыми хвостами. Так предсказываемой группой всегда оказывается второй уровень, и каждая AUC не меньше 0.5, кроме режима сравнения AUC.

Правила выбора порога — это coords(best) из pROC с разрешением ничьих в сторону угла, а коэффициент стоимостей строго больше 1 и выводится в обоих направлениях. J Юдена и правило, взвешенное по стоимости, — это best.method = "youden" с best.weights, равными (1, 0.5) и (стоимость, распространённость). Правило ближайшего к (0, 1) — это closest.topleft. coords() может вернуть несколько одинаково оптимальных строк в случайном порядке, поэтому ничья детерминированно разрешается по расстоянию до угла (0, 1). Правило стоимости выводит две строки (для коэффициента дороже пропуск положительного, для обратной величины — ложная тревога), потому что коэффициент можно понимать в обе стороны. Поэтому поле принимает только значения строго больше 1: любая асимметрия ниже 1 — это обратная величина асимметрии выше 1, так что ничего не теряется, а ровно 1 означает отсутствие асимметрии. В этом случае обе строки вычисляли бы одинаковые веса и оказались бы одинаковыми дубликатами с противоречащими подписями «более дорогая ошибка», повторяя то, что уже выводит J Юдена. Значение вне диапазона отклоняется с сообщением, а не заменяется без предупреждения.

Заданная распространённость привязана к названному уровню и пересчитывает PPV, NPV и точность по чувствительности и специфичности. Интервалы метрик заново выбирают порог в каждой бутстрэп-выборке. Процедура выбирает предсказываемую группу по данным для каждой переменной и каждой пары групп, так что непривязанная доля означала бы P(A) = p в одной строке и P(B) = p в следующей. Поэтому заданная распространённость — утверждение об одном названном уровне: по списку на каждый подгоняемый фактор, как у контрольной группы, поскольку пакетный запуск подгоняет группирующие переменные по очереди, и уровень одной не является уровнем другой. По умолчанию выбран последний уровень — тот, который pROC считает «случаями» при не перевёрнутой подгонке, — а если подгонка оставила предсказываемой другую группу, значение отражается в 1 − p. Если названный уровень не принадлежит подгоняемому фактору, остаётся выборочная частота, и каждая карточка сообщает, какая распространённость к ней применена. Собственные PPV, NPV и точность coords() всегда используют исходную выборочную распространённость и игнорируют веса, поэтому все три выводятся из чувствительности и специфичности при действующей распространённости (при выборочной частоте они совпадают со значениями pROC). Так же заданная распространённость сдвигает и порог правила, взвешенного по стоимости, веса которого от неё зависят. Поскольку порог выбирается на той же выборке, метрики при нём — оптимистичные точечные оценки. Интервал заново выбирает порог в каждой стратифицированной бутстрэп-выборке при наблюдаемых размерах классов, так что изменчивость выбора в нём учтена. Он вычисляется вручную, а не через pROC::ci.coords, который фиксирует прогностические ценности при выборочной распространённости и противоречил бы заданной. Одна бутстрэп-выборка обслуживает все правила, так что правило стоимости обходится одним циклом, а не двумя. Число повторов берётся из настройки «Повторы бутстрэпа».

Сравнение AUC отбирает строки для всех подгонок построчно и фиксирует одну ориентацию. p-значения объединяются в одно семейство. Парный критерий Делонга предполагает, что все кривые построены на одних и тех же испытуемых, поэтому при сравнении AUC строки с пропуском в группирующем факторе или в любой выбранной зависимой переменной заранее исключаются из всех подгонок (иначе автоматическое определение парности в pROC становится неоднозначным там, где у переменных пропущены разные строки), и N каждой AUC — это общее подмножество. Одиночная подгонка или несколько подгонок без сравнения отбирают полные наблюдения по каждой переменной отдельно, так что пропуск в одной не сокращает остальные. Переворот по отдельной переменной при сравнении не выполняется, поскольку парный критерий Делонга отвергает кривые с разным разбиением на случаи и контроли. Поэтому переменная, различающая группы в обратную сторону, вполне может иметь AUC ниже 0.5, а её рабочая точка берётся по зеркальному правилу (более низкие значения указывают на предсказываемую группу), чтобы порог был пригоден к использованию, а AUC и её интервал оставались в общей ориентации, нужной критерию. roc.test вызывается с paired = TRUE для каждой пары переменных и оставляет p-значения без поправки. Поправка применяется позже к одному семейству по всем парам переменных, парам групп и факторам пакетного анализа, чтобы попарное разворачивание и пакетный режим не оставляли нескольких мелких семейств с недостаточной поправкой. От общего семейства это семейство отделено, поскольку сравнение AUC — иная гипотеза, чем различие групп. Собственный интервал AUC — pROC::ci.auc: замкнутая формула Делонга или бутстрэп с числом повторов из настройки «Повторы бутстрэпа».

Фраза о направлении опирается на одну сводную статистику семейства, вычисляемую независимо от флажка. Чтобы сформулировать «Группа A > Группа B» в столбце «Интерпретация», нужна статистика группы: среднее для критериев положения, медиана для ранговых критериев, которые сравнивают положение, а не средние, и на данных с тяжёлыми хвостами или совпадениями могут расходиться со средним, и стандартное отклонение для критериев разброса, отклоняющих гипотезу по разбросу. Поэтому buildCalcFlags принудительно вычисляет эту статистику, тогда как её показ в таблице и CSV по-прежнему зависит от выбора пользователя. Без этого строка направления незаметно исчезала бы при снятом флажке. Флажок доверительных интервалов управляет и столбцом интервала самой разности, и интервалами в попарных таблицах, поскольку они строятся на том же уровне доверия.

Интервал Мори остаётся планкой по умолчанию, а ячейка повторных измерений перекрывает запрос ДИ или SE. Оба интервала для повторных измерений исключают дисперсию между испытуемыми, и потому именно они подходят для сравнения повторных уровней. Различаются они тем, какое правило можно применить к их перекрытию. Интервал Кузино — Мори (Morey, 2008) — стандартное построение, которое выводят таблицы, но едва соприкасающиеся планки не соответствуют p ≈ 0.05, так что перекрытие — не критерий. Интервал с поправкой на разность по Багли (Baguley, 2012) — тот же интервал, умноженный на √2/2, более узкий именно для того, чтобы правило выполнялось: две неперекрывающиеся планки отмечают значимое различие. Интервал Мори остаётся по умолчанию, потому что его используют литература и другие пакеты, а смена умолчания без предупреждения переписала бы все графики, которые модуль уже построил. Подпись под каждым графиком называет, какой интервал нарисован. Для ячейки, статистики которой содержат интервал Мори, рисуется именно он, что бы ни было запрошено (ДИ или SE), поскольку её стандартная ошибка нормирована по испытуемым и как мера разброса между испытуемыми смысла не имеет. SD выводится как запрошено, поскольку это просто разброс значений. Запрос интервала с поправкой на разность при отсутствии таких ячеек переходит к обычному ДИ, а не сужает обычный интервал, поэтому этот вариант предлагается только при наличии фактора повторных измерений, а вариант SE в плане только с повторными измерениями убран.

Проверка допущений #

Нормальность проверяется для того, что выбранное семейство предполагает нормальным, и никогда — для объединённой переменной. Зависимая переменная, объединённая по группам, — смесь распределений групп и не проходит проверку нормальности как раз тогда, когда между группами есть различие. Поэтому проверка соответствует модели: shapiro.test для каждой группы в независимом плане, для каждой ячейки межгруппового скрещивания в многофакторном и для внутрипарных разностей в зависимом плане с двумя условиями, поскольку именно по ним вычисляется парный t-критерий. При трёх и более условиях допущение относится к остаткам lm(dv ~ subject + condition) по испытуемым с данными во всех условиях, а для ANCOVA с повторными измерениями добавляются члены наклонов condition × covariate, чтобы пространство остатков совпадало с подгонкой, которую пропускает вывод проверки. При ковариате в независимом плане проверяются остатки lm(dv ~ grouping + covariates), поскольку если разброс ковариаты различается между группами, исходные значения групп ненормальны и гетероскедастичны даже при безупречной модели. Те же остатки используются в строках критерия Левена. В смешанном плане проверяется каждая ячейка «группа × замер» по испытуемым с данными во всех условиях (построчно полной выборке, на которой подгоняется его lm). При числе ячеек больше 50 или ошибке в проверке по ячейкам проверка переходит к одному критерию Шапиро — Уилка на каждый уровень фактора по средним испытуемых, поскольку исходные длинные строки создавали бы псевдоповторения каждого испытуемого по уровням фактора и завышали бы каждое n. Предел сохраняет выводимую матрицу пригодной для чтения, ведь скрещивание 3 × 3 × 3 × 3 из 81 ячейки состоит в основном из ячеек меньше чем из трёх значений. Строки по ячейкам содержат значения, центрированные по среднему ячейки, поэтому строки одной переменной складываются в объединённый внутриячеечный остаток, по которому строится график Q-Q и работает критерий выбросов. При числе значений меньше 3 shapiro.test выполнить нельзя, а больше 5000 он не выполняется намеренно, поскольку при таком n отвергает отклонения, слишком малые, чтобы иметь значение. Асимметрия и избыточный эксцесс вычисляются для каждой ячейки в любом случае, так что и непроверенную ячейку можно оценить.

Критерий выбросов — критерий Бонферрони для внешне стьюдентизированных остатков, и он никогда не понижает критерии. Фиксированный порог |z| > 3 отмечает постоянную долю в любой чистой нормальной выборке, так что число отметок растёт с n и ничего не говорит о выборке. Поэтому каждый остаток делится на ошибку модели без своего наблюдения (влияние 1/n для подгонки по средним ячеек, собственные hatvalues и df.residual подгонки там, где проверялись остатки модели), соотносится с t(df − 1), а его двустороннее p умножается на число наблюдений в наборе переменной, так что частота отметок остаётся на уровне значимости для проверки допущений при любом объёме выборки. Критерию нужно df ≥ 2 (удаление наблюдения стоит ещё одной степени свободы). Он пропускает позицию с влиянием 1, где проверять нечего, и не выполняется при запасной проверке по факторам, межгрупповые строки и строки повторных измерений которой — маргиналы по тем же испытуемым и учитывали бы каждое наблюдение дважды. Отметка никогда не понижает критерий: крайнее наблюдение — повод его рассмотреть, а не нарушенное допущение, и что с ним делать, решает пользователь. Критерии положения получают оговорку, а F-критерий и критерий Бартлетта — более строгую, направляющую к критерию Флигнера — Килина, поскольку дисперсия реагирует на крайнее значение пропорционально его квадрату.

Проверка симметрии меняет знаки, а не полагается на дисперсию асимметрии из нормальной теории. Критерий знаковых рангов Вилкоксона предполагает, что разности (или значения относительно μ₀) симметричны, а не нормальны, а критерий Шапиро — Уилка эти свойства не различает: симметричная выборка с тяжёлыми хвостами не проходит проверку нормальности, но для критерия знаковых рангов вполне годится. Подошёл бы критерий Д’Агостино (D’Agostino, 1970) для g₁, но он опирается на Var(g₁) = 6/n, значение нормальной теории, которое симметричная выборка с тяжёлыми хвостами превышает многократно (у распределения Лапласа — 63/n), и потому отвергает симметричные данные из-за их хвостов. Вместо этого нулевое распределение строится случайной сменой знаков отклонений от медианы, что корректно при любом симметричном законе и в точности соответствует нулевой гипотезе «разности симметричны». Используется 2000 повторов при фиксированном зерне, а p вычисляется как (1 + #{|g₁*| ≥ |g₁|}) / (B + 1) по Фипсону и Смиту (Phipson and Smyth, 2010) и потому никогда не равно нулю. При n меньше 6 ни одна комбинация знаков не бывает достаточно крайней, чтобы отвергнуть гипотезу на обычном α (наименьшее двустороннее p равно 2/2ⁿ), поэтому такие строки показывают n < 6, а не считаются пройденными. Нарушение направляет к подходящему плану критерию знаков, который учитывает только направления и ничего не предполагает о форме, и никогда не понижает критерий, поскольку при умеренной асимметрии частота ошибок критерия знаковых рангов меняется мало.

Критерий Мардиа выполняется по группам с поправками для малых выборок, на модели многомерного критерия. Совместная нормальность, которую предполагает MANOVA, относится к каждой группе, поэтому критерий выполняется для каждой межгрупповой ячейки и считается не пройденным, если асимметрия или эксцесс отвергает гипотезу хотя бы в одной группе. Ковариата переводит его на остатки lm(cbind(dvs) ~ grouping + covariates), а план с повторными измерениями преобразуется в одну строку на испытуемого со столбцом на каждое сочетание переменной и условия, поскольку независимыми критерий Мардиа предполагает испытуемых, а не наблюдения: одна группа в чистом плане с повторными измерениями, по группе на межгрупповую ячейку в смешанном. Статистики используют смещённую ковариацию с делителем n, которую предполагают эталонные распределения, поправочный множитель Мардиа (Mardia, 1974) для малых выборок к χ² асимметрии и центрирование конечной выборки p(p + 2)(n − 1)/(n + 1) для z эксцесса. На малых n это совпадает со скорректированными статистиками MVN::mvn, а с ростом n — с классическими. p эксцесса двустороннее, поскольку плосковершинные отклонения нарушают допущение не меньше, чем тяжёлые хвосты. В группе должно быть больше полных наблюдений, чем переменных, иначе её ковариационная матрица вырождена. Почти коллинеарная пара так же не проходит chol() и сообщается тем же образом. Если не удалось оценить ни одной группы, запуск выводит «не оценено», а не прохождение, которое рекомендации приняли бы за выполненное допущение.

Критерий Левена — это вариант Брауна — Форсайта с центрированием по медиане, на выборке самого критерия, а смешанный план получает его дважды. car::leveneTest по умолчанию использует center = median — модификацию, устойчивую к асимметрии и дискретности, которые часто встречаются в данных для критериев положения. Строки с пропусками предварительно отбрасываются, поскольку у функции нет na.rm, а группа, медиана которой обращается в NA, отбрасывается целиком. При ковариате строки описывают остатки модели с поправкой на ковариаты — по причине, указанной в заметке о нормальности. В смешанном плане критерий нельзя выполнить на длинной таблице: каждый испытуемый вносит по строке на каждое условие, и df2 завышается во столько раз, сколько повторов. Поэтому строка межгруппового эффекта вычисляется по среднему каждого испытуемого по условиям, где строки независимы, а второе семейство проверок сравнивает межгрупповые группы внутри каждого условия по испытуемым с данными во всех условиях, то есть по построчно полной выборке смешанного дисперсионного анализа. На допущении второго семейства основаны F-критерии смешанного дисперсионного анализа, и оба понижают один и тот же ключ при одном условии сбалансированности. Роль предварительного фильтра отдана критерию Левена, потому что это дисперсионный анализ абсолютных отклонений и он устойчив к ненормальности, в отличие от критерия Бартлетта и F-критерия для дисперсий. В модуле эти два критерия проверяют разброс как гипотезу: при любом нарушении нормальности они понижаются, и рекомендации направляют к критерию Флигнера — Килина.

Семейство проверок по ячейкам понижает критерии, только когда нарушений больше, чем даёт случайность. Широкий смешанный или многофакторный план выполняет по критерию нормальности на каждую ячейку и по критерию Левена на каждое сочетание условия и переменной — до пятидесяти тех или других в одной проверке, а при α = 0.05 семейство из пятидесяти даёт два-три нарушения и при полностью верной нулевой гипотезе. Так что правило «любое нарушение понижает» превратилось бы в «понижает всегда». Граница — наибольшее число нарушений, которое семейство из m независимых критериев ещё достигает в 95% случаев при распределении Binomial(m, α), и семейство считается нарушающим допущение только за этой границей. При m ≤ 4 граница принудительно равна 0: биномиальная граница равна 1 уже при m = 2 и оправдывала бы единственное нарушение, которое в узком семействе и есть всё свидетельство. Для нормальности семейство составляют только строки без защиты центральной предельной теоремы: отклонение защищённой строки никогда не понижает критерий, и её учёт раздувал бы границу настолько, что настоящее нарушение в малой ячейке осталось бы незамеченным. Защищающее n — это число испытуемых для остатков модели повторных измерений и наименьшая ячейка для остатков модели с поправкой на ковариаты. Строки по ячейкам всегда выводятся как есть, а строки сводки называют границу вместе с числом нарушений, так что видимое число нарушений никогда не кажется противоречащим соседней рекомендации.

У разброса стандартных отклонений по ячейкам нет порога, и он выводится только там, где предлагается ART-критерий. ARTool подгоняет (1|subject) как всю ковариацию между замерами, что предполагает одну остаточную дисперсию во всех ячейках «группа × замер» и не исправляет отклонений: при верной нулевой гипотезе отношение стандартных отклонений ячеек, равное 3, подняло частоту отклонений общего критерия с 0.0475 до 0.275. Заменить эту проверку критерий Левена по условиям не может, поскольку сравнивает межгрупповые группы внутри условия и никогда — один замер с другим. Поэтому таблица выводит наименьшее и наибольшее стандартные отклонения ячеек и их отношение ровно на той выборке, которую использует подгонка ART. Вывода к ней не прилагается, потому что корректного вывода нет: нулевое распределение отношения для гомоскедастичного плана с 15 наблюдениями в ячейке тянется от 1.40 до 2.14, а порог, за которым ART действительно перестаёт работать, зависит от оси разброса (отношение 2 в популяции между замерами, 3 между группами), так что никакой единый порог для выводимого числа не годится. Таблица вычисляется для любого зависимого и смешанного плана, но выводится, только если среди рекомендаций есть ключ ART: парный план с двумя условиями держит его в списке нерекомендуемых, и примечание объясняло бы тогда допущение критерия, который пользователь выбрать не может. Ячейка без дисперсии сохраняет свою строку, а не исчезает.

Критерий Моучли берётся из собственной широкой подгонки общего критерия, для каждого члена повторных измерений, а его вывод — оговорка. Подгонка для сферичности — одна вспомогательная функция R, общая с дисперсионным анализом с повторными измерениями, так что панель и таблица результатов не могут расходиться. Это car::Anova на широком отклике «испытуемый × ячейка» с планом повторных измерений, с поправкой на межгрупповые факторы, если смешанный план их содержит, и на ковариаты, если они войдут и в подгонку, и одна строка Моучли на каждый член повторных измерений (главные эффекты и взаимодействия), поскольку car выводит каждый контраст отдельно и опускает контраст с одной степенью свободы, у которого нет сферичности для проверки. Неполное скрещивание факторов повторных измерений подгоняется на объединённом факторе по наблюдаемым ячейкам, как и в самом анализе, иначе панель сообщила бы «не удалось проверить» именно для той модели, поправки которой выводит таблица результатов. Меньше трёх замеров — не ограничение, а сферичность по построению, и это сообщается как неприменимость. А слишком мало полных замеров — ограничение, поскольку подгонка выполняется только для плана с тремя и более. Столбец n — число испытуемых, оставшихся в подгонке. Оно выводится, поскольку от него зависит мощность критерия Моучли, а неполных испытуемых подгонка отбрасывает без предупреждения. Нарушение — оговорка, а не понижение, поскольку p-значения с поправками Гринхауса — Гейссера и Хюйна — Фельдта — это и есть столбцы, по которым таблица результатов делает вывод, так что поправка уже встроена в анализ, как у критериев Уэлча при неравных дисперсиях. Критерий оценивается на уровне значимости для проверки допущений, а обе поправки выводятся, поскольку на малых n ему не хватает мощности, а на больших он отвергает слишком часто, и читатель в любом случае может опереться на скорректированное p.

M Бокса оценивается на фиксированном α = 0.001 и понижает критерии только в несбалансированном плане. Критерий чувствителен к ненормальности и в любом плане слишком часто отвергает гипотезу при больших n, поэтому его порог — учебные 0.001 (по Табачнику и Фиделлу), намеренно не зависящие от уровня значимости для проверки допущений. Цена отклонения зависит от сбалансированности. При примерно равных ячейках (наибольшая не больше наименьшей в 1.5 раза — то же условие, что у критерия Левена по условиям) след Пиллаи поглощает неоднородность ковариаций, и семейство с объединённой матрицей остаётся рекомендованным с оговоркой. При неравных ячейках оно понижается, а MANOVA и MANCOVA направляются к критерию Йохансена, который взвешивает каждую группу её собственной матрицей и сохраняет номинальный уровень там, где след Пиллаи уходит до 0.406 или 0.002 в зависимости от того, у какой группы избыточный разброс. Статистика — статистика Бокса (Box, 1949) с поправкой χ² на p(p + 1)(g − 1)/2 степеней свободы, для MANCOVA вычисленная по матрице остатков lm(cbind(dvs) ~ grouping + covariates), так же, как её вывел бы biotools::boxM, без вычета степеней свободы ковариат. В каждой группе должно быть больше полных наблюдений, чем переменных, поскольку у вырожденной матрицы группы нет логарифма определителя. Смешанный план преобразуется в одну строку на испытуемого со столбцом на каждое сочетание переменной и условия и сравнивает эти матрицы между межгрупповыми группами. Это многовыборочная сферичность, которую предполагает и одномерный смешанный дисперсионный анализ, так что даже при одной зависимой переменной отклик состоит из двух и более столбцов, и вывод затрагивает смешанный дисперсионный анализ при том же разделении по сбалансированности. Для этого нужно не меньше пяти полных испытуемых в группе и больше, чем столбцов в отклике. Энергетический критерий понижается при любом отклонении, без учёта сбалансированности, потому что неравные ковариации для него не помеха, а различие, по которому его нулевая гипотеза отвергается. Это смягчается до оговорки, если нарушена и многомерная нормальность: тогда критерий ковариаций нормальной теории ничего не доказывает, а понижение оставило бы без рекомендации все многомерные критерии.

Коллинеарность оценивается по ковариации ошибки при |r| > 0.90. Объединение групп добавляет к r разделение их средних по обеим зависимым переменным, так что порог может превысить пара, которая для модели вовсе не коллинеарна. Поэтому корреляция берётся по остаткам lm(dv ~ grouping + covariates) для межгруппового плана и подгонки «испытуемый + условие» для плана с повторными измерениями или смешанного, то есть по той ковариации, которую обращает многомерный критерий. Порог — одна константа, общая со стороной R и модулем корреляции, так что три места не могут разойтись. Отметка понижает критерии, обращающие объединённую матрицу (семейство MANOVA и критерий Йохансена, для которого из-за обращения матриц по группам это ещё опаснее), но не энергетический критерий, вычисляющий расстояния. Та же проверка внутри набора ковариат даёт оговорку, а не понижение, поскольку модель всё равно подгоняется, а какую ковариату исключить, панель решить не может.

Проверки ковариат — это взаимодействие, квадратичный член и однофакторный дисперсионный анализ, по одной строке на испытуемого. Однородность наклонов — член grouping × covariate в lm(dv ~ grouping * covariate) для каждого сочетания зависимой переменной и ковариаты, стандартная проверка. Линейность добавляет I(covariate²) к lm(dv ~ grouping + covariate) и проверяет его, так что криволинейная связь внутри групп проверку не проходит. Независимость — это aov(covariate ~ grouping), сравнение самой ковариаты между группами. В плане с повторными измерениями фактором служит условие, а испытуемый входит как фиксированный блоковый эффект: наклоны — член condition × covariate, линейность проверяется на уровне испытуемых, а независимость не проверяется вовсе, поскольку ковариата с одним значением на испытуемого не может меняться вместе с фактором повторных измерений. В смешанном плане межгрупповая диагностика подгоняется по одной строке на испытуемого (ковариата и зависимая переменная усредняются по испытуемым с данными во всех ячейках), потому что длинная таблица учитывала бы каждого испытуемого по разу на каждое условие и завышала бы остаточные степени свободы. К ним добавляются строки наклонов «условие × ковариата» из прохода по повторным измерениям с пометкой оси, поскольку область значимости на стороне результатов — апостериорная, и больше эту сторону ничто не проверяет. При нарушении однородности наклонов причина указывает на анализ, который карточка выполняет взамен, а не просто констатирует нарушение: понижение касается одной скорректированной разности и не означает, что у плана нет ответа.

Правило Кокрена применяется там, где подгоняется критерий: по таблице, по страте или к гипотетическим частотам. Правило (ни одной ожидаемой частоты меньше 1 и не более пятой части ячеек меньше 5) — одна вспомогательная функция R, которую используют процедура хи-квадрат и обе строки панели, так что встроенное предупреждение и вывод панели не могут разойтись. Из таблицы сопряжённости сначала удаляются нулевые маргиналы, чтобы ненаблюдавшийся уровень не добавлял ложную ячейку с ожидаемой частотой 0, а ожидаемые частоты берутся прямо из маргиналов, что даёт вывод даже там, где chisq.test выдал бы ошибку. При стратифицирующей переменной панель повторяет процедуру Кокрена — Мантеля — Хензеля: страты из одного наблюдения отбрасываются, ожидаемые частоты объединяются по таблицам страт, а на таблице 2 × 2 × K вместо этого применяется критерий Мантеля — Флейсса (ожидаемая частота первой ячейки, суммированная по стратам, отстоит не меньше чем на 5 от обеих границ своего диапазона), и примечание предупреждает о приближении этого критерия, потому что точный критерий Фишера здесь не выход. Строка критерия согласия вычисляет ожидаемые частоты как N × pᵢ по введённым весам, а пока ничего не введено — по равномерной нулевой гипотезе (умолчание самого chisq.test). Введённая гипотеза меньше чем с двумя категориями или с неположительным весом выводится как непроверенная, а не заменяется равномерной, иначе проверялась бы гипотеза, которую никто не задавал. Те же веса отклоняет и запуск. Ничто в этих строках не понижает критерии, поскольку категориальные критерии исключены из списков рекомендаций (категориальная переменная без роли автоматически считается зависимой, что сделало бы их выводы обманчивыми), а процедура критерия согласия сама переходит на симулированное p.

Строки парных категориальных критериев подсчитывают то, что использует их критерий: дискордантные пары с порогом 25 и информативных испытуемых по Тейту и Брауну. Статистики Мак-Немара и Стюарта — Максвелла строятся только по парам вне диагонали, поэтому критерий достаточности — их число, с порогом 25, ниже которого обёртка Мак-Немара переходит на точный биномиальный критерий. При трёх и более условиях двухвыборочные критерии разворачиваются по одному на пару условий, поэтому подсчитывается каждая пара и выводится самая слабая. Примечание зависит от числа категорий, потому что от него зависит средство: при двух категориях автоматически включается точный критерий, а при большем числе точного критерия Стюарта — Максвелла нет, и корректным остаётся только предупреждение о надёжности. Q Кокрена ничего не получает от испытуемого, чей ответ не меняется, поэтому его эффективная выборка — информативные испытуемые, и приближение χ², по Тейту и Брауну (Tate and Brown, 1970), адекватно при N ≥ 4 и N × k > 24. Подходит только бинарная переменная. Какой критерий достаточности применяется, определяется выбранным критерием, а не числом уровней, поскольку критерий Мак-Немара на трёхуровневом факторе — по-прежнему вопрос о дискордантных парах.

Понижение — это нарушение допущения, существенное для данной выборки. Всё остальное — оговорка. Параметрические критерии положения понижаются за ненормальность, только если не прошедшая ячейка меньше порога предупреждения о малой выборке (по умолчанию 30, но это настройка, поэтому оговорка называет порог, а не число), а защищающее n — та единица, на которой основана устойчивость критерия: испытуемые для остатков модели повторных измерений, наименьшая ячейка для остатков модели с поправкой на ковариаты. Критерий Бартлетта и F-критерий для дисперсий понижаются при любом нарушении нормальности, поскольку для дисперсии центральная предельная теорема не спасает, а критериев Уэлча нет в списке для критерия Левена, потому что они не предполагают однородности — к ним и направляет понижение. Сферичность, крайние наблюдения, непроверенное допущение и нарушение M Бокса или критерия Левена по условиям в сбалансированном плане — оговорки по причинам, названным в соответствующих заметках. Никогда не понижаемые робастные варианты сопровождаются оговоркой, пока выполняется допущение, которое они ослабляют: критерий Флигнера — Килина — при нормальности, критерии усечённых средних — если не нарушены одновременно нормальность и однородность, критерий Йохансена — пока M Бокса пройден или ячейки сбалансированы. Так они не выбираются по умолчанию вместо стандартного критерия с выполненным допущением, а критерии знаков и оба ART-критерия сопровождаются оговоркой всегда. Критерий, не поддерживаемый выбором переменных, указывается как нерекомендуемый с недостающим требованием, в точности как в предварительной проверке самого запуска, так что панель никогда не рекомендует критерий, который запуск затем отклонит. Пока роль не заполнена, выводится «не оценено», а не рекомендация вслепую. Категориальные критерии исключены из обоих списков.

График Q-Q объединяет строки и прореживает по порядку рангов. Один график на зависимую переменную по остаткам, на которых проверялись строки нормальности, собранный из строк по ячейкам со значениями, центрированными по среднему ячейки. Так получается один график на переменную, а не на ячейку, и примечание предупреждает, что при объединении отклонения в противоположные стороны могут взаимно погаситься. При числе значений меньше 5 график не строится — тот же порог, что у модулей регрессии и временных рядов. При числе остатков больше 5000 график строится по каждому k-му значению в порядке рангов: график Q-Q — функция порядковых статистик, так что это та же кривая с меньшим разрешением, тогда как случайная подвыборка дала бы другую кривую. Запасная проверка по факторам графиков не строит, поскольку её межгрупповые строки и строки повторных измерений — маргиналы по тем же испытуемым. Примечание рядом с графиками поясняет не зависящую от объёма выборки часть таблицы (W как прямизну самого графика, асимметрию как его кривизну, избыточный эксцесс как тяжесть хвостов) и отправляет читателя за полным набором критериев в анализ нормальности, а не в анализ распределений, который строит исходное маргинальное распределение — смесь по группам, выглядящую ненормальной как раз тогда, когда есть реальный эффект.

Чтение результатов #

Интервалы на однофакторной карточке остаются на номинальном уровне, когда её p-значения скорректированы. Глобальная поправка затрагивает только p-значения: каждый интервал возвращается из R на заданном уровне доверия, а ни один интервал не двойствен нисходящей процедуре или процедуре контроля доли ложных открытий. Поэтому скорректированное p может оказаться незначимым рядом с интервалом, исключающим ноль. Карточка сообщает об этом в примечании под таблицей всякий раз, когда поправка включена и выводится хоть один интервал (для группы, для разности, для размера эффекта), вместо того чтобы расширять интервалы до уровня Бонферрони, которого поправка может и не использовать. Исключение — апостериорные контрасты, поскольку emmeans расширяет свои интервалы по своему adjust=, и поэтому их заголовок — одновременный ДИ.

Вывод сформулирован под нулевую гипотезу семейства, а строка направления опирается на собственную оценку критерия. Значимое различие неверно описало бы критерий разброса, критерий распределения целиком, критерий согласия или критерий доли, нулевые гипотезы которых — равенство дисперсий, одно распределение, ожидаемое распределение и π₀. Поэтому у каждого семейства своя формулировка, а односторонние формы есть только у семейств, которым предлагается поле направления: критериев положения, F-критерия, критерия Фишера для 2 × 2 и критерия доли. Строка направления берёт знак оценки разности, если критерий её выводит, потому что сдвиг Ходжеса — Лемана рангового критерия и две маргинальные медианы могут различаться по знаку, а это противоречило бы соседнему одностороннему выводу. Если оценки нет, строка упорядочивает группы по сводной статистике семейства (среднему, медиане у ранговых критериев и критериев распределения целиком, стандартному отклонению у критериев разброса) и называет эту величину у семейств, описательные статистики которых выводят другую, поскольку неподписанное A > B рядом с двумя средними воспринималось бы как утверждение о средних. В строке критерия Кокрена — Мантеля — Хензеля строки направления нет вовсе: её таблица частот — объединённая, и её маргинальная доля может быть направлена противоположно общему отношению шансов рядом (парадокс Симпсона), поэтому направление задают отношение шансов и его интервал.

ω²p для повторных измерений — подстановочная оценка по параметру нецентральности, который обращает её интервал. ${\omega }_p^2=\frac{d{f}_1({\text{MS}}_1-{\text{MS}}_e)}{d{f}_1{\text{MS}}_1+(d{f}_2+1){\text{MS}}_e}$ — подстановка λ̂ в преобразование доли дисперсии Стайгера (Steiger, 2004), так что оценка и нецентральный F-интервал вокруг неё оказываются на одной шкале. Олейник и Альгина (Olejnik and Algina, 2003), effectsize и SPSS ставят на место df₂ + 1 общее число наблюдений и выводят немного меньшее значение. Примечание под таблицей указывает на это расхождение, чтобы его не принимали за ошибку.

L Пейджа использует точное нулевое распределение, если условий меньше 16 и блоков меньше 21, и только без совпадений. Пейдж (Page, 1963) табулировал точное распределение L для одного блока, а DescTools::PageTest сворачивает его по блокам при k < 16. Таблица предполагает ранги внутри блока без совпадений, поэтому блок с совпадениями сохраняет нормальное приближение, дисперсия которого вычисляется по суммам рангов с усреднением совпадений: замкнутая формула $n{k}^2(k+1)(k^2-1)/144$ совпадений не учитывает и делает p либеральным. Свёртка выполняется через БПФ, ошибка округления которого задолго до 40 блоков поглощает хвостовое p и даже делает его отрицательным, поэтому точное значение берётся только до 20 блоков, где оно остаётся вероятностью, а выше — приближение, к тому времени уже достаточно точное. Эти два значения существенно различаются как раз при малых k, для которых критерий и создан, поэтому точная ветвь используется везде, где она корректна.

Таблица частот однофакторной карточки строится для числового исхода с не более чем 20 различными значениями. Параметр Совместная таблица частот существует для категориальных критериев, но оценка по короткой шкале — тот же объект, а при числе различных значений больше 20 таблица частот вырождается в строку на наблюдение, нечитаемую и медленную в построении. Поэтому независимое и парное семейства используют один общий потолок: раньше, когда у каждой процедуры он был свой, значения разошлись.

Стандартизованные остатки отмечаются при критическом |z| с поправкой Бонферрони на число ячеек. Стандартизованный остаток асимптотически распределён как N(0, 1), поэтому поячеечное продолжение общего критерия хи-квадрат или согласия — это сравнение |z| с критическим значением, а порог 1.96 без поправки отмечал бы одну ячейку из двадцати в таблице, где ничего не отклоняется. Граница — поправка Бонферрони на число просмотренных ячеек, так что отмеченная ячейка остаётся крайней с учётом множественности по всей таблице. Используется $stdres из chisq.test, а не $residuals: дисперсия остатка Пирсона меньше 1, и при любом пороге, взятом из распределения z, ячеек отмечается слишком мало. Диаграмма долей категорий отмечает свои столбцы той же функцией, так что диаграмма и таблица не могут расходиться, а для критерия согласия это единственный апостериорный анализ.

Вывод TOST — это четырёхвариантная интерпретация Лакенса, а решение об эквивалентности принимается по скорректированному p. Принудительный двусторонний критерий и два односторонних — независимые решения, поэтому их сочетание по Лакенсу (Lakens, 2017) отделяет эквивалентность от статистически различны, но эквивалентны (реальное, но слишком малое, чтобы иметь значение, различие) и различны, эквивалентность не установлена от неопределённого результата, когда ни один критерий не отклоняет гипотезу и выборка не даёт оснований для вывода ни в одну сторону. Двухвариантный вывод сохраняется, только если двустороннее p вычислить не удалось. В глобальную поправку входит p решения (p (экви.) или p (MET)), и вывод опирается на скорректированное значение, поскольку двустороннее p, скорректированное вместо него, оставило бы утверждение об эквивалентности без поправки на семейство, в котором оно сделано. В режиме добавления выводятся оба скорректированных p-значения, потому что четырёхвариантный вывод опирается на оба.

Критерий Стюарта — Максвелла обращает свою ковариационную матрицу через сингулярное разложение и выводит эффективный ранг как df. Статистика равна $d^{\prime }{S}^{-1}d$ по k − 1 маргинальным разностям, а S вырождена всякий раз, когда какая-то категория пуста или две категории полностью избыточны, то есть как раз на тех разреженных парных таблицах, с которыми критерий имеет дело. Обычный solve() упал бы с необработанной ошибкой R, а tryCatch вокруг него скрыл бы, какой из двух случаев произошёл, поэтому процедура один раз раскладывает S. Если все сингулярные значения ниже допуска, критерий не определён, и карточка выводит NA с примечанием, а не χ² = 0, p = 1, которые без предупреждения дала бы псевдообратная матрица. Если отброшены лишь некоторые, используется псевдообратная матрица по оставшимся направлениям, df уменьшается до этого ранга, чтобы p оставалось откалиброванным, а примечание называет результат приближённым, поскольку свёртывание избыточной категориальной структуры — решение, о котором читатель должен знать.

Сводка попарных сравнений называет семейство поправки, потому что две формы плоских попарных таблиц объединяются в разных пределах. У автоматического разворачивания нет строки общего критерия: каждая пара — самостоятельный критерий, так что её p-значения входят в общее семейство запуска вместе со всеми другими критериями анализа, по правилу из заметки раздела Выбор критерия. Разбивка общего критерия по запросу раскладывает строку, которая уже входит в это семейство, поэтому её пары корректируются внутри собственного набора переменной (такую структуру уже имеют апостериорные таблицы со стороны R), а строка общего критерия остаётся в общем семействе, и поэтому включение разбивки больше ничего в запуске не ужесточает. Обе формы проходят через один механизм и один выбор метода, а своей строки Метод: у плоских таблиц нет, поэтому блок сводки над ними называет метод и пределы, а не оставляет поправку подразумеваемой. Семейство из одного сравнения остаётся без поправки, поскольку там любая поправка сводится к исходному p.

Отражённая ориентация ячейки матрицы выводится отдельно для каждой статистики, а одностороннее p эквивалентности — вторая подгонка. Нижний треугольник единообразно читается как «строка − столбец», поэтому ориентация, которую процедура не подгоняла, выводится из подогнанной. Статистика положения меняет знак. F из var.test — само отношение дисперсий, и оно заменяется обратной величиной. Так ведёт себя только эта статистика разброса. Счёт сумм рангов дополняется до своего максимума (U′ = n₁n₂ − U, V′ = maxV − V, счёт знаков — до n без совпадений), поскольку смена знака у счёта дала бы неверный знак. Симметричная статистика (категориальный χ², информационная дивергенция, D, T.AD) не зависит от ориентации и сохраняется. Размер эффекта отражается на собственной шкале в зависимости от своего нулевого значения и семейства: отношение заменяется обратным, вероятность превосходства дополняется до 1 − v, d, r или δ со знаком меняют знак, симметричная величина вроде V Крамера или ξ сохраняется. Интервал преобразуется, и его концы меняются местами, поскольку каждое преобразование монотонно убывает. Δ₁ и Δ₂ Гласса меняются местами вместе со стандартными ошибками и интервалами, поскольку перестановка пары меняет и стандартизатор. Одностороннее p эквивалентности — единственное поле, которое не является преобразованием собственного значения: «группа 1 не хуже группы 2» и обратное утверждение — разные гипотезы против противоположно сдвинутых нулевых, поэтому процедура подгоняет обе ориентации, и отражённая ячейка показывает вторую, скорректированную как собственное параллельное семейство, а TOST и критерий минимального эффекта, симметричные по Δ, проходят без изменений.

Апостериорные контрасты плана с факторами повторных измерений имеют каждый свой член ошибки, и примечание над блоком об этом сообщает. Семейства с повторными измерениями, многофакторные с повторными измерениями и смешанные (и построенные на них многомерные планы) строят контраст для каждого члена по многомерной модели lm. Её неструктурированная ковариация между замерами даёт каждому контрасту ошибку его ячеек, а не объединённый MSE модели с расщеплёнными делянками, по которому вычислена строка общего критерия. Поэтому контраст между замерами остаётся корректным при нарушении сферичности. Цена — меньше степеней свободы на контраст и контраст, который не обязан совпадать с выводом общего критерия. Чисто межгрупповой контраст это не затрагивает: многомерная подгонка в точности воспроизводит объединённые межгрупповые SE и df модели aovlist, сбалансированной или нет. Семейства ART, напротив, объединяют ошибку: art.con даёт всем парам члена одну стандартную ошибку и одно df, что перераспределяет частоту ошибок, а не завышает её (заметки об ART). Многофакторная карточка не выводит ни одного из двух примечаний, поскольку тоже объединяет ошибку, но без фактора повторных измерений ей нечего предполагать о сферичности. Оба примечания — флаги со стороны R в данных апостериорного анализа, а не ключи критериев, потому что функции вывода общие для всех семейств.

Оценка Брайера калибруется по Платту на тех же данных и остаётся пустой, если подгонка неидентифицируема. Оценке Брайера нужны вероятности, а исходная зависимая переменная ими не является, поэтому она калибруется однофакторной логистической подгонкой по Платту (Platt, 1999), и подогнанные вероятности оцениваются относительно индикатора предсказываемой группы. Ориентация заложена в самой подгонке, так что переменная, различающая группы в обратную сторону при общей ориентации, в отдельном отражении не нуждается. Калибровка подгоняется на тех же наблюдениях, которые оценивает, поэтому число описывает соответствие данным, а не прогностическую способность вне выборки, о чём напоминает легенда карточки. Если все значения одинаковы, наклон неидентифицируем, и обе ячейки остаются пустыми, а не выводятся как 0. Относительная оценка Брайера пересчитывает её относительно постоянного предсказания по базовой частоте, оценка Брайера которого равна p(1 − p). Эта точка отсчёта сохраняет сопоставимость между переменными с разным соотношением групп.

Многофакторная карточка всегда выводит скорректированные средние, вычисленные по той же подгонке с контрастами нулевой суммы, что и общий критерий. Без ковариат это равновзвешенные краевые средние (среднее уровня — среднее средних его ячеек независимо от их размеров), то есть та величина, к которой относится нулевая гипотеза главного эффекта типа III, и единственный блок карточки, соответствующий критерию над ним. Описательные статистики ниже взвешены по объёму выборки, поэтому в несбалансированном плане они расходятся, и читатель, видевший только исходные средние, сверял бы вывод с неверной величиной. Поэтому они вычисляются независимо от того, включены ли апостериорные сравнения (карточка смешанного анализа, краевые средние которой берутся из отдельной подгонки в широком формате, выводит их только по запросу, см. заметку о скорректированных средних): сначала скрещивание ячеек, под ним маргиналы по факторам. При наличии ковариат тот же блок скорректирован на ковариаты, а emmeans привязан к таблице подгонки, так что каждое среднее вычисляется там, где указывает строка о фиксированных значениях.

η², ω² и ε² в таблице источников делятся на скорректированный итог и пересчитываются со знаменателя effectsize. Нечастичные меры effectsize делят на сумму сумм квадратов эффектов плюс сумму квадратов ошибки (для ω² — ещё и средний квадрат ошибки), а при типе III и несбалансированности общая для членов дисперсия не приписывается ни одному члену, так что эта сумма перестаёт совпадать с итогом относительно среднего: обычно она меньше, но примерно в одной выборке из восьми — больше. Скорректированный итог — единственный знаменатель, который читатель может проверить по последней строке таблицы, поэтому оценка и её нецентральный F-интервал пересчитываются на него: это один положительный множитель при неизменном числителе, так что интервал преобразуется вместе с точечной оценкой, а в сбалансированном плане оба знаменателя совпадают и ничего не меняется. Частичная η² вычисляется вручную по разложению сумм квадратов с тем же интервалом Стайгера (Steiger, 2004) и не затрагивается, поскольку она частичная по построению. Примечание под таблицей называет знаменатель, чтобы можно было сопоставить результат с пакетом, использующим другой, а мера, которую пакет вычислить не смог, заменяется частичной η², переподписывается и указывается в диагностике, а не выводится под выбранным названием.

Скорректированные средние берутся из многомерной lm по её собственным строкам подгонки, а карточка смешанного анализа выводит их, только когда они нужны. emmeans на подгонке aov() + Error() неверно отделяет ковариату от слоя свободного члена и смещает межгрупповые средние, поэтому краевые средние смешанных семейств берутся из широкой lm критериев сферичности с data = model$model. lm() построчно отбрасывает неполных испытуемых, и ковариата, зафиксированная на среднем по строкам, которых модель не видела, сдвинула бы каждое скорректированное среднее и расширила бы его интервал. По той же причине исходные средние, N и SD карточки ANCOVA берутся по строкам подгонки, а не по загруженным данным. Без ковариаты это равновзвешенные краевые средние, к которым относится нулевая гипотеза главного эффекта типа III при несбалансированности, поэтому карточка смешанного анализа вычисляет их, когда их требуют апостериорные сравнения или ковариата, смешанный MANOVA — всегда, а MANOVA — никогда, поскольку там они совпали бы со средними групп, уже выведенными в описательных статистиках. Значение, на котором зафиксирована каждая ковариата, выводится под заголовком, потому что скорректированное среднее — это предсказание именно при этом значении и ни при каком другом (SPSS и SAS выводят такую же строку). На карточке, где подгонки по переменным сохранили разные строки, строка значения не называет, поскольку у каждой переменной оно своё.

Каждая строка повторных измерений выводится с p, скорректированным на ε по правилу Гирдена, и в семейство поправки входит то же p. Вывод, его пометка и p в семействе опираются на p Гринхауса — Гейссера при ε̂ (GG) меньше 0.75 и на p Хюйна — Фельдта начиная с 0.75, как предлагает Гирден (Girden, 1992): вблизи сферичности оценка GG занижена, а оценка HF там менее смещена. Так делается для каждой строки повторных измерений, а не только там, где критерий Моучли отвергает гипотезу, по причине, названной в заметке о допущениях: при выполненной сферичности ε̂ близка к 1, и поправка почти не сдвигает p, а привязка к критерию Моучли отслеживала бы его мощность, а не данные. Семейство и вывод формируются одной вспомогательной функцией, так что расходиться не могут. У межгрупповых строк нет ε, и они опираются на исходное p. У ART понятия сферичности нет, и его строки никогда не помечаются, а одномерные последующие критерии семейства MANOVA в плане с повторными измерениями делают вывод так же.

ART подгоняется как модель со случайным свободным членом, проверяется собственным критерием ARTool и оценивается со знаменателями Кенварда — Роджера. ARTool::art с (1 | subject) проводит подгонку через lmer, который справляется с любым скрещиванием межгрупповых факторов и факторов повторных измерений, тогда как ветви aov() / Error() нужны вложенные слои. anova.art проверяет её через car::Anova с df знаменателя Кенварда — Роджера из pbkrtest, отсюда дробные df ошибки в каждой строке. Подгонка принимается при двух условиях ARTool: выровненные отклики в сумме дают ноль, а дисперсионный анализ каждого выровненного отклика, не представляющего интереса, даёт F, отличающееся от 0 не больше чем на допуск all.equal 1.5 × 10⁻⁸. Невыполнение сообщается в диагностике с найденным F, поскольку тогда значения F на выровненных рангах нельзя интерпретировать. Обычные причины — пустая ячейка «группа × замер» и неравные размеры межгрупповых ячеек. Скрещивание факторов повторных измерений, сведённое в один фактор, не оставляет ничего для выравнивания, поэтому там проверка не выполняется, и карточка об этом сообщает. Вырожденная ковариация случайных эффектов (слишком мало испытуемых в межгрупповой ячейке, коллинеарные факторы) приводит к сбою шага Кенварда — Роджера. Процедура перехватывает сбой и вместо сообщения пакета выводит причину. Ковариата отбрасывается с сообщением в диагностике, а не ведёт к отказу, поскольку выравнивание определено только для категориальных факторов. Единственный размер эффекта — частичная η², потому что у выровненного отклика нет разложения дисперсии на шкале исхода: она восстанавливается по F и двум df, а её интервал обращает нецентральное F, как и у параметрического семейства.

Контрасты ART берутся из art.con, по одному члену за раз, с одной объединённой ошибкой. Обычный emmeans на выровненной модели сравнивал бы не тот отклик: art.con заново выравнивает и ранжирует для каждого члена (ART-C) — главный эффект на собственном выровненном отклике, двухфакторное взаимодействие в виде контрастов разности разностей (interaction = TRUE), единственных, которые допускает выравнивание. Простой эффект при фиксированном уровне другого фактора опирается именно на ту структуру, которую выравнивание удалило, поэтому простые эффекты не предлагаются, а трёхфакторные члены сохраняют строку общего критерия. Все пары члена получают одну стандартную ошибку и одно df из объединённой подгонки, что перераспределяет частоту ошибок, а не завышает её: при нулевой гипотезе с равными дисперсиями ячеек, но условиями, коррелированными по схеме AR(1), одна пара дала 0.0033, а другая — 0.1067. Об этом сообщает примечание под каждым блоком, а читать набор пар следует вместе с разбросом стандартных отклонений по ячейкам под таблицей источников.

η²p многомерного эффекта восстанавливается по приближённому F следа Пиллаи, а его скорректированное p входит в семейство один раз. Четыре статистики проверяют одну гипотезу, поэтому глобальная поправка берёт p первой корректной строки (Пиллаи), а карточка выводит скорректированное значение и вывод только в этой строке, а не четырежды. Критерии ковариат остаются вне семейства как мешающие члены. Размер эффекта — F·df₁ / (F·df₁ + df₂) из строки Пиллаи с нецентральным F-интервалом, подписанный η²p, какую бы одномерную меру ни выбрали, поскольку η², восстановленная по F критерия, частичная по построению. У энергетического критерия вместо неё R²ₑ, DISCO-разложение его собственных расстояний. Наибольший корень Роя получает F через приближение верхней границы, точное только при s = 1, поэтому его p — нижняя граница (так его выводят SPSS, SAS и базовый R). Предупреждение об этом в строке дано и в подсказке, и видимым текстом: атрибут title теряется при экспорте и печати.

Одномерные последующие критерии подгоняются на строках общего критерия, соответствуют его виду и корректируются как собственное семейство. Подгонки по переменным выполняются на построчно полных строках многомерной подгонки, так что их df описывают ту выборку, которую защищал общий критерий, а не бо́льшую. Вид определяется общим критерием (дисперсионные анализы Уэлча после критерия Йохансена, поскольку последующий критерий с объединённой дисперсией вернул бы допущение о равенстве ковариаций, от которого тот отказался; энергетические критерии по переменным после энергетического критерия, разделяющие его нулевую гипотезу и не предполагающие ничего сверх неё; смешанный дисперсионный анализ и анализ с повторными измерениями после их многомерных форм), и заголовок это указывает. K p-значений одного многомерного эффекта корректируются вместе выбранным методом и никогда не объединяются с глобальным семейством: многомерный критерий — защищающий барьер, а примечание над таблицей указывает K и метод, чтобы два семейства нельзя было спутать. Внутренняя частичная η² используется только под заголовком η²p: процедуры возвращают NA, а не подставляют частичную η² вместо ω², ε² или η², так что значение никогда не переподписывается. В смешанном MANOVA предупреждение «общий критерий незначим» для каждого эффекта опирается на p последующего критерия этой переменной, потому что контрасты одномерны, а многомерный общий критерий защищает весь набор, а не пары одной переменной.

Дискриминантные функции — собственные векторы E⁻¹H, найденные после выбеливания и выраженные во внутригрупповой метрике. eigen(solve(E) %*% H) — несимметричная задача, которая возвращает комплексные значения для спектра, вещественного по построению, поэтому E выбеливается её множителем Холецкого, и решается симметричная задача. Каждая функция масштабируется к внутригрупповой дисперсии 1 и ориентируется так, чтобы её наибольший стандартизованный коэффициент был положительным, что делает знаки устойчивыми от запуска к запуску и больше ничего не меняет. Структурные коэффициенты — объединённые внутригрупповые корреляции (структурная матрица SPSS), а не корреляции по всей выборке, которые выводит candisc (расхождение 0.07 на проверке с тремя группами и тремя переменными), потому что функция определена во внутригрупповой метрике, а вариант по всей выборке примешивает разделение обратно в её собственное описание. Выводятся они после стандартизованных коэффициентов, потому что упорядочивают переменные так же, как одномерные критерии, и, как указывает Ренчер (Rencher, 1988), повторяют ту ограниченность, которую анализ призван преодолеть. Последовательные проверки — χ² Бартлетта для функций от m-й до последней, с множителем по остаточным df, а не по N, чтобы учитывались степени свободы ковариат MANCOVA. В MANCOVA H и E — матрицы типа III с поправкой на ковариаты, так что центроиды — это скорректированные средние, спроецированные на функции. Если df гипотезы не соответствует числу групп, матрицы относятся не к этой подгонке (ошибка раньше в блоке R оставляет в области видимости матрицы предыдущего запуска), и блок отказывается описывать чужую подгонку.

Разность наклонов и область значимости каждой пары берутся из собственной повторной подгонки с модератором, на уровне доверия интервала. Подогнанная модель опускает член «ковариата × фактор», как принято в ANCOVA, и это исчерпывающее описание только там, где наклоны уровней совпадают. При контрастах с опорной категорией пара не является линейной комбинацией коэффициентов полной подгонки, поэтому для каждой пары опорным делается её второй член, и модель подгоняется заново как dv ~ other covariates + covariate * factor: член взаимодействия даёт проверку разности наклонов, а область Джонсона — Неймана берётся из той же подгонки. Пара замеров использует разность по испытуемому, d ~ covariate, свободный член которой — разность условий при данном значении ковариаты, а наклон — разность наклонов. Остальные ковариаты центрируются, чтобы свободный член относился к их средним значениям. В смешанном плане проверяются пары условий внутри каждой межгрупповой ячейки и пары групп в каждом условии (у пары, меняющей и то и другое, нет ни разности по испытуемому, ни двух независимых групп), и каждый блок помечается стороной и ячейкой. Область находится решением θ(m)² = t²·Var(θ(m)) как квадратного уравнения относительно ковариаты, по Джонсону и Нейману (Johnson and Neyman, 1936) и Бауэру и Каррану (Bauer and Curran, 2005), с t на уровне доверия при остаточных df подгонки. Выводятся только границы внутри наблюдаемого диапазона ковариаты, доля наблюдений подсчитывается по фактическим данным, а не по сетке графика, а заливка графика берётся из того же неравенства, так что таблица и график совпадают по построению. График строится, если собственная проверка наклонов пары отклоняет гипотезу на уровне значимости для проверки допущений, поскольку анализ существует, чтобы ответить на непройденную проверку однородности наклонов, а общее взаимодействие, которое она проверяет, не показывает, в какой паре дело. По запросу график строится для каждой пары. На многомерных карточках области строятся по каждой зависимой переменной, поскольку многомерная область значимости не является общепринятой конструкцией. Вывести их лучше, чем опустить анализ, потому что у общего критерия его нет.

Матрица откликов неполного ранга отклоняется до подгонки. Независимые MANOVA и MANCOVA проверяют ранг матрицы зависимых переменных на полных строках в виде остатков lm(dvs ~ grouping + covariates), так что улавливается и пара, коллинеарная только внутри групп, и переменная, воспроизводящая ковариату, а планы с повторными измерениями проверяют свою матрицу откликов «испытуемый × ячейка». При неполном ранге матрица ошибок вырождена, и car::Anova упал бы внутри расчёта, поэтому проверка останавливает его заранее и называет ранг и число переменных. MANCOVA также останавливается, если df ошибки по полным наблюдениям, N − группы − ковариаты, меньше числа зависимых переменных. Границы по числу испытуемых для планов с повторными измерениями и смешанных описаны в заметке раздела о выборе критерия.

Поправка p-значений #

Одно семейство содержит p всех общих критериев, а семейства апостериорных, последующих критериев и сравнений AUC корректируются отдельно от него. В семействе по одному месту на каждую гипотезу, о значимости которой пользователь может заявить: общий критерий зависимой переменной, каждая пара автоматического разворачивания двухвыборочного критерия (у него нет строки общего критерия, и пары — основной результат), каждая строка эффекта, кроме строк ковариат, и одно представительное p на многомерный эффект. Все места запуска, включая итерации пакетного и псевдофакторного анализа, корректируются одним вызовом p.adjust, так что семейство — это всё исследование, а не одна карточка. Эффект повторных измерений вносит p Гринхауса — Гейссера или Хюйна — Фельдта, если сферичность нарушена, то есть то значение, по которому делается его вывод, так что скорректированное p и вывод никогда не опираются на разные числа. Четыре многомерные статистики проверяют одну гипотезу, поэтому входит одно p, а скорректированное значение записывается во все четыре строки. Три семейства остаются вне общего. Апостериорные таблицы и разбивка категориального общего критерия по запросу защищены собственным общим критерием и корректируются как отдельное семейство тем же методом: объединение с общим семейством учло бы гипотезу общего критерия дважды и раздуло бы семейство для всех остальных критериев запуска, так что включение разбивки ужесточало бы поправку для критериев, к которым она отношения не имеет. Метод с собственным контролем (точное многомерное t, Тьюки, Геймса — Хауэлла, Неменьи, критерии Даннетта) поправки не получает. Одномерные последующие критерии многомерного критерия — это защищённая процедура: общий критерий служит барьером, а p-значения по переменным образуют одно семейство на многомерный эффект. Семейство из одного критерия остаётся без поправки. Сравнения AUC по Делонгу отвечают на иной вопрос, чем различие групп, поэтому образуют собственное семейство по всем парам переменных, парам групп и итерациям пакетного анализа, а не несколько мелких семейств по вызовам, которые давали бы недостаточную поправку. Ковариата — мешающий контроль, а не сравнение, которое делает пользователь, поэтому её строка не получает доли допустимой ошибки (иначе поправка для интересующего эффекта ужесточалась бы из-за самого факта учёта ковариаты) и выводится без поправки. Запуск с эквивалентностью включает в семейство p решения (TOST, нехужесть, превосходство, MET), а двустороннее p и, для одностороннего попарного семейства, отражённое p проходят через параллельные семейства того же размера, так что четырёхвариантный вывод сочетает два решения, контролируемые на одном уровне.

Предупреждение об отсутствии поправки появляется только для семейства, которое ничто другое не корректирует. По умолчанию выбрано Нет, так что нескорректированное семейство обычно означает, что поправку просто не выбрали, а не сознательное решение оставить исходные p-значения. Но предупреждение, появляющееся на уже скорректированном выводе, приучило бы пользователя его игнорировать. Поэтому условие определяется формой самого семейства: любой пакетный или псевдофакторный запуск, а также одиночный запуск с несколькими зависимыми переменными при критерии, подгоняющем их по отдельности, с двумя и более факторами, с двухвыборочным критерием на факторе с тремя и более уровнями или с апостериорными сравнениями, запрошенными у поддерживающего их не двухвыборочного критерия, при методе, использующем глобальную поправку. Метод с собственным контролем покрывает каждую таблицу контрастов своей карточки, а оставшиеся строки общего критерия образуют семейство только начиная с двух факторов, что уже учтено числом факторов. Поэтому t-критерий для двух групп и однофакторный дисперсионный анализ с методом Тьюки выполняются без предупреждения.

Визуализация #

Графики распределения в многофакторном или смешанном плане разбиваются по полному скрещиванию ячеек. Многофакторный критерий включает все межгрупповые факторы в одну модель, а смешанный — все факторы обеих сторон, поэтому разбиение ящика с усами, скрипичного графика, графика ЭФР и графика средних только по первому фактору объединило бы картину по остальным, а в смешанном плане — растворило бы и фактор повторных измерений, ради которого план существует. Поэтому графики разбиваются по искусственному столбцу скрещённых ячеек, построенному так же, как фактор стратегии объединения, и раскодированному в подписи ячеек, а подпись оси перечисляет скрещённые переменные. Тот же столбец служит ключом для интервала для повторных измерений на графике средних, где каждый фактор помечен как фактор повторных измерений или межгрупповой. Поэтому ячейки смешанного плана получают этот интервал так же, как условия зависимого плана. Если скрещивание превышает предел числа ячеек, разбиение возвращается к первому фактору, а пакетный запуск разбивает графики по фактору своей итерации, а не по первому выбранному.

Размер ромбов лесовидной диаграммы пропорционален обратной дисперсии, а мера-отношение получает логарифмическую ось. Это соглашение метаанализа: вес строки — единица, делённая на квадрат её разброса (аналитической стандартной ошибки, если её выводит каждая строка, иначе полуширины интервала, на логарифмической оси измеренной в логарифмических единицах, чтобы [1, 100] и [0.01, 1] считались одинаково точными), нормированный на наименьший разброс и ограниченный отрезком [0, 1]. Ромб занимает от 3 пикселей до двух пятых высоты строки. Наименьший разброс ограничен снизу 5% медианного разброса, чтобы одна строка почти нулевой ширины не превращала все остальные ромбы в точки. Мера с нулевым значением 1 (отношение дисперсий, отношение шансов) мультипликативна, поэтому её ось логарифмическая, а интервалы откладываются в логарифмическом масштабе, а не симметризуются принудительно. Граница на нуле или ниже, которую может дать интервал оценённого отношения, несовместима с логарифмической шкалой, поэтому тогда диаграмма возвращается к линейной оси, а не завершается ошибкой. Мера без объявленного нулевого значения не получает ни опорной линии, ни растяжения оси до неё, поскольку ось, дотянутая до 0 при средних около 120, превратила бы каждый интервал в точку.

График взаимодействия рисует скорректированные средние, только если скрещивание модели — это и есть нарисованная пара. Модель с ковариатой выводит на карточке скорректированные средние ячеек, и её общий критерий проверял именно скорректированную подгонку, так что исходные средние ячеек на графике противоречили бы и тому и другому. Но по оценённым краевым средним можно прочитать только то двухфакторное скрещивание, на котором они построены, поскольку скрещивание более высокого порядка не совпадает со своим двухфакторным маргиналом, а график, смешавший на одной оси скорректированные и исходные ячейки, нельзя было бы истолковать ни так, ни иначе. Все остальные пары рисуются по исходным средним, с интервалом Кузино — Мори, если один из факторов — фактор повторных измерений и планки включены. Линия без внутреннего уровня (обычное дело в несбалансированном плане) рисуется отдельными отрезками, а не одной линией через пропуск, которая представила бы два несоседних уровня соседними. Ячейка из одного наблюдения исключается, только пока рисуются планки, поскольку df = 0 даёт интервал нулевой ширины, который выглядит как мнимая точность. В остальных случаях она остаётся простым средним, иначе на графике появился бы пропуск.

Метка диаграммы долей категорий зависит от формы критерия, а при числе категорий больше 25 столбцы составляются стопкой. Диаграмма и таблица частот на одной карточке показывают одни и те же частоты, и до появления меток только таблица показывала, какие ячейки определяют результат. Поэтому столбцы помечаются по той же величине, что и таблица, при её же критическом z с поправкой Бонферрони на семейство, которое называет примечание. Для критерия хи-квадрат это стандартизованный остаток ячейки — stdres из chisq.test, асимптотически распределённый как N(0, 1), а не остаток Пирсона: его дисперсия меньше 1, и при поячеечном пороге |z| > 1.96 ячеек отмечается слишком мало. Точный критерий Фишера, критерий Кокрена — Армитиджа и таблицы критерия Кокрена — Мантеля — Хензеля по стратам такой величины не дают и остаются без меток. Для парных критериев с двумя условиями (Мак-Немара, Стюарта — Максвелла) рисуются два маргинала одной парной таблицы, так что остаток ячейки не соответствует их гипотезе. Величина здесь — стандартизованное маргинальное изменение категории, условие 2 − условие 1, делённое на $\sqrt{{\sum }_{j\ne i}(n_{ij}+n_{ji})}$, то есть на диагональ ковариационной матрицы, которую обращает критерий Стюарта — Максвелла, и намеренно не на полную мультиномиальную дисперсию, поскольку при k = 2 так z² в точности равно χ² Мак-Немара без поправки, выведенному рядом с диаграммой. Она изображается соединительной линией между столбцами пары с меткой посередине: метка на отдельном столбце воспринималась бы как остаток, а любое положение вне линии поставило бы метку на столбец другой категории. Q Кокрена раскладывается по условиям, $z_j=(C_j-\bar{C})\sqrt{Q/{\sum }_m{(C_m-\bar{C})}^2}$, так что квадраты отклонений одной категории в сумме дают Q (это тождество восстанавливает масштаб по испытуемым, которого в таблице нет), а категория, не меняющаяся между условиями, остаётся без метки, чтобы не делить на ноль. Семейство для критического значения — число величин, а не меток: вторая строка бинарной переменной зеркальна первой, так что Q Кокрена отмечает два столбца по одному решению на условие. За пределом диаграммы в 25 категорий сгруппированная раскладка делит полосу каждой группы на столбцы тоньше пикселя, поэтому для каждой группы выводится один составной столбец высотой 100%. Редкие категории не объединяются в долю «прочее», потому что задача диаграммы — показать распределение, которое анализировал критерий, а такого объединения критерий не видел.

График дискриминантных функций прореживается при числе наблюдений больше 5000 и уравнивает масштаб пикселей двух функций. Каждое наблюдение рисуется кругом, и на большой таблице узким местом становится сам SVG (тот же предел, что у графиков Q-Q остатков), поэтому облако прореживается с постоянным шагом внутри каждой группы с сохранением её доли в выборке, а примечание сообщает, сколько точек из общего числа нарисовано. Центроиды вычисляются по всем наблюдениям. Обе функции масштабированы к внутригрупповой дисперсии 1, так что единица на обеих осях означает одно и то же, и график расширяет более узкую ось до соответствия, а не растягивает разделение одной функции на всю карточку: разрыв в 1 — одно внутригрупповое стандартное отклонение по любой оси. У одной функции второй оси нет, поэтому группы раскладываются полосами вдоль оси Y с детерминированным разбросом по золотому сечению, который при перерисовке возвращает каждую точку на прежнее место.

Карта соответствий размещает подписи по инерции и опускает наименее важные там, где они перекрываются. Размеры рамок подписей оцениваются по числу символов, а не измеряются, поскольку график строится до раскладки карточки, и размещение приходится решать в той же отрисовке, что задаёт положение меток. Для каждой подписи перебираются восемь смещений вокруг её точки и выбирается первое, не пересекающееся ни с одной уже размещённой рамкой. Если такого нет, подпись опускается. Размещение идёт от наибольшей инерции, так что на тесной карте сохраняются категории, несущие связь, а теряются расположенные у начала координат, наименее информативные на карте. Примечание подсчитывает опущенные подписи, а в таблицах координат названы все категории. Каждая серия рисуется в своих главных координатах — симметричное масштабирование, принятое по умолчанию в большинстве программ и самое читаемое, — а соответствующая оговорка выводится под графиком, а не оставляется читателю: расстояние внутри серии читается непосредственно, а между двумя сериями — нет. Масштаб пикселей у обеих осей общий, поскольку обе выражены в единицах инерции, а пропорции карточки растянули бы разброс одного измерения так, что ни одно расстояние нельзя было бы прочитать.

Зеркальный порог отражается на ROC-кривую через её центр. Переменная, различающая группы в обратную сторону в режиме сравнения AUC, сохраняет ориентацию и берёт порог по перевёрнутому правилу решения, так что чувствительность и специфичность маркера относятся к этому правилу. Тот же порог на нарисованной кривой стоит в отражённой точке (доля ложноположительных = специфичность, доля истинно положительных = 1 − чувствительность), а подсказка сообщает, что значения на пороге и ниже указывают на предсказываемую группу.

Воспроизводимость #

Перестановочное или симулированное p-значение вычисляется при собственном зерне, а зерно бутстрэпа управляет только интервалами. Зерно бутстрэпа по умолчанию пусто (новые выборки при каждом запуске). Для интервала это верное умолчание, поскольку шум ресэмплинга сдвигает границу в последнем знаке, а для p-значения — неверное, поскольку дрейф между запусками может перенести его через α. emmeans интегрирует точное многомерное t по фактической корреляции контрастов методом Монте-Карло Генца — Бретца, и без зерна дрейф между запусками достигал 1.2 × 10⁻⁴ — достаточно, чтобы перенести p через порог. Поэтому каждое симулированное или перестановочное p (точного критерия Фишера за пределами его точных границ и критерия согласия при малых ожидаемых частотах, критериев Андерсона — Дарлинга, Джонкхира — Терпстры, Йенсена — Шеннона, энергетического и проверки симметрии) и интегрирование методом Монте-Карло в критерии Даннетта и многомерном t выполняются при константах, заданных в коде. Они сдвигаются для каждой зависимой переменной и каждого попарного апостериорного сравнения везде, где одна поправка объединяет несколько p-значений, так что p-значения, корректируемые вместе, никогда не используют один поток перестановок. После каждого расчёта исходный генератор восстанавливается, так что бутстрэп-интервалы рядом остаются при зерне бутстрэпа. Единственная выборка, зависящая от зерна воспроизводимости, — сбалансированная подвыборка min-n для ξ, поскольку это часть оценки, а не вывода. Поэтому на одном наборе данных p-значения воспроизводятся от запуска к запуску и при любых настройках зёрен, а код в консоли указывает зерно, при котором выполнялся каждый шаг.