Интерпретация — методические заметки #

Решения, на которых построены выводы, градации и легенды всех модулей: какое правило стоит за каждой частью вывода и за каждой пороговой настройкой и на какой источник оно опирается. Разделы следуют разделам руководств.

Выводы и градации #

Вывод собирается из частей, а не пишется целиком. Решение, направление, градация или градация по интервалу и следствие проверки допущения — каждая из этих частей представляет собой отдельную фразу. Фразы соединяются в постоянном порядке, а не пишутся одним предложением на каждое сочетание (в одном только корреляционном анализе таких предложений раньше было 54). Благодаря этому фраза читается одинаково на каждой карточке и на каждом языке, сочетание, которое никто не выписал, не может пропасть, а таблица без интервала или без направления просто опускает соответствующую часть.

Градация опирается на интервал, когда он виден на экране. Градация точечной оценки показывает, насколько велика оценка, но ничего не сообщает о её точности. Интервал показывает и то, и другое, поэтому, когда интервал статистики с градацией выведен, вывод называет градации наименьшей и наибольшей величины в нём. Интервал, содержащий нулевое значение (0 для разности, 0.5 для вероятности превосходства, 1 для отношения, причём OR и 1/OR приводятся к одному виду), имеет пренебрежимо малый конец. Градация точечной оценки остаётся в трёх случаях: у строки нет интервала; решение принимается по скорректированному p, а интервал на экране нескорректированный и соединил бы решение для семейства сравнений с диапазоном для одного сравнения; у статистики с градацией нет собственного интервала, как его нет у η²G даже там, где выводится интервал η²p. Некоторые градации по правилу их источников читаются по одной границе (H Моккена по нижней, корреляции факторов в МСУ по границе, более далёкой от нуля), и это оговаривают примечания соответствующих модулей.

Граница эквивалентности передаёт вывод TOST. Пренебрежимо малый эффект по всему ДИ описывает интервал на доверительном уровне и проверкой эквивалентности не является: для неё нужны граница, выбранная до получения данных, и интервал (1 − 2α). Если пользователь задаёт границу, вывод строится по четырём исходам двустороннего критерия и TOST, как предлагает Лакенс (Lakens, 2017), а часть о градации никогда сама по себе не утверждает эквивалентность.

«Критерий и ДИ расходятся» вместо выбора одной из сторон. Решение опирается на критерий, а градация — на интервал на экране. Если они основаны на разных величинах (t Уэлча рядом с d на объединённом SD, интервал Вулфа или Фишера для отношения шансов рядом с p критерия χ², бутстрэп-интервал рядом с p Вальда), то вполне законно могут указывать в разные стороны. Тогда вывод называет расхождение и не даёт одному перекрыть другое. Другой доверительный уровень и односторонний критерий тоже дают такие пары, но предсказуемо, поэтому каждый получает вместо этой части примечание. Первое выводится всегда: при верхнехвостовом критерии F или χ² рядом с двусторонним интервалом нижняя граница значимой строки может доходить до 0, когда α/2 < p ≤ α (для методов интервала, у которых нижняя граница обращается в 0 не ровно там, то есть для бутстрэпа, ω² и ε², примечание сформулировано иначе). Второе, при включённой интерпретации, называет, на какой уровень опирается решение, а на какой интервал.

Неотвергнутая гипотеза никогда не читается как выполненное допущение. Проверка, которая не отвергла гипотезу, не нашла нарушения, но и не показала, что его нет: отсутствие доказательства не есть доказательство отсутствия, как напоминают Альтман и Блэнд (Altman & Bland, 1995). Кроме того, неотвержение на предварительной проверке не даёт права применять критерий, опирающийся на это допущение, как показали Рошон, Гондан и Кизер (Rochon, Gondan & Kieser, 2012). Поэтому вывод проверки звучит как «Нет признаков …», «… не отвергается» или «Нет значимого …» и никогда — как «выполнено», «соблюдается», «предполагается», «подтверждено» или «распределение выглядит нормальным».

Внимание — для отвержения, которое выполненный анализ не считает нарушением. Некоторые отвержения не затрагивают выполненный анализ: ненормальность в группе, на которую распространяется центральная предельная теорема, или число отвергнутых гипотез по многим переменным, не превышающее того, что дала бы одна случайность. Статус Не пройдено направлял бы пользователя к смене метода, которой рекомендации под таблицей не предлагают, поэтому такие случаи получают статус Внимание, то есть оговорку, а статус и список рекомендаций проводят границу по одному и тому же разделению.

Вывод, который решает интервал, формулируется как находка. Косвенный эффект, строка бутстрэпа или AUC в сравнении со случайным уровнем решаются тем, исключает ли интервал на заданном доверительном уровне нулевое значение, и вывод звучит как Значимый косвенный эффект, а не «ДИ не включает 0». Тип медиации определяется по пяти исходам Чжао, Линча и Чэня (Zhao, Lynch & Chen, 2010): комплементарная, конкурентная, только косвенная медиация, только прямой эффект, нет эффекта. Обозначений «полная» и «частичная» вывод не использует, поскольку, как показали Рукер, Причер, Тормала и Петти (Rucker, Preacher, Tormala & Petty, 2011, с. 364–365), они зависят от объёма выборки.

Лучшая по информационному критерию модель — «предпочтительная». AIC ранжирует модели по ожидаемой потере Кульбака — Лейблера, а не по соответствию данным, поэтому ранжирование называет первую модель предпочтительной и никогда — лучше соответствующей данным, а каждая таблица ставит градации по тому критерию, по которому ранжирует. ΔAICc до 7 читается как Правдоподобная, до 14 — как Сомнительная, выше 14 — как Неправдоподобная. Это прочтение континуума Бёрнема, Андерсона и Хайверта (Burnham, Anderson & Huyvaert, 2011, с. 25, рис. 2), который авторы изображают без границ: область правдоподобных моделей у них кончается на «возможно, от четырёх до семи», а область неправдоподобных начинается с «около 14». Поэтому 7 (верхний край их диапазона) и 14 выбраны приложением, значение ровно 7 или 14 остаётся в лучшей градации, а те же пороги применяются к ΔAIC и ΔQAIC. ΔBIC оценивается по градациям Рафтери (Raftery, 1995, с. 139) как свидетельства против модели строки: слабые до 2, положительные до 6, сильные до 10, очень сильные выше. Значение ровно 2, 6 или 10 остаётся в более слабой градации, куда его относят напечатанные Рафтери диапазоны 0–2, 2–6 и 6–10.

Никакой наблюдаемой мощности. Мощность, рассчитанная по эффекту, который наблюдался в исследовании, однозначно определяется его p-значением и, по словам Хёнига и Хейси (Hoenig & Heisey, 2001, с. 20), «ничего не добавляет к интерпретации результатов», поэтому ни одна карточка её не выводит.

Никакой вероятности для величины. Градация описывает интервал, а не вероятность того, что эффект мал или велик. Формулировки вроде «вероятно, полезный» и «возможно, малый» принадлежат выводу на основе величины (magnitude-based inference), который, как показали Сайнани (Sainani, 2018) и Сайнани, Лозе, Джонс и Викерс (Sainani, Lohse, Jones & Vickers, 2019), не контролирует частоту ошибок, и ни один вывод их не использует.

Никакой градации без источника. Градация появляется на экране только вместе с опубликованным источником, на который карточка ссылается там, где градация выводится. Градация, для которой источник найти не удалось, удалена или заменена правилом с источником, а её число по-прежнему выводится. Проход по градациям, который ввёл это правило, убрал, среди прочего, ступень .85 у CFI и TLI, пороги .05 и .10 у SRMR, ступени .70 и .90 у градаций корреляции, пороги .005 и .25 у корреляционного отношения, а также градации силы V Крамера, информационных мер и ξ Чаттерджи: теперь корреляционный анализ выводит эти меры без словесной оценки или оценивает через преобразование с источником. Порог без источника сохраняется только там, где его хочет пользователь, и помечается как соглашение приложения. Это рекомендательные пороги проверок допущений.

Одна статистика — одна шкала. Мера, которая при заданной модели является фиксированным преобразованием d или r, оценивается через это преобразование по опубликованным ориентирам другой величины, так что один эффект получает одно слово, какой бы мерой он ни был выведен. δ Клиффа и рангово-бисериальный r оцениваются по A Варги и Делейни (Vargha & Delaney, 2000) через $A=(1+\delta )/2$; отношение шансов — по d Коэна через $d=\ln (\text{OR})\sqrt{3}/\pi$, следуя Хасселбладу и Хеджесу (Hasselblad & Hedges, 1995) и Чинну (Chinn, 2000); τ Кендалла — по r через $r=\sin (\pi \tau /2)$; дистанционная корреляция — по r через дистанционную корреляцию двумерного нормального распределения, выведенную Секеем, Риццо и Бакировым (Székely, Rizzo & Bakirov, 2007). По собственному моделированию приложения, это соответствие расходится с обращаемым отображением не больше чем на .004. Правило хранит напечатанные в источнике пороги и само преобразование, а не пороги, пересчитанные на другую шкалу, поэтому легенда приводит числа, которые читатель найдёт в статье, и называет шкалу, на которой они напечатаны.

d_z Коэна и g_z Хеджеса выводятся без градации. В их знаменателе стоит разброс изменений внутри пар, который уменьшается с ростом корреляции двух условий, тогда как ориентиры Коэна написаны для d на разбросе самих значений. По этим ориентирам одно и то же изменение в дизайне с высокой корреляцией условий получило бы градацию на одну-две ступени выше. Градации получают парные меры на шкале значений, d_av и g_av.

Статистика, которую оценивают два модуля, читается по одному правилу. Каждое общее правило (пороги соответствия, ширина интервала RMSEA, асимметрия и эксцесс, ω_h и коэффициент H, AVE, KMO, R², нагрузки, ΔAIC и ΔBIC, семейства размеров эффекта) — это один объект, к которому обращается каждый модуль, читающий статистику, поэтому одно и то же число не может получить два разных слова на двух карточках. Модуль, которому нужно другое правило, записывает рядом с ним свою причину.

Границы следуют напечатанной таблице источника. К какой градации, верхней или нижней, относится значение ровно на пороге, решает источник, и каждое правило воспроизводит его выбор. Индекс соответствия на пороге остаётся в лучшей градации, значения 2, 6 и 10 у Рафтери — в более слабой, VIF ровно 5 или 10 — ниже порога, который он, по Джеймсу и др., должен превысить. ω_h или ω_hs ровно .50 остаётся в градации Слабый общий фактор, поскольку Райз, Бонифэй и Хэвиленд (Reise, Bonifay & Haviland, 2013) требуют значения «больше .50», а коэффициент H ровно .80 — в градации Достаточно определённый конструкт, поскольку Родригес, Райз и Хэвиленд (Rodriguez, Reise & Haviland, 2016) записывают верхнюю градацию как «(>.80)». Если источник не печатает ни таблицы, ни точной границы, сторону выбирает приложение: пороги 7 и 14 Бёрнема, Андерсона и Хайверта остаются в лучшей градации, а .75 открывает градацию Сильный общий фактор для ω_h, хотя источник лишь называет значения «ближе к .75» гораздо более желательными и границы не проводит.

Никакого общего вывода о соответствии. Соответствие модели получает по значку на каждый индекс. Правило комбинации двух индексов Ху и Бентлера — опубликованная форма общего вывода, но его пороги обобщаются не дальше условий моделирования, в которых они получены, как показали Фань и Сиво (Fan & Sivo, 2005) и Марш, Хау и Вэнь (Marsh, Hau & Wen, 2004). У прочтения «худший из четырёх» нет вовсе никакого источника.

Статистические пороги #

Два порога для CFI и TLI, один для SRMR. Значение 0.95 по умолчанию для CFI и TLI предложили Ху и Бентлер (Hu & Bentler, 1999), а 0.90 — более раннее соглашение для обоих индексов, восходящее к Бентлеру и Бонетту (Bentler & Bonett, 1980). Ступень 0.85 под ними не имела источника и удалена, так что осталось три градации. Для SRMR порог 0.08 предложили Ху и Бентлер, а источника для 0.05 и 0.10 не нашлось, поэтому у SRMR один порог и две градации. У RMSEA четыре градации: пороги 0.05 и 0.08 взяты у Брауна и Кадека (Browne & Cudeck, 1993), как и 0.10, после которого они не стали бы использовать модель (с. 144), а градация между двумя последними порогами называется Посредственное соответствие. Все значки соответствия используют слова самих настроек: Отличное, Приемлемое и Плохое. Набор порогов, сохранённый или импортированный в прежнем формате, загружается как набор по умолчанию, а не поле за полем, иначе старые пороги попали бы в новые градации.

Шаблоны корреляции — нормы областей. По умолчанию градации — это ориентиры Коэна (Cohen, 1988) для r: 0.10, 0.30 и 0.50. Ступени 0.70 и 0.90 над ними не имели источника и удалены. Коэн предназначал свои значения для областей без собственных норм, а шаблоны — нормы, которые несколько областей с тех пор измерили на сообщаемых в них корреляциях. С тремя порогами это Гиньяк и Содораи (Gignac & Szodorai, 2016) для индивидуальных различий, Ловаков и Агадуллина (Lovakov & Agadullina, 2021) для социальной психологии, Гомес Пенедо и Флюкигер (Gómez Penedo & Flückiger, 2026) для исследований связи процесса и результата психотерапии, с двумя — Боско и др. (Bosco et al., 2015) для прикладной психологии и Ли (Li, 2026) для криминологии. Источники с двумя порогами называют всё ниже первого порога малым, поэтому их слабая градация начинается с 0 и пренебрежимо малой связи у них не бывает. Шаблон сдвигает пороги только для коэффициентов на собственной шкале r. Коэффициент, который оценивается через преобразование, сохраняет градации своего источника, и легенда это оговаривает: τ, β, дистанционная корреляция и D Хёффдинга читаются по порогам r Коэна, точечно-бисериальный r — по порогам Мак-Грата и Мейера (McGrath & Meyer, 2006) 0.10, 0.24 и 0.37, V Крамера — по w Коэна. Градации корреляционного отношения — это ориентиры Коэна для η²: 0.01, 0.06 и 0.14.