Размеры эффекта #

p-значение показывает, трудно ли совместить данные с предположением, что «ничего не происходит». Насколько велико то, что происходит, оно не показывает, а спрашивали обычно именно об этом. Ответ даёт размер эффекта — одно число, выражающее величину различия или связи на шкале, которую можно сравнивать между исследованиями. Любая таблица результатов DataSuite, где есть p, может показать рядом и размер эффекта: в столбце Эффект, Размер эффекта или под символом самой меры. Ниже описаны семейства мер, смысл их значений и то, как понимать метки «малый», «средний» и «большой», которые ставит приложение. Все числа получены на данных кафе, подготовленных так, как описано на той странице.

Почему p-значения недостаточно #

Вот два результата по кафе. До смены меню участники из «Привокзальной» тратили за визит больше, чем участники из «Набережной»: разница 1.61, и t-критерий Уэлча даёт p = 0.002. После смены участники стали приходить чаще: за восемь недель в среднем на 0.64 визита больше, чем до неё, и парный t-критерий даёт p = 0.051. Если смотреть только на p, первый результат — находка, а второй нет. По величине же они ближе, чем кажется. Разница в чеке немногим меньше половины стандартного отклонения (d = −0.45), прирост визитов — около седьмой его части (dz = 0.14). А к порогу значимости второй результат подходит так близко лишь потому, что на 200 парах измерений заметно даже небольшое изменение.

p-значение зависит и от того, насколько велик эффект, и от объёма выборки. Если удвоить выборку, p того же самого эффекта уменьшится. Ничтожный эффект при достаточном числе наблюдений достигает p < 0.001, а большой в исследовании на двенадцати участниках не дотягивает до 0.05. Размер эффекта от объёма выборки не зависит: он описывает то, что найдено, а не то, насколько в этом можно быть уверенным. В отчёте нужно и то и другое, а неопределённость передаёт доверительный интервал для размера эффекта. Интервал показывает, какие значения эффекта согласуются с данными, а этого p не показывает никогда.

Эффект — столбец, в котором некоторые таблицы приложения выводят размер эффекта, какая бы мера ни была выбрана. Какая именно, указывает подпись таблицы или параметр размера эффекта, по которому он рассчитан.

Размер эффекта — не зависящая от объёма выборки стандартизованная мера того, насколько велико различие или сильна связь: разность в единицах стандартного отклонения, корреляция, доля объяснённой дисперсии, отношение шансов. Ниже описаны семейства, которые вычисляет приложение. Какую меру покажет таблица, зависит от критерия. Соответствие критериев и мер приведено в руководстве модуля, самый длинный список — в сравнительном анализе.

Сама разность #

Разность — самый простой размер эффекта: расхождение между двумя средними (медианами, долями) в тех единицах, в которых измерена переменная. Для чек_до разность «Набережная» минус «Привокзальная» равна −1.61 за визит, а после смены меню чек за визит вырос на 1.09, то есть на 12.6% от прежнего среднего. Приложение выводит разность с доверительным интервалом рядом с каждым критерием сравнения средних и вычитает в том порядке, в каком перечислены группы, поэтому отрицательная разность означает, что выше вторая группа. Если единицы понятны читателю (деньги, минуты, баллы знакомой шкалы), начинать стоит именно с этого размера эффекта. Стандартизованные меры, описанные ниже, нужны для сравнения исследований с разными единицами измерения и для случаев, когда сами единицы ничего не значат.

Стандартизованные разности средних — семейство d #

d Коэна — разность двух средних, делённая на их объединённое стандартное отклонение, то есть разность, выраженная в стандартных отклонениях. По чек_до в двух филиалах разница 1.61 при объединённом стандартном отклонении 3.54 даёт d = −0.45, а знак определяется порядком групп («Набережная» минус «Привокзальная»). Эта мера сопровождает t-критерий для независимых выборок, и большинство ориентиров предложено именно для неё. Наглядно это значит следующее: средний участник из «Привокзальной» находится на 67-м процентиле чеков «Набережной», а случайно выбранный участник из «Привокзальной» тратит больше случайно выбранного участника из «Набережной» в 63 случаях из 100. Ориентиры Коэна — 0.2 для малого эффекта, 0.5 для среднего и 0.8 для большого — служат границами, по которым столбец Интерпретация оценивает всё семейство.

g Хеджеса — d Коэна с поправкой на малую выборку. Мера d немного завышает эффект в генеральной совокупности, тем сильнее, чем меньше выборка. Поправка уменьшает d на множитель, зависящий от числа степеней свободы. На филиалах кафе g = −0.453 против d = −0.454: при 200 наблюдениях поправка затрагивает лишь третий знак после запятой, и меры взаимозаменяемы. Если же наблюдений меньше примерно тридцати, в отчёте лучше приводить g.

d Уэлча делит разность не на объединённое стандартное отклонение, а на среднеквадратичное из стандартных отклонений двух групп. Эту меру предлагает t-критерий Уэлча: его выбирают как раз потому, что разбросы групп различаются, и объединять их было бы непоследовательно. На филиалах кафе (стандартные отклонения 2.97 и 4.05) знаменатели равны 3.54 и 3.55, и d Уэлча = −0.454, что до второго знака совпадает с d Коэна. Расходятся эти меры, когда группы различаются не только разбросом, но и численностью.

g Уэлча — d Уэлча с той же поправкой на смещение, что и в g Хеджеса, но рассчитанной по степеням свободы Уэлча: на филиалах кафе −0.452.

Δ Гласса делит разность на стандартное отклонение лишь одной группы. Это нужно, когда разбросы групп так различны, что ни среднее, ни объединённое отклонение не описывает обе группы. Типичный случай — контрольная группа, разброс которой воздействие не затронуло. Выбрать контрольную группу в приложении нельзя, поэтому оно выводит оба варианта: Δ₁ рассчитывается по стандартному отклонению группы 1, Δ₂ — группы 2. На филиалах кафе это −0.54 (по 2.97 у «Набережной») и −0.40 (по 4.05 у «Привокзальной»): одна и та же разница 1.61, измеренная двумя мерками. Стандартизованная разность осмысленна ровно настолько, насколько осмыслен её знаменатель.

dz Коэна — d для парного плана: среднее изменений внутри пар, делённое на стандартное отклонение этих изменений. Чек за визит вырос в среднем на 1.09 при стандартном отклонении изменений 2.86, так что dz = 0.38. Число визитов выросло на 0.64 при стандартном отклонении 4.61, и dz = 0.14. Эта мера сопровождает парный t-критерий, и с d из плана с независимыми группами она несравнима. В её знаменателе разброс изменений, а он меньше разброса самих значений, когда значения до и после коррелируют (здесь r = 0.69). Поэтому одно и то же среднее изменение в виде dz выглядит больше.

gz Хеджеса — dz Коэна с поправкой на малую выборку: 0.379 против 0.381 по чеку кафе.

d_av Коэна — другая мера для парного плана: разность делится не на стандартное отклонение изменений, а на среднее стандартных отклонений двух условий, и мера оказывается на одной шкале с d для независимых групп. По чеку кафе d_av = 0.30, а dz = 0.38. Меру d_av приводят, когда читатель будет сравнивать эффект с межгрупповыми исследованиями, а dz — когда важно, насколько единообразно изменились сами участники.

g_av Хеджеса — d_av Коэна с поправкой на малую выборку. Множитель тот же, что у g Хеджеса, но берётся при n − 1 степенях свободы для n пар. По чеку кафе g_av = 0.298 против d_av = 0.299: при 199 парах поправка, как и у g по сравнению с d, затрагивает лишь третий знак. Именно эту парную меру берут в метаанализ: смещение, которое она устраняет, накапливается, когда сводят вместе много малых исследований.

Корреляции и объяснённая дисперсия — семейство r #

r — коэффициент корреляции: насколько согласованно меняются две переменные, от −1 (одна растёт ровно настолько, насколько падает другая) через 0 (линейной связи нет) до +1. В опросе кафе общая удовлетворённость (оценка) и пункт вкус коррелируют с r = 0.55, а удовлетворённость и время ожидания — с r = −0.30: чем дольше ожидание, тем ниже оценка. Как размер эффекта r оценивают по ориентирам Коэна 0.1, 0.3 и 0.5, а диапазоны силы корреляции в приложении добавляют к ним «очень сильную» связь выше 0.7 и «очень слабую» ниже 0.1. Тот же заголовок r появляется в таблице сравнения, когда выбрана мера корреляционного типа: точечно-бисериальный или рангово-бисериальный r, r Вилкоксона либо r критерия знаков в виде r₊. Все они оцениваются по той же шкале.

Точечно-бисериальный r — корреляция зависимой переменной с принадлежностью к группе, закодированной числами 0 и 1, то есть различие двух групп, выраженное как корреляция. Для чек_до по филиалам он равен 0.22. По ориентирам r это малый эффект, так же как d = −0.45 мал по ориентирам d. Обе меры описывают один и тот же эффект на двух шкалах, и при равных по численности группах формула $d=2r/\sqrt{1-r^2}$ переводит одну в другую.

r² — квадрат r, доля дисперсии одной переменной, которую объясняет другая. У удовлетворённости и пункта вкус общая доля дисперсии r² = 0.30, у удовлетворённости и времени ожидания — 0.09. В регрессии эта мера семейства r выводится как R². Она нужна, когда вопрос звучит как «какую часть вариации это объясняет», а не «насколько сильна связь».

η² (эта-квадрат) — доля дисперсии зависимой переменной, которую объясняют группы. Это r² для сравнения любого числа групп, а при двух группах — в точности квадрат точечно-бисериального r. Филиал объясняет η² = 0.050 дисперсии чек_до, то есть 5%, и по ориентирам семейства дисперсии (малый эффект от 0.01, средний от 0.06, большой от 0.14) это малый эффект. Эту меру предлагают однофакторный и многофакторный дисперсионный анализ. Долю в генеральной совокупности она завышает, хотя с ростом выборки завышение уменьшается.

ω² (омега-квадрат) — η² с поправкой на это завышение, то есть оценка доли дисперсии, объяснённой в генеральной совокупности, а не в выборке. На филиалах кафе ω² = 0.045 против η² = 0.050. При десяти наблюдениях в группе разрыв был бы в несколько раз больше. В отчёте предпочтительнее ω², ориентиры для неё те же.

ε² (эпсилон-квадрат) — ещё одна поправка того же рода, по величине между η² и ω², и для однофакторного дисперсионного анализа она предлагается рядом с ними. У критерия Краскела — Уоллиса своя ε², так что символ обозначает две разные меры. Эта ε² вычисляется по рангам: $H/(n-1)$, доля ранговой дисперсии, объяснённая группами, без всякой поправки. Её исправленная форма — η²_H.

Эта-квадрат (H), или η²_H, — исправленная ранговая мера критерия Краскела — Уоллиса, $(H-k+1)/(n-k)$. Из H вычитается k − 1 (значение, которого статистика в среднем достигает, когда группы не различаются), и остаток делится на n − k. Это ранговый аналог поправки, превращающей η² в ω², а отрицательный результат приравнивается к 0. Пример — время ожидания в трёх возрастных группах: H(2) = 1.92, p = 0.383 при медианах 4.45, 5.00 и 4.10 минуты. Здесь ε² = 0.011, а η²_H = 0: так ранговое семейство ведёт себя при нулевом результате. Если статистика критерия ниже своего ожидаемого значения, исправленная мера равна 0, а неисправленная всё ещё показывает некоторую долю. Обе меры оцениваются по ориентирам семейства дисперсии и, если включены интервалы для размеров эффекта, выводятся с бутстрэп-интервалом.

Частичная η² — η², из знаменателя которой исключены остальные эффекты многофакторного плана: доля дисперсии, не объяснённой другими факторами, приходящаяся на данный фактор. Если факторов больше одного, для того же эффекта она больше обычной η², поэтому сравнивать эти две меры между планами нельзя. Частичную η² выводят дисперсионный анализ с повторными измерениями и смешанный дисперсионный анализ, а оценивают её по ориентирам семейства дисперсии, но с этой оговоркой.

Объяснённая дисперсия в многофакторных планах и планах с повторными измерениями #

Если факторов больше одного или одних и тех же участников измеряют несколько раз, у «доли дисперсии, которую объясняет эффект» появляется несколько возможных знаменателей, и меры ниже различаются тем, что в знаменателе оставляют. Сквозной пример — однофакторный дисперсионный анализ с повторными измерениями для изменения чека до и после смены меню у 199 участников: F(1, 198) = 28.84, p < 0.001, где F — квадрат статистики t = 5.37 парного t-критерия.

Обобщённая эта-квадрат (η²G) — сумма квадратов эффекта, делённая на сумму квадратов эффекта и всех источников измеренной дисперсии в плане, включая различия между участниками. Так эффект повторных измерений соотносится с тем же итогом, что и в межгрупповом плане, и оба плана можно сравнивать. Для изменения чека η²G = 0.022, а частичная η² того же эффекта равна 0.127: в её знаменателе остаётся только разброс изменений, а гораздо больший разброс между участниками отброшен. Поэтому частичная мера и приукрашивает план с повторными измерениями. Олейник и Алгина (Olejnik & Algina, 2003) и Бейкман (Bakeman, 2005) советуют для сравнения с межгрупповым исследованием приводить обобщённую меру, а внутри плана — частичную. Обобщённая эта-квадрат выводится без интервала, поскольку дисперсия испытуемых в её знаменателе не ограничена статистикой F эффекта. Оценивают её по ориентирам семейства дисперсии.

Частичная омега-квадрат (ω²p) — частичная η² с той же поправкой на смещение, что превращает η² в ω², то есть оценка частичной доли в генеральной совокупности, а не в выборке. Для изменения чека ω²p = 0.122 против η²p = 0.127, и у обеих общий интервал от 0.05 до 0.21: его строят по нецентральному F-распределению для параметра генеральной совокупности, который оценивают обе меры. Из частичных мер, которые предлагают дисперсионный анализ с повторными измерениями и многофакторный дисперсионный анализ, эта наименее смещена. Оговорка про частичную η² относится и к ней: частичные доли нельзя сравнивать между планами с разным числом факторов.

Многомерная частичная η² — размер эффекта общего критерия MANOVA: доля дисперсии, которую группировка объясняет во всех зависимых переменных сразу, взятых в той комбинации, что лучше всего разделяет группы. Она восстанавливается из приближённого F следа Пиллаи и выводится в строке следа Пиллаи в столбце η²p, всегда в частичной форме, какую бы меру ни выбрали для одномерных последующих критериев. Для оценка, ожидание и чек_до вместе по филиалам след Пиллаи равен 0.098, F(3, 174) = 6.28, p < 0.001, η²p = 0.098 [0.02, 0.18]. При двух группах след и размер эффекта совпадают, поскольку разделить группы можно лишь по одной дискриминантной функции. Оценивают эту меру по ориентирам семейства дисперсии, а у последующих критериев своя мера для каждой переменной.

Робастные меры — семейство усечённых средних #

Критерий Юэна и дисперсионный анализ усечённых средних сравнивают усечённые средние, и d или η², вычисленные по неусечённым значениям, описывали бы сравнение, которого критерий не проводил. Дисперсионный анализ в форме Уэлча или Брауна — Форсайта обходится без предположения о равенстве дисперсий, на котором держится разложение η² и ω². Для этих критериев построены две меры.

Объясняющая мера размера эффекта (ξ) — робастный аналог √η². Это разброс усечённых средних групп, выраженный как доля робастной оценки общего разброса, а в роли такой оценки выступает винсоризованная дисперсия объединённой выборки, приведённая к шкале обычной дисперсии. Мера лежит между 0 и 1, и её ориентиры, по Майру и Уилкоксу (Mair & Wilcox, 2020), — 0.10, 0.30 и 0.50. Для чек_до по филиалам критерий Юэна даёт ξ = 0.31. Это средний эффект по этим ориентирам, хотя и на самой границе, а d Коэна = −0.45 считается малым. Для трёх возрастных групп дисперсионный анализ усечённых средних даёт ξ = 0.38. Мера не имеет знака: она показывает, насколько далеко друг от друга группы, но не какая из них выше. Определена она для групп равной численности. При неравных группах приложение берёт медиану меры по подвыборкам равной численности. Бутстрэп-интервал, который выводится при включённых интервалах размеров эффекта (для филиалов примерно от 0.10 до 0.50), помечается как консервативный. Дисперсионный анализ Уэлча или Брауна — Форсайта сравнивает неусечённые средние и потому вычисляет ξ при нулевом усечении.

Робастная d Алгины — Кеселмана — Пенфилда (δ_t) — d Коэна, построенная из тех же робастных величин: разность двух усечённых средних делится на объединённое винсоризованное стандартное отклонение и умножается на константу (0.642 при усечении 20%, принятом по умолчанию), которая возвращает винсоризованное отклонение на шкалу обычного. Поэтому к ней применимы ориентиры Коэна 0.2, 0.5 и 0.8. Критерий Юэна предлагает эту меру со знаком рядом с беззнаковой ξ, и она описывает именно то сравнение, которое провёл критерий. Для чек_до по филиалам δ_t = −0.43 [−0.73, −0.14], а d Коэна по неусечённым средним равна −0.45. Меры расходятся при тяжёлых хвостах, а именно в этом случае и выбирают критерий с усечением. Интервал построен на стандартной ошибке самого критерия Юэна, поэтому он не содержит нуля тогда и только тогда, когда критерий отвергает нулевую гипотезу. Определена мера только для двух групп.

Ранговые меры #

Время ожидания распределено асимметрично: чаще всего ждать приходится недолго и лишь изредка долго. Поэтому руководство по сравнению рекомендует для него критерий Манна — Уитни, а не t-критерий. Медианы ожидания в филиалах — 4.8 и 5.0 минуты, U = 3889, p = 0.289, так что свидетельств различия нет. Ранговые размеры эффекта всё равно показывают, насколько далеко друг от друга филиалы, и ничего не предполагают о форме распределения.

Дельта Клиффа (δ) — вероятность того, что значение из группы 1 больше значения из группы 2, минус вероятность обратного. Здесь каждое ожидание в «Набережной» сравнивается с каждым ожиданием в «Привокзальной», всего 95 × 90 пар. Мера изменяется от −1 (все значения группы 1 меньше всех значений группы 2) через 0 до +1. На ожиданиях кафе она равна −0.09: ожидание в «Привокзальной» оказывается более долгим чуть чаще, чем в «Набережной». Ориентиры для неё, по Романо и др. (Romano et al., 2006), равны 0.147, 0.33 и 0.474. Значение −0.09 — пренебрежимо малый эффект, и интервал, который приложение выводит рядом (от −0.25 до 0.08), содержит ноль.

Рангово-бисериальный r — та же дельта Клиффа под другим названием: для двух независимых групп обе меры дают одно число, $1-2U/(n_1{n}_2)$, и приложение выводит для них одно значение и один интервал. Название подсказывает, по какой шкале его оценивать: по ориентирам r (0.1, 0.3, 0.5), а не δ. В парном плане ему соответствует рангово-бисериальный r для связанных пар, построенный по рангам изменений внутри пар.

Общеязыковой размер эффекта — вероятность того, что значение из группы 1 больше значения из группы 2, подсчитанная прямо по парам. На ожиданиях кафе она равна 0.455: ожидание участника из «Набережной» оказывается дольше, чем у участника из «Привокзальной», в 45.5 парах из 100, причём пара с одинаковым ожиданием засчитывается как половина. Это дельта Клиффа, пересчитанная в вероятность, $(\delta +1)/2$. Для эффекта из семейства d её аналог в нормальной модели уже встречался в описании d Коэна: 63 из 100. Ориентиры Мак-Гро и Вонга — 0.56, 0.64 и 0.71, а 0.5 означает отсутствие эффекта.

Рангово-бисериальный r для связанных пар — рангово-бисериальный r для парного плана, мера при критерии знаковых рангов Вилкоксона. Изменения внутри пар ранжируются по абсолютной величине, и из доли суммы рангов у участников, чьи значения выросли, вычитается доля у тех, чьи значения упали: $r_{rb}=(W^{+}-W^{-})/(W^{+}+W^{-})$. Пары без изменений не учитываются. Мера изменяется от −1 (значения снизились у всех) через 0 до +1 (выросли у всех). По изменению чека W = 13 850 для 197 участников, у которых чек вообще изменился, и r_rb = 0.42: по рангам прирост у тех, кто после смены меню стал тратить больше, перевешивает убыль у тех, кто стал тратить меньше. По ориентирам r это средний эффект, и к нему выводится бутстрэп-интервал. Одновыборочный критерий Вилкоксона выводит ту же меру по отклонениям от эталонного значения.

r Вилкоксона — вторая мера при критерии знаковых рангов, $r=Z/\sqrt{N}$: стандартизованная статистика критерия, делённая на корень из числа проранжированных пар. Шкала та же, от −1 до +1, и ориентиры те же. По изменению чека r Вилкоксона равен 0.36, а рангово-бисериальный r для связанных пар — 0.42. Эти меры не взаимозаменяемы. Мера r_rb прямо выражает баланс рангов, а r Вилкоксона пересчитывает удалённость статистики критерия от её значения при нулевой гипотезе и потому включает те же поправки на совпадения и непрерывность, что и p-значение. В отчёте поэтому указывают, какая из двух мер приведена. Одновыборочный критерий тоже предлагает r Вилкоксона, по отклонениям от эталонного значения.

r критерия знаков (2p₊−1) — мера при критерии знаков, парном или одновыборочном. Доля выросших пар p₊ пересчитывается в 2p₊ − 1, чтобы мера изменялась от −1 до +1: 0 означает поровну в обе стороны, +1 — рост во всех парах. Интервал Уилсона для p₊ переносится на ту же шкалу. Из 197 участников, у которых чек изменился, 125 стали тратить больше: p₊ = 0.63 и r₊ = 0.27 [0.13, 0.40]. Ожидание относительно эталона в пять минут (выше него 87 значений из 183) даёт r₊ = −0.05. Ориентиры меры — 0.10, 0.30 и 0.50, то есть удвоенные ориентиры g Коэна: это то же отклонение доли от половины, но на вдвое более широкой шкале.

W Кендалла — мера при критерии Фридмана: согласованность испытуемых в том, как они упорядочивают условия, от 0 (каждый участник ранжирует условия по-своему) до 1 (все ранжируют одинаково). Вычисляется она по статистике самого критерия, $W={\chi }^2/(N(k-1))$. Пусть шесть пунктов удовлетворённости — это шесть условий (пункт медленно с обратным кодированием), и каждый участник ранжирует их по своим оценкам. Критерий Фридмана даёт χ²(5) = 21.16, p < 0.001, а W = 0.021. Пункты действительно различаются: выше всего оценён пункт приветливо (3.79), ниже всего — цена (3.34). Но в порядке пунктов участники почти не согласны друг с другом, и значимым критерий становится лишь благодаря 200 участникам. Приложение оценивает W не как эффект по ориентирам r, а как согласованность, по шкале Шмидта (Schmidt, 1997) для этого коэффициента: очень слабая ниже 0.3, затем слабая, умеренная, сильная и необычно сильная начиная с 0.3, 0.5, 0.7 и 0.9. Причина в том, что W — коэффициент конкордации, а не корреляция. Страница о согласии пользуется той же шкалой, так что где бы ни приводился коэффициент, оценка у него одна. Интервал строится бутстрэпом по испытуемым.

Тау-b Кендалла — мера при критерии тренда Джонкхира — Терпстры: τ Кендалла между упорядоченной группой и исходом в форме τ-b, которая учитывает пары с совпадающими значениями, неизбежные при упорядоченном факторе. В результате тренд, найденный критерием, выражается корреляцией от −1 до +1 и оценивается по ориентирам r. Для чек_до по возрастным группам, закодированным 1, 2 и 3, J = 7306.5, p = 0.002 и τ-b = 0.20: малый возрастающий тренд, средние растут от 6.85 через 9.07 до 9.48. Интервал строится бутстрэпом внутри групп.

Средняя внутриблочная ρ (ρ̄) — мера при критерии тренда Пейджа. Для каждого испытуемого вычисляется ρ Спирмена между предполагаемым порядком условий и тем, как испытуемый их фактически ранжировал, и эти значения усредняются по испытуемым. Мера равна +1, когда ранжирование каждого испытуемого в точности следует заданному порядку, 0, когда ранжирования с порядком не связаны, и −1, когда все они идут против него. Оценивают её по ориентирам r, с бутстрэп-интервалом по испытуемым. Испытуемый с одинаковыми значениями во всех условиях вносит 0. В данных кафе нет упорядоченных условий, на которых её можно было бы показать. Типичная задача для неё — каждый пациент получает препарат в трёх дозах, а отклики ранжируются в пределах пациента. Тогда ρ̄ = 0.8 означала бы, что почти у каждого пациента отклик рос вместе с дозой.

Меры для категориальных исходов #

В опросе участников спрашивали, порекомендовали бы они кафе. В «Набережной» кафе рекомендуют 73 участника из 101 (72.3%), в «Привокзальной» — 62 из 99 (62.6%). Критерий хи-квадрат без поправки на непрерывность даёт χ²(1) = 2.12, p = 0.145 (по умолчанию приложение применяет поправку и выводит 1.71, p = 0.192), так что вывода о различии филиалов в ту или другую сторону сделать нельзя. Простая разность составляет 9.7 процентного пункта, а меры ниже переводят её на шкалы, сопоставимые между таблицами.

V Крамера — статистика хи-квадрат, приведённая к объёму выборки и размерам таблицы,

поэтому она изменяется от 0 (связи нет) до 1 при любых размерах таблицы: √(2.12 ⁄ 200) = 0.10 для связи рекомендации с филиалом. Для таблицы 2×2 она равна коэффициенту φ, то есть корреляции двух бинарных переменных. Ориентиры для неё на таблице 2×2 те же, что у w Коэна (0.1, 0.3, 0.5), а для больших таблиц приложение делит их на √df, поскольку на таблице 4×4 то же значение V означает больше. Значение 0.10 — малый эффект, на самой границе.

Отношение шансов — шансы исхода в одной группе, делённые на шансы в другой. В «Набережной» на 28 участников, не рекомендующих кафе, приходится 73 рекомендующих, то есть шансы 2.61 к 1. В «Привокзальной» это 62 на 37, или 1.68 к 1. Отношение шансов равно 1.56: шансы участника из «Набережной» порекомендовать кафе в 1.56 раза выше, чем у участника из «Привокзальной». Приложение выводит для этой таблицы обратную величину, 0.64, потому что перемножает ячейки крест-накрест в том порядке, в каком перечислены строки и столбцы («не рекомендует» перед «рекомендует», «Набережная» перед «Привокзальной»). Значение 0.64 — это отношение шансов не рекомендовать кафе в «Набережной» и в «Привокзальной», а 1 ⁄ 0.64 = 1.56 — то же отношение для рекомендации. Это один и тот же результат, и его интервал (от 0.35 до 1.17) содержит 1, что соответствует отсутствию связи. Величину оценивают по большему из OR и 1 ⁄ OR: малый эффект от 1.68, средний от 3.47, большой от 6.71, по Чену и др. (Chen et al., 2010). Отношение шансов — не отношение двух долей: то равно 72.3 ⁄ 62.6 = 1.15 и называется относительным риском. Чем чаще исход, тем сильнее отношение шансов расходится с относительным риском, поэтому «шансы в 1.56 раза выше» нельзя понимать как «вероятность в 1.56 раза выше». В строке Кокрена — Мантеля — Хензеля тот же столбец содержит общее отношение шансов, объединённое по стратам: для рекомендации по филиалам с учётом возрастных групп оно равно 0.65 [0.35, 1.18].

w Коэна — статистика хи-квадрат, приведённая только к объёму выборки, $\sqrt{{\chi }^2/n}$, для критерия согласия, где одна категориальная переменная сравнивается с ожидаемыми долями. Проверка гипотезы о равном делении (135 рекомендующих против 65 не рекомендующих) даёт χ²(1) = 24.5, так что w = √(24.5 ⁄ 200) = 0.35. Это средний эффект по ориентирам 0.1, 0.3 и 0.5, тем же, что у V Крамера, поскольку на таблице 2×2 эти меры совпадают.

h Коэна — разность двух долей, каждая из которых предварительно переведена в угол ($2\arcsin \sqrt{p}$). После такого преобразования один и тот же разрыв весит одинаково и около 0.5, и у краёв шкалы, где разность в процентных пунктах значит больше. Одновыборочный критерий доли выводит h для наблюдаемой доли относительно гипотетической: 67.5% рекомендующих против гипотетических 50% дают h = 0.36. Для сравнения филиалов (72.3% против 62.6%) h был бы равен 0.21. Оценивают h по ориентирам d Коэна: 0.2, 0.5 и 0.8.

Меры для парных категориальных исходов #

Парные категориальные критерии (Мак-Немара, Стюарта — Максвелла, Q Кокрена) проверяют, изменились ли ответы одних и тех же испытуемых от одного замера к другому, и их размеры эффекта измеряют это изменение, а не связь двух переменных. Участников кафе опрашивали один раз, поэтому примеры взяты из клиники. В первом 200 пациентов на двух визитах спрашивали, есть ли у них симптом: у 30 он пропал, у 10 появился. Во втором 150 пациентов опрашивали на трёх визитах.

φ (маргинальный) — $\sqrt{{\chi }_{\text{McNemar}}^2/N}$: хи-квадрат Мак-Немара по дискордантным парам, приведённый к объёму выборки, на шкале от 0 до 1. В клинике (30 − 10)² ⁄ 40 = 10 и √(10 ⁄ 200) = 0.22. Это не коэффициент φ таблицы 2×2: тот измеряет, насколько согласуются ответы двух замеров, а маргинальный φ — насколько сместились маргинальные доли. На одной и той же таблице они могут сильно расходиться: если все пациенты сохранили свой ответ, согласие равно 1, а маргинальный φ равен 0. Метки «малый — средний — большой» у него нет, потому что ориентиров для него никто не калибровал. Откалиброванная мера того же изменения — g Коэна, описанный ниже.

g Коэна — мера того, насколько среди сменивших ответ доля сменивших его в одну сторону отклоняется от половины. Если b пациентов сменили ответ в одну сторону, а c — в другую, то $g=|b-c|/(2(b+c))$. Мера изменяется от 0 (поровну, маргинальные доли не изменились) до 0.5 (все сменили ответ в одну сторону). В клинике 30 против 10 дают 20 ⁄ 80 = 0.25, то есть большой эффект по ориентирам, которые Коэн установил для этой меры: 0.05, 0.15 и 0.25. Если у ответа больше двух категорий, как в критерии Стюарта — Максвелла, g выводится отдельно для каждой пары категорий с переходами между ними, поскольку единое сводное значение не было бы той мерой, для которой калибровались ориентиры. Интервал строится бутстрэпом по парам. Если все сменили ответ в одну сторону, оценка равна 0.5, и интервал построить нельзя.

w Коэна (Q) — w Коэна для Q Кокрена, $\sqrt{Q/N}$: статистика критерия, делённая на число всех испытуемых, включая пациентов, которые на каждом визите отвечали одинаково. Так принято для размеров эффекта на основе хи-квадрат: в них входит вся выборка, на которой выполнен критерий. Q = 12 на 150 пациентах даёт w = 0.28, малый эффект по ориентирам w (0.1, 0.3 и 0.5). Сверху мера не ограничена, а интервал для неё строится обращением нецентрального распределения хи-квадрат.

Средний φ² Кокрена (φ̄²) — та же статистика Q, но рассчитанная только по информативным испытуемым и на одну степень свободы: $Q/(N_{\text{inf}}(k-1))$, где N_inf — число пациентов, чей ответ менялся от визита к визиту. По этому же числу проверка информативных испытуемых решает, можно ли полагаться на Q. Пациент, всякий раз отвечавший одинаково, ничего не добавляет ни к Q, ни к знаменателю. Поэтому мера — это доля от наибольшей неоднородности, которую могли бы дать изменившиеся ответы. Она ограничена 1, оценивается по ориентирам семейства дисперсии (0.01, 0.06 и 0.14) и выводится с бутстрэп-интервалом по испытуемым. Если из 150 пациентов ответ хотя бы раз меняли 60, то φ̄² = 12 ⁄ (60 × 2) = 0.10, средний эффект, тогда как мера w учитывала всех 150 и давала малый. Всё различие — в знаменателях: w показывает, насколько велико изменение по всей выборке, а φ̄² — насколько единодушно менялись те, кто менял ответ.

Меры для распределения целиком и для разброса #

Критерии для распределения целиком реагируют на различие любого рода, и их размеры эффекта — доли на шкале от 0 до 1, без направления и без метки «малый — средний — большой». Для критерия взаимной информации это U Тейла, определённый на странице о связи. В сравнении групп U — взаимная информация группы и исхода, делённая на энтропию группы, то есть доля неопределённости в принадлежности участника к группе, которую снимает знание исхода. Для чек_до по филиалам U = 0.017 (при d Коэна −0.45), а для ожидания 0.087, хотя критерии положения там ничего не находят. Сдвиг понемногу затрагивает все значения, а различие формы — нет.

Нормированная дивергенция Йенсена — Шеннона (JSD_n) — дивергенция Йенсена — Шеннона между распределениями групп, делённая на её максимум, log₂ k бит для k групп. Поэтому мера изменяется от 0 (распределения совпадают) до 1 (распределения нигде не перекрываются) при любом числе групп, тогда как исходная дивергенция в битах значит одно для двух групп и другое для пяти. Для ожидания по филиалам JSD_n = 0.067. Это только точечная оценка, без интервала и без метки.

R²ₑ — размер эффекта энергетического критерия: доля общего рассеяния стандартизованных зависимых переменных (то есть всех расстояний между парами участников), которая приходится на различия между группами, а не внутри них. Это разложение тех же расстояний, на перестановках которых построен критерий. Статистика E растёт вместе с выборкой, и сравнивать её между наборами данных бессмысленно. Мера R²ₑ лежит между 0 и 1 и для такого сравнения пригодна. Для ожидание и чек_до вместе по филиалам E = 8.22, p = 0.001, R²ₑ = 0.026. Интервала и метки нет.

Отношение дисперсий (VR) — размер эффекта F-критерия равенства дисперсий: дисперсия первой группы, делённая на дисперсию второй, с доверительным интервалом самого критерия. Отсутствию эффекта здесь соответствует 1, а не 0. Это то же отношение дисперсий, что и на странице о допущениях, но истолкованное как результат, а не как проверка. Для чек_до по филиалам VR = 0.54 [0.36, 0.80]: дисперсия в «Привокзальной» в 1.86 раза больше, чем в «Набережной», и интервал не содержит 1. Метки «малый — средний — большой» у этой меры нет, поскольку для отношения разбросов ориентиров никто не устанавливал. Эмпирическое правило, согласно которому при отношении до четырёх критерий с объединённой дисперсией остаётся применим, касается критерия, а не величины различия. Интервал двусторонний, даже если критерий был односторонним.

Символы в таблице результатов #

В заголовке столбца размера эффекта стоит символ меры, а не её название. Интервал и стандартная ошибка выводятся рядом, в столбцах d ДИ и d SE. Приложение использует такие символы:

• d — стандартизованная разность средних: d Коэна, d Уэлча или одновыборочная d, в зависимости от критерия (какая именно, видно в меню размеров эффекта)
• g — d с поправкой на смещение, g Хеджеса или g Уэлча, а в строке Мак-Немара или Стюарта — Максвелла так обозначается g Коэна, мера маргинального изменения
• dz — dz Коэна, d для парного плана
• gz — gz Хеджеса, dz с поправкой на смещение
• d_av — d_av Коэна, d для парного плана на межгрупповой шкале
• g_av — g_av Хеджеса, d_av с поправкой на смещение
• Δ₂ — второе из двух значений Δ Гласса, рассчитанное по стандартному отклонению группы 2, а первое стоит в основном столбце
• δ_t — робастная d Алгины — Кеселмана — Пенфилда в строке усечённых средних
• ξ — объясняющая мера размера эффекта робастных и гетероскедастичных критериев, а ξ в модуле корреляций — это ξ Чаттерджи, другая мера, обозначенная той же буквой
• r_pb — точечно-бисериальный r
• r_rb — рангово-бисериальный r, для двух групп равный дельте Клиффа, а в строке критерия знаковых рангов — рангово-бисериальный r для связанных пар
• r — r Вилкоксона в строке критерия знаковых рангов, а в виде r₊ — r критерия знаков
• δ — дельта Клиффа в строке рангового критерия, а заглавная Δ в строке t-критерия — Δ Гласса
• CL — общеязыковой размер эффекта
• W — W Кендалла в строке критерия Фридмана, а строчная w — w Коэна в строке критерия согласия или тренда и w Коэна (Q) в строке Q Кокрена
• τ_b — тау-b Кендалла, мера тренда для критерия Джонкхира — Терпстры
• ρ̄ — средняя внутриблочная ρ критерия тренда Пейджа
• η²p — частичная η², а в строке следа Пиллаи у MANOVA — многомерная частичная η²
• η²G — обобщённая эта-квадрат, вариант для дисперсионного анализа с повторными измерениями, пригодный для сравнения разных планов
• ω²p — частичная омега-квадрат
• η²_H — η²_H критерия Краскела — Уоллиса, рядом с ε²
• φ̄² — средний φ² Кокрена
• V — V Крамера
• OR — отношение шансов, а в строке Кокрена — Мантеля — Хензеля — общее отношение шансов
• h — h Коэна
• φ — маргинальный φ в строке Мак-Немара, не путать с коэффициентом φ, мерой связи
• U — U Тейла в строке взаимной информации, а U Манна — Уитни — статистика критерия и стоит в столбце статистики
• JSD_n — нормированная дивергенция Йенсена — Шеннона
• R²ₑ — R²ₑ энергетического критерия
• VR — отношение дисперсий F-критерия

Малый, средний и большой эффект #

Столбец Интерпретация помечает каждый размер эффекта по приведённым выше ориентирам как «малый эффект», «средний эффект» или «большой эффект», а ниже порога малого — как «пренебрежимо малый эффект». Это ориентиры Коэна, опубликованные в 1988 году с прямой оговоркой: их подобрали так, чтобы «средний» эффект был заметен невооружённым глазом внимательного наблюдателя, и Коэн призывал каждую область науки заменить их собственными. Отсюда две предосторожности. Во-первых, метка сопоставляет число с фиксированной планкой, а не результат с его контекстом: d = 0.2 для выживаемости после дешёвого вмешательства — огромный эффект, а d = 0.8 в тесте именно на то, чему учили на тренинге, ничем не примечателен. Во-вторых, о надёжности вывода метка ничего не сообщает. Малый эффект, измеренный на большой выборке, может быть установлен вне всяких сомнений, а большой на малой выборке может оказаться шумом, и различить эти случаи позволяет доверительный интервал рядом.

Общей шкалы у семейств нет. На данных кафе d = 0.45, r = 0.22, η² = 0.05 и общеязыковой размер эффекта 0.63 описывают один и тот же эффект четырьмя способами, и по собственным ориентирам каждое из этих значений малое. Поэтому размеры эффекта сравнивают только внутри семейства, переводят из одного семейства в другое, когда этого требует сравнение исследований, и всякий раз, приводя число, называют меру.

У некоторых мер метки нет вовсе, и столбец Интерпретация не указывает для них никакой величины. Маргинальный φ, отношение дисперсий, U Тейла, нормированная дивергенция Йенсена — Шеннона и R²ₑ — доли или отношения, для которых ориентиры никогда не калибровались, и число приводится как есть. Многомерную частичную η² у MANOVA читатель оценивает по ориентирам семейства дисперсии сам, потому что в её таблице выводятся только значение и интервал. W Кендалла получает метку согласованности (от «очень слабой» до «необычно сильной» по шкале Шмидта), а не метку эффекта.

Как сообщать размер эффекта #

В отчёте называют меру, её значение и доверительный интервал рядом со статистикой критерия и p, а для разности средних ещё и саму разность в исходных единицах: это число читатель может себе представить. Для сравнения филиалов кафе: «Участники из „Привокзальной“ тратили за визит больше, чем участники из „Набережной“ (9.52 против 7.91), разность 1.61 (95% ДИ от 0.62 до 2.60), d Уэлча = 0.45 (95% ДИ от 0.17 до 0.74), t(179.5) = 3.20, p = 0.002». Знак здесь опущен, а направление названо словами: так текст читается легче. В таблицах приложения знак сохраняется и соответствует порядку, в каком перечислены группы. В руководстве каждого модуля есть контрольный список для отчёта, где названа мера, которая сопровождает его критерии.

Где это встречается в DataSuite #

• Сравнительный анализ — флажок Включить размеры эффекта добавляет меру, выбранную в меню, а при желании и её доверительный интервал и стандартную ошибку. У каждого критерия свой набор мер: семейство d для t-критериев, η² и родственные ей меры для дисперсионного анализа, V Крамера и отношение шансов для таблиц.
• Корреляционный анализ — здесь сам коэффициент и есть размер эффекта, а метка силы связи следует диапазонам силы корреляции.
• Регрессионный анализ — R² и скорректированный R² для модели, стандартизованные коэффициенты (β) для предикторов, отношения шансов для логистических моделей.
• Метаанализ — объединяет размеры эффекта из разных исследований: стандартизованные разности средних, корреляции, отношения шансов и отношения рисков.
• Планировщик анализа — по ожидаемому размеру эффекта рассчитывает объём выборки, достаточный, чтобы критерий его обнаружил.
• Настройки — диапазоны силы для корреляций и родственных им мер. Ориентиры для d, для мер дисперсии и для отношения шансов фиксированы.