Мощность и объём выборки #

Исследование может не заметить эффект, который на самом деле существует. Ошибки при этом никто не совершает: когда наблюдений слишком мало, настоящая разность теряется на фоне шума, критерий не может отличить её от нуля, и в отчёте о реальном эффекте появляется фраза «значимого эффекта нет». Как часто так случается, можно выразить числом и рассчитать ещё до сбора первого наблюдения, и именно для этого существует планировщик анализа. Ниже разобраны мощность и связанные с ней величины, три вопроса анализа мощности и то, что меняет ответ на них. Затем — планирование точности вместо обнаружения эффекта и, наконец, две практические поправки: на неравные группы и на выбывание. Все числа получены на данных кафе, подготовленных так, как описано на той странице, и каждое можно воспроизвести в планировщике или в модуле, названном рядом с числом.

Четыре величины, одно уравнение #

Мощность — это вероятность того, что критерий обнаружит эффект заданного размера, если эффект действительно есть. Иначе говоря, это шанс получить значимый результат, если зависимая переменная в самом деле различается между уровнями группирующей переменной на предполагаемую величину. Мощность дополняет до единицы вероятность ошибки II рода: при мощности 0.80 эффект будет пропущен с вероятностью 20%. Обычно планируют мощность 0.80, а если пропуск эффекта обойдётся дорого, то 0.90. Два главных результата кафе показывают обе крайности. В сравнении филиалов по чек_до (101 участник из «Набережной» против 99 из «Привокзальной», разность чуть меньше половины стандартного отклонения, d = 0.45) мощность для эффекта такого размера составляла 0.89: девять подобных исследований из десяти его обнаружили бы. Изменение числа визитов после смены меню измерено на 200 участниках, каждый из которых служит сам себе контролем, и составило седьмую часть стандартного отклонения (dz = 0.14). Мощность здесь была 0.50, как у подброшенной монеты, и именно так следует понимать полученное p = 0.051. Медсестра, планирующая сравнить два отделения (отделение → группирующая переменная, дни до выздоровления → зависимая переменная), и учитель, сравнивающий два класса (класс → группирующая, балл за тест → зависимая), задают один и тот же вопрос: насколько вероятно, что исследование заметит ожидаемую разность, если она существует?

Мощность (1 − β) — та же величина под названием, которым подписано поле ввода в планировщике. Здесь β — вероятность ошибки II рода, то есть пропуска эффекта, а 1 − β — вероятность его обнаружить. Значение по умолчанию 0.80 принято по соглашению. Если для сравнения филиалов кафе поднять его до 0.90, необходимый объём вырастет с 79 до 105 участников на группу, а при 0.95 — до 130.

Анализ мощности — расчёт, связывающий четыре величины: размер эффекта, уровень значимости, объём выборки и мощность. Зная любые три, можно найти четвёртую. Больший эффект, менее строгий α, больше наблюдений или более низкая целевая мощность смягчают требования к остальным величинам. Поле Вычислить в планировщике задаёт, какая из трёх обычно неизвестных величин нужна: объём выборки для задуманного исследования, мощность уже имеющегося плана или наименьший эффект, который план способен обнаружить. Четвёртую величину, α, задают по соглашению и вводят, а не вычисляют.

Ожидаемый размер эффекта — единственное исходное значение, которое анализ мощности не может получить сам, и именно от него ответ зависит сильнее всего. Это эффект, закладываемый в план: не тот, на который надеются, и не тот, что был бы удобен. Обоснованных источников у него три: метаанализ или прежнее исследование эффекта того же рода, пилотное исследование или наименьший эффект, имеющий значение. Разность между филиалами кафе d = 0.45 взята из данных прошлого сезона, и план, построенный на ней, требует 79 участников на филиал. Если бы в планировщике оставили значение по умолчанию 0.50, ответ был бы 64, а исследование с 64 участниками на филиал имело бы для реально существовавшего эффекта мощность лишь 0.71. Сами меры описаны на странице о размерах эффекта, а конвертер размеров эффекта переводит меру, приведённую в статье, в ту, с которой работает планируемый критерий.

Наименьший интересующий размер эффекта — эффект, ниже которого уже неважно, верна нулевая гипотеза или нет. Он избавляет от необходимости угадывать, каким окажется эффект. Если смена меню, поднимающая средний чек меньше чем на 0.50 за визит, себя не окупает, план рассчитывают на эффект в 0.50 ⁄ 3.63 = 0.14 стандартного отклонения, и меньший эффект искать незачем. Исследование, мощности которого хватает для такого эффекта, способно обнаружить и любой эффект, имеющий значение. Незначимый результат такого исследования означает «если эффект и есть, он слишком мал, чтобы иметь значение», а незначимый результат исследования с недостаточной мощностью этого не означает никогда. Из всех исходных значений для планирования это самое обоснованное: оно следует из вопроса исследования, а не из догадки.

Уровень значимости (α) — уровень значимости, с которым будет проводиться планируемый критерий. В анализе мощности он играет роль цены: чем строже порог, тем больше наблюдений нужно, чтобы преодолеть его при том же эффекте. Для сравнения филиалов кафе нужно 79 участников на группу при α = 0.05 и 118 при α = 0.01, а при 100 участниках на группу мощность для d = 0.45 составляет 0.89 при 0.05 и 0.72 при 0.01. В планировщик вводят тот уровень, который действительно будет использован в отчёте, с учётом поправки на множественные сравнения. Например, в семействе из шести критериев с поправкой Бонферрони каждый проверяется на уровне 0.0083, и в плане это должно быть указано.

Необходимый объём выборки — число наблюдений, при котором планируемый критерий достигает целевой мощности для ожидаемого эффекта. Чаще всего планировщик открывают именно ради него. t-критерию для независимых выборок при d = 0.45, двустороннем α = 0.05 и мощности 0.80 нужно 79 наблюдений на группу, всего 158, так что 200 участников кафе для сравнения филиалов хватило с запасом. Для изменения визитов (dz = 0.14, парный критерий) нужно 403 пары, вдвое больше, чем было в кафе. Поэтому исследование и получило p = 0.051, а не меньше. Результат всегда округляется вверх и служит нижней границей, а не целью. Сколько наблюдений к нему добавить, сказано ниже, в описании выбывания.

Объём выборки (на группу) — необходимый объём выборки в том виде, в каком планировщик выводит его для критерия с двумя группами: число наблюдений в каждой группе, а общее число в скобках. 79 на группу — это 158 участников.

Количество пар — объём выборки в парном плане, где одних и тех же участников измеряют дважды или наблюдения подобраны парами. Считают его в парах, потому что критерий работает именно с парой как с единицей. 403 пары — это 403 участника и 806 измерений.

Общий объём выборки — объём выборки для критерия, в котором нет групп, например для корреляции или регрессии. Он равен числу наблюдений во всём файле. Чтобы обнаружить корреляцию 0.24 с мощностью 0.80, нужно 134 наблюдения. У 192 участников кафе заполнены оба столбца, оценка и чек_после, и мощность на этих данных составила 0.92.

Исследование с недостаточной мощностью — исследование, мощность которого для искомого эффекта заметно ниже 0.80. Его незначимые результаты почти ничего не сообщают: вывод «значимого изменения визитов нет», полученный при мощности 0.50, характеризует план исследования, а не визиты. Значимые же его результаты хуже, чем кажутся, и причина объяснена в последнем разделе. Исправить положение можно только до сбора данных, и в этом весь смысл планирования.

Три вопроса, на которые отвечает планировщик #

Априорный анализ мощности — расчёт для планирования: размер эффекта, α и целевая мощность заданы, а необходимый объём выборки находят до того, как собраны данные. Только такой анализ мощности меняет ход исследования, и только его требуют рецензенты. Все числа в предыдущих абзацах получены именно так.

Достигнутая мощность — ответ планировщика, когда задан объём выборки: мощность плана такого объёма для ожидаемого эффекта. Этот вопрос встаёт, когда объём исследования определили обстоятельства: класс из 30 учеников, отделение на 45 коек, уже проведённый опрос. Пример даёт само кафе: 101 и 99 участников обеспечивают мощность 0.89 для d = 0.45, а 200 пар — 0.50 для dz = 0.14. В планировщик вводят объём, который будет в распоряжении, и эффект, ожидаемый по литературе. Ответ полезен при любом значении, а низкая мощность — повод изменить план или сам вопрос.

Минимально обнаруживаемый эффект — третий вариант расчёта: наименьший эффект, который данный план обнаруживает с целевой мощностью. При 100 участниках на филиал и мощности 0.80 это d = 0.40. Значит, план кафе мог надёжно обнаружить разность между филиалами в две пятых стандартного отклонения, а для разности в четверть стандартного отклонения его мощность была всего 0.42. При 30 наблюдениях на группу минимально обнаруживаемый эффект равен d = 0.74, что по ориентирам Коэна считается большим эффектом. При 200 парах в парном критерии это dz = 0.20, пятая часть стандартного отклонения, и реальное изменение 0.14 до неё не дотягивает. Именно это число стоит приводить, когда исследование ничего не нашло: фраза «план имел мощность 80% для обнаружения изменения на 0.20 SD и более» показывает читателю, какие эффекты нулевой результат позволяет исключить.

Наблюдаемая мощность (её называют также апостериорной) — мощность, рассчитанная после проведения критерия, когда в качестве ожидаемого эффекта подставлен эффект, полученный в самом исследовании. Она похожа на диагноз нулевого результата, но диагнозом не является. Для данного плана это взаимно однозначная функция p-значения, поэтому ничего сверх p она не сообщает. У двустороннего результата с p ровно 0.05 наблюдаемая мощность всегда равна 0.50, у изменения визитов при p = 0.051 она тоже 0.50, а у любого незначимого результата по построению меньше половины. Бесполезной её делает замкнутый круг: наблюдаемый эффект и есть та оценка, неопределённость которой составляла проблему, и подстановка её обратно в расчёт эту неопределённость не уменьшает. Наблюдаемая мощность только кажется ответом на вопрос о нулевом результате. На деле на него отвечают минимально обнаруживаемый эффект, рассчитанный для размера эффекта, выбранного из других соображений, и доверительный интервал найденного эффекта. Интервал изменения визитов от −0.003 до 1.28 показывает, что исследование оставило нерешённым, и никакое значение мощности к этому ничего не добавит.

Насколько надёжен ответ #

Кривая мощности — график мощности в зависимости от объёма выборки при фиксированных эффекте и α. По нему видно, что даёт исследованию каждое дополнительное наблюдение. Для сравнения филиалов при d = 0.45 кривая поднимается от 0.16 при 10 наблюдениях на группу до 0.40 при 30, 0.61 при 50, 0.80 при 79 и 0.89 при 100, а затем выполаживается: при 200 на группу мощность 0.99, то есть вторая сотня участников в каждой группе добавила всего одну десятую. Круче всего кривая как раз там, где обычно оказывается исследование, около объёма, едва обеспечивающего 0.80. Поэтому план, рассчитанный точно на эту точку, быстро теряет мощность, если выпадет даже несколько наблюдений. Кнопка Показать кривую мощности строит этот график и отмечает рассчитанный результат перекрестием.

Под каждым ответом планировщик выводит таблицу Анализ чувствительности — мощность при 50, 75, 125 и 150% опорного объёма выборки. Для 79 участников на группу в сравнении филиалов получается ряд 40 → 0.51, 60 → 0.69, 79 → 0.80, 99 → 0.88, 119 → 0.93. Таблица показывает цену ошибки: исследование, набравшее три четверти запланированной выборки, имеет мощность 0.69, а не 0.80. Кнопка Показать тепловую карту чувствительности переносит ту же идею на два измерения и показывает мощность на сетке объёмов выборки и размеров эффекта. Так видно, что будет, если оптимистичным окажется не только набор участников, но и ожидаемый эффект. Переоценить эффект — ошибка более частая и более дорогая: те же 79 участников на группу дают мощность 0.80 при d = 0.45 и лишь 0.24 при d = 0.20.

Что влияет на мощность #

Мощность растёт с размером эффекта, объёмом выборки и α, а также с тем, сколько шума устраняет план исследования. На данных кафе видно действие каждого из этих факторов.

Эффект. При любом фиксированном эффекте мощность растёт с объёмом выборки, а крупному эффекту для той же мощности нужно меньше наблюдений. Для мощности 80% при α = 0.05 сравнению двух групп нужно 26 наблюдений на группу при d = 0.8, 64 при d = 0.5, 79 при d = 0.45 и 394 при d = 0.2. Малый эффект обходится в пятнадцать раз дороже большого, потому что необходимый объём выборки растёт пропорционально квадрату величины, обратной эффекту.

План исследования. Когда одних и тех же участников измеряют дважды, как в кассовых столбцах кафе, разброс между участниками из сравнения исключается: парный критерий сопоставляет изменение только с разбросом самих изменений. Рост чека после смены меню, dz = 0.38 в парной шкале, требует для мощности 80% всего 57 пар. Тот же рост на 1.09, измеренный на двух независимых группах участников (чек одной группы до смены меню, другой после), дал бы d = 0.30 на фоне полного разброса чеков и потребовал бы 176 участников на группу, то есть 352 человека. Парный план сократил выборку в шесть раз. Те же числа, но с другой точки зрения, разобраны в описании независимости на странице о допущениях.

Направленность. Односторонний критерий тратит весь α на предсказанное направление и потому мощнее в этом направлении: 0.94 вместо 0.89 для сравнения филиалов при 100 участниках на группу, или 62 участника на группу вместо 79 при той же мощности. В противоположном направлении мощности у него нет, и реальный эффект обратного знака он почти никогда не обнаружит. Односторонний план допустим только при условиях, описанных на странице о проверке гипотез, и в планировщик вводят ту направленность, которая будет указана в отчёте.

Шум. Всё, что уменьшает стандартное отклонение, на фоне которого измеряется эффект, повышает мощность без дополнительных наблюдений: более надёжный опросник; ковариата, объясняющая часть исхода; однородная выборка там, где вопрос исследования не требует неоднородной. Ненадёжные измерения действуют в обратную сторону. Если надёжность обоих измерений 0.70, истинная корреляция 0.50 в данных снизится примерно до 0.35, и план приходится строить на 0.35. Этот расчёт выполняет инструмент аттенуации корреляции в планировщике, а коэффициент, который ему нужен, описан в руководстве по анализу надёжности.

Соотношение групп — то, как общий объём выборки делится между двумя группами. При данном общем объёме наибольшую мощность дают равные группы. Часто неравенство навязано обстоятельствами: участников кафе, готовых его рекомендовать, больше, чем остальных, 135 против 65, и при сравнении их визитов до смены меню (d = 0.33) приходится работать с тем делением, какое есть. Оптимизация распределения по группам в планировщике показывает, во что оно обходится: при 135 ⁄ 65 мощность 0.585, тогда как при 100 ⁄ 100 она была бы 0.641, а при 3 : 1 — 0.520. Потеря растёт с дисбалансом, но остаётся небольшой, пока меньшая группа не станет совсем малой: 2 : 1 обходится здесь примерно в пять пунктов, а деление 9 : 1 (180 против 20) оставило бы мощность 0.29. Поэтому с дисбалансом два или три к одному обычно не стоит бороться. Мощность восстанавливают, увеличивая меньшую группу, а не большую: если число рекомендующих фиксировано (135), для мощности 0.80 понадобилось бы 157 нерекомендующих.

Равное распределение — деление 1 : 1, при котором фиксированный общий объём даёт наибольшую мощность. В таблице оптимизатора эта строка выделена как опорная.

Потеря мощности по сравнению с равным распределением — главный показатель оптимизатора для неравного деления: на сколько процентных пунктов мощность при введённом соотношении ниже, чем при равном делении того же общего объёма. Для деления 135 ⁄ 65 в кафе это 5.61 пункта. Такова цена дисбаланса, и её стоит сопоставить с затратами на то, чтобы добрать участников в меньшую группу.

Какой размер эффекта нужен каждому критерию #

Планировщик запрашивает эффект в той мере, с которой работает выбранный критерий. Большинство мер определено на странице о размерах эффекта: d Коэна для t-критериев, dz для парных, r для корреляции, w Коэна для критерия хи-квадрат и h Коэна для долей. Ещё три меры, которые использует планировщик, там не описаны:

f Коэна — размер эффекта для однофакторного дисперсионного анализа: разброс групповых средних, выраженный в стандартных отклонениях внутри групп. По сути это пересчитанная η²,

так что η², равная 0.06, соответствует f = 0.25, «среднему» эффекту по Коэну. Для двух групп f равен половине d. Разобьём участников кафе на три возрастные группы: до 30 лет, от 31 до 45 и 46 лет и старше (правило разбиения на интервалы с точками разреза 31 и 46). В группах оказывается 47, 102 и 46 участников, а их средний чек до смены меню составил 6.85, 9.07 и 9.48: F(2, 192) = 8.42, p < 0.001, η² = 0.08 и f = 0.30. Дисперсионному анализу трёх групп, спланированному на f = 0.30, нужно 37 участников на группу, всего 111, а у 195 участников кафе с заполненным возрастом мощность составила 0.97.

f² Коэна — размер эффекта для регрессии, отношение объяснённой моделью дисперсии к необъяснённой (это f² со страницы об основах регрессии). Планировщик возвращает для него не объём выборки, а нужное модели число степеней свободы ошибки, и объём n равен этим df плюс число предикторов плюс один. Регрессия оценка на вкус и ожидание объясняет 32% дисперсии, f² = 0.47, и для обнаружения такого эффекта с мощностью 80% хватило бы 21 степени свободы ошибки, то есть 24 участников. Для «малого» по Коэну значения 0.02 нужно 482 степени свободы ошибки, а с теми же двумя предикторами 485 участников. Так что 178 участников этой регрессии понадобились ради точности оценок, а не ради обнаружения эффекта.

Ориентиры Коэна — границы малого, среднего и большого эффекта, которые планировщик приводит в справке: 0.20, 0.50 и 0.80 для d; 0.10, 0.30 и 0.50 для r; 0.10, 0.25 и 0.40 для f; 0.02, 0.15 и 0.35 для f²; 0.10, 0.30 и 0.50 для w. Средние из них служат значениями по умолчанию в полях размера эффекта. Ориентиры задают язык описания, а не план: «средний эффект» — догадка, выданная за соглашение, и исследование, спланированное на d = 0.50 в области, где реальные эффекты около 0.20, пропустит три четверти из них. Оговорку самого Коэна приводит страница о размерах эффекта. Правило планирования такое: ожидаемый эффект берут из данных или из вопроса исследования, а к ориентиру прибегают, только когда нет ни того ни другого, и прямо об этом пишут.

На категориальном исходе кафе ориентиры выглядят так. Доля участников, готовых рекомендовать кафе, немного различается по филиалам: 72% в «Набережной» и 63% в «Привокзальной». Это h = 0.21 для двухвыборочного критерия долей и w = 0.10 для критерия независимости хи-квадрат по той же таблице 2 × 2, и оба эффекта «малые». Двухвыборочному критерию долей, спланированному на h = 0.21, нужно 356 участников на группу. Критерию хи-квадрат для w = 0.10 с одной степенью свободы нужно 785 наблюдений в сумме, а при 200 участниках кафе его мощность была 0.29. Поэтому сравнение ничего и не нашло, и это не доказывает, что филиалы одинаковы. Отклонение самого деления рекомендаций 135 ⁄ 65 от равного соответствует w = 0.35, и критерию согласия для его проверки нужно 65 наблюдений: у кафе мощность здесь была 0.999.

Точность вместо мощности #

Не всякое исследование ищет эффект. Опрос, цель которого — узнать средний чек участников, долю тех, кто порекомендовал бы кафе, или силу связи между удовлетворённостью и тратами, оценивает величину, а не проверяет нулевую гипотезу. Нужный ему объём выборки определяется не мощностью, а тем, насколько точной должна быть оценка, то есть шириной её доверительного интервала.

Планирование точности — расчёт объёма выборки по целевой ширине интервала, то есть такого объёма, при котором доверительный интервал оценки уложится в ± заданную погрешность. Инструмент планирования точности принимает тип оценки, уровень доверия, ожидаемый разброс и погрешность, а его таблица рядом с запрошенной погрешностью показывает объём выборки для вдвое меньшей и вдвое большей. Зависимость здесь та же, что определяет ширину интервала: погрешность обратно пропорциональна квадратному корню из объёма выборки, поэтому, чтобы уменьшить её вдвое, нужно вчетверо больше наблюдений.

Погрешность — половина ширины доверительного интервала, то самое ± после оценки, и именно её задают при планировании точности. По 200 участникам кафе средний чек равен 8.71 ± 0.51 при 95-процентном уровне доверия. Для погрешности ± 0.25 понадобилось бы 813 участников, а для ± 1.00 хватило бы 54. Погрешность выбирают в единицах оценки, исходя из того, для чего нужно число: ± 0.50 при среднем чеке 8.71 — это неопределённость около 6%, достаточная для делового решения, но слишком грубая, чтобы заметить изменение на 0.50.

Ожидаемое стандартное отклонение — разброс, от которого зависит точность оценки среднего. Это единственное число, которое планировщику нужно взять извне: из пилотного исследования, прежнего опроса или литературы. У столбца чек_до стандартное отклонение 3.63. Если ввести его вместе с погрешностью ± 0.50, получится 205, поэтому 200 участников и дали ± 0.51. Заниженное стандартное отклонение даёт заниженный объём выборки, и интервал оказывается шире запланированного. В сомнительных случаях из двух правдоподобных значений берут большее.

Ожидаемая доля — доля, от которой зависит точность оценки доли. Здесь ошибка в догадке обходится недорого: интервал шире всего при 0.50 и сужается к 0 и 1, поэтому, когда о доле ничего не известно, безопасно ввести 0.50. Кафе порекомендовали бы две трети участников, 67.5% ± 6.5 по 200 ответам. Погрешность ± 5 процентных пунктов требует 338 участников при доле 0.675 и 385 при осторожном расчёте с 0.50, а погрешность ± 3 пункта требует 937.

Ожидаемая корреляция — коэффициент, от которого зависит точность оценки корреляции: интервал для r сужается по мере роста r, и сильную корреляцию удаётся точно оценить на меньшем числе наблюдений, чем слабую. Корреляция между оценка и вкус в кафе равна r = 0.55, и её 95-процентный интервал по 193 участникам простирается от 0.44 до 0.64. Погрешность ± 0.10 вокруг 0.55 требует 190 участников, а ± 0.05 требует 751. Более слабая корреляция r = 0.24 между оценка и чек_после при тех же затратах оценена грубее: ± 0.13 по 192 участникам, интервал от 0.10 до 0.37. Для погрешности ± 0.10 вокруг неё понадобилось бы 343 участника. Планировщик находит объём выборки перебором, а не по формуле, и погрешность, которой не достигает ни один объём в допустимых пределах, помечает как Недостижимо.

Две поправки до окончательного плана #

Выбывание — доля набранных наблюдений, которые не дойдут до анализа: выбывшие участники, непригодные записи, пропущенные ответы. Необходимый объём выборки увеличивают с поправкой на выбывание, деля его на единицу за вычетом ожидаемой доли потерь. 79 участников на группу для сравнения филиалов превращаются в 93 при потерях 15% и в 99 при 20%, а 403 пары для изменения визитов — в 504 при 20%. Файл кафе показывает, откуда берутся потери: 15 участников не заполнили ожидание и 7 не заполнили оценка, поэтому в анализе корреляции этих двух столбцов остаётся 178 участников из 200. Это выбывание 11%, которого никто не планировал. В отчёте приводят оба числа: объём выборки, необходимый для анализа, и объём, набранный с учётом потерь.

Пилотное исследование — небольшое пробное исследование по тому же плану перед основным. Из него разумно брать стандартное отклонение, долю откликов и сведения о выполнимости процедуры, но не размер эффекта. Оценка эффекта по пилотному исследованию слишком неточна, чтобы на ней планировать. Первые 20 участников каждого филиала дают средний чек 8.62 против 10.15, то есть d = 0.48 с 95-процентным интервалом от −0.15 до 1.11: от малого эффекта в обратную сторону до очень большого. План на основе такой точечной оценки опирался бы на шум. Разброс из пилотного исследования используют вместе с размером эффекта из литературы или с наименьшим интересующим эффектом, а в окончательный анализ никогда не включают одновременно оценку пилотного исследования и его данные.

Что находит исследование с недостаточной мощностью #

Исследование с мощностью 0.50 пропускает эффект в половине случаев. Менее очевидно, что происходит в другой половине. Значимыми оказываются те исследования, в которых шум случайно добавился к эффекту, поэтому сообщаемый ими эффект завышен, а при низкой мощности завышен сильно. На изменении визитов в кафе это видно по моделированию: 20 000 исследований из совокупности с истинным изменением dz = 0.14, проверенных при α = 0.05 (зерно генератора зафиксировано, так что результат воспроизводим).

Ошибка типа M (M от англ. magnitude, величина) — это и есть завышение: во сколько раз значимый результат в среднем преувеличивает истинный эффект. При мощности 80% оно невелико, а при мощности реального плана кафе составляет 1.4. Если бы кафе опросило 50 участников, значимого результата достигло бы лишь одно исследование из шести, и эти результаты в среднем превышали бы реальное изменение более чем в два с половиной раза. Литература, в которой преобладают исследования с недостаточной мощностью, состоит из таких результатов, и метаанализ этих работ находит эффект меньше, чем сообщала любая из них. Средство здесь одно — объём выборки, дающий мощность 0.80. Если набрать его нельзя, остаётся приводить оценку с интервалом и не выносить в заголовок значимый результат плана, который едва мог его обнаружить.

Ошибка типа S (S от англ. sign, знак) — вероятность того, что значимый результат имеет неверный знак, то есть реальный рост визитов будет представлен как значимое падение. При любой разумной мощности она пренебрежимо мала (в моделировании с 50 парами меньше 1%) и становится реальной угрозой, лишь когда мощность опускается почти до своего нижнего предела, уровня α. Именно там оказывается исследование из десяти или двадцати наблюдений при малом эффекте. Из-за обеих ошибок неожиданную значимую находку небольшого исследования считают поводом для повторения, а не результатом.

Как описать план в отчёте #

Обоснование объёма выборки помещают в раздел «Методы» под отдельным подзаголовком и приводят всё, что нужно читателю для пересчёта: планируемый критерий, ожидаемый размер эффекта и его источник, α и направленность, целевую мощность, полученный объём выборки и поправку на выбывание. Для сравнения филиалов кафе: «Объём выборки рассчитан так, чтобы t-критерий для независимых выборок при двустороннем α = 0.05 обнаруживал d = 0.45 (разность между филиалами, наблюдавшуюся в предыдущем сезоне) с мощностью 0.80, и составил 79 участников на филиал. С учётом 15% непригодных записей в каждый филиал набрано по 93 участника». План точности описывают через оценку, уровень доверия, ожидаемый разброс с его источником и погрешность: «для 95-процентного доверительного интервала среднего чека шириной не более ± 0.50 при стандартном отклонении 3.63 по данным предыдущего опроса требуется 205 участников». Фраза «предполагался средний эффект» — не план, и рецензент это отметит. А вот «предварительной оценки не было, поэтому мощность рассчитана на наименьший практически важный эффект, d = 0.14» — план. Наблюдаемой мощности в отчёте не место, а нулевой результат описывают доверительным интервалом и эффектом, на обнаружение которого был рассчитан план. Полный перечень приведён в контрольном списке для отчёта планировщика.

Где это встречается в DataSuite #

• Планирование анализа — Анализ мощности находит объём выборки, мощность или минимально обнаруживаемый эффект для одиннадцати критериев и строит таблицу чувствительности, кривую мощности и тепловую карту. Конвертер размера эффекта переводит меру, приведённую в статье, в ту, с которой работает критерий. Планирование точности находит объём выборки для заданной погрешности, а Оптимизация распределения по группам оценивает цену неравного деления. Аттенуация корреляции поправляет ожидаемую корреляцию на ненадёжность измерений, а Планирование длины шкалы показывает, сколько пунктов нужно для целевой надёжности.
• Сравнительный анализ, корреляционный анализ и регрессионный анализ — размеры эффекта с доверительными интервалами, полученные в завершённом исследовании, служат исходными данными для планирования следующего.
• Метаанализ — объединённый размер эффекта служит лучшей отправной точкой для плана, а его интервал показывает, насколько план ненадёжен.
• Анализ надёжности — коэффициент надёжности определяет, какая часть истинной корреляции сохраняется при измерении, а значит, насколько больше должна быть выборка для ослабленного эффекта.
• Настройки — уровень значимости и поправка на множественные сравнения, с которыми на самом деле будет проводиться планируемый критерий. Именно этот α и следует закладывать в план.