Планирование анализа #

Модуль Планирование анализа — набор инструментов для планирования исследования, работающий без набора данных: семь раскрывающихся разделов, в каждом — отдельный калькулятор со своей кнопкой. Анализ мощности находит объём выборки, мощность или обнаружимый эффект планируемого критерия, а конвертер размеров эффекта переводит один размер эффекта во все остальные поддерживаемые меры. Кроме того, планирование поправки выводит пороги отдельных проверок для пяти процедур множественных сравнений, планирование длины шкалы прогнозирует надёжность в зависимости от числа пунктов, а ослабление корреляции показывает, как ненадёжность измерений ослабляет корреляцию. Наконец, планирование точности подбирает выборку под доверительный интервал нужной ширины, а оптимизатор распределения по группам оценивает цену неравного деления на группы. Откройте нужный раздел, остальные останутся свёрнутыми.

Зачем планировать заранее? Объём, рассчитанный до сбора данных, обеспечивает мощность для эффекта, который важен по существу, и заранее учитывает поправку на все запланированные проверки. Объём, подобранный задним числом, можно лишь оправдывать — см. мощность и объём выборки.

1. Откройте раздел, который отвечает на ваш вопрос: сколько нужно наблюдений, какая мера нужна, какой порог взять, сколько нужно пунктов, насколько ослабнет корреляция, насколько точной будет оценка или во что обойдётся неравное деление
2. Заполните поля. Каждое открывается с общепринятым значением по умолчанию, но это отправная точка, а не план
3. Нажмите кнопку раздела: Рассчитать, Конвертировать, Рассчитать пороги, Рассчитать необходимое число пунктов, Рассчитать объём выборки или Рассчитать мощность
4. Прочитайте результат в рамке и таблицу под ним, а после анализа мощности откройте ещё кривую мощности и тепловую карту

Анализ мощности #

Решает уравнение мощности относительно любой из трёх неизвестных: объёма выборки, нужного планируемому критерию, мощности при заданной выборке или наименьшего эффекта, который она способна обнаружить. Уровень значимости при этом фиксирован, а под каждым ответом выводится таблица чувствительности.

Что такое статистическая мощность? Вероятность того, что критерий обнаружит эффект предполагаемой величины, если он существует. Принятый ориентир — 0.80. См. мощность и анализ мощности.

Параметры анализа мощности #

• Тип критерия — критерий, по которому будут анализироваться данные. Критерии сгруппированы в шесть семейств. От выбора зависят мера размера эффекта, дополнительные поля и то, в чём выражен объём выборки. Ориентиры для каждой меры собраны на карточке справки.

Критерии в порядке меню:

• Одновыборочный t-критерий — одно среднее против заданного значения. Эффект — d Коэна, объём выборки — число наблюдений, а варианты поля Направленность записаны через μ и μ₀ — см. одновыборочный t-критерий.
• t-критерий для независимых выборок — средние двух групп, выбран по умолчанию. Эффект — d Коэна, объём выборки задаётся на группу, а общий приводится в скобках — см. t-критерий для независимых выборок.
• t-критерий для парных выборок — два измерения на одних и тех же наблюдениях. Эффект — d Коэна для парных разностей, объём выборки — число пар — см. t-критерий для парных выборок.
• Однофакторный дисперсионный анализ — средние трёх и более групп. Эффект — f Коэна, объём выборки на группу с общим в скобках и ещё поле числа групп — см. однофакторный дисперсионный анализ.
• Многофакторный дисперсионный анализ — один эффект плана с несколькими факторами. Эффект — f² Коэна. Поля объёма выборки нет: план задаётся степенями свободы числителя и знаменателя, и поиск объёма выборки возвращает df ошибки — см. многофакторный дисперсионный анализ.
• Корреляция Пирсона — одна корреляция против нуля. Эффект — r (он может быть отрицательным), объём выборки — число наблюдений, а варианты направленности записаны через ρ и 0 — см. r Пирсона.
• Множественная регрессия — несколько предикторов вместе. Эффект — f² Коэна, объём выборки общий, и ещё поле числа предикторов — см. множественная регрессия.
• Критерий согласия хи-квадрат — частоты одной категориальной переменной против заданного распределения. Эффект — w Коэна, объём выборки общий, и ещё степени свободы, число категорий минус 1 — см. критерий согласия хи-квадрат.
• Критерий независимости хи-квадрат — связь двух категориальных переменных. Эффект — w Коэна, объём выборки общий, степени свободы — (строки − 1) × (столбцы − 1) — см. критерий независимости хи-квадрат.
• Одновыборочный критерий доли — одна доля против заданного значения. Эффект — h Коэна, объём выборки — число наблюдений, а варианты направленности записаны через p и p₀ — см. одновыборочный критерий доли.
• Двухвыборочный критерий долей — доли в двух группах. Эффект — h Коэна, объём выборки на группу с общим в скобках — см. двухвыборочный критерий долей.

Остальные поля панели:

• Вычислить — какую из трёх неизвестных рассчитать, а две другие вводятся. Поле искомой величины скрыто, а у его подписи появляется метка Вычисляется.
• Объём выборки — число наблюдений: на группу, пар или всего, как сказано в подписи поля для выбранного критерия. Выберите его как искомую величину, чтобы узнать, сколько наблюдений нужно критерию для целевой мощности (так задано по умолчанию). Если объём исследования уже известен, введите его, чтобы узнать мощность или обнаружимый эффект. В таблице это столбец с объёмом, для которого рассчитана строка — см. необходимый объём выборки.
• Мощность — вероятность того, что критерий обнаружит предполагаемый эффект. Вычисляйте её, когда объём выборки задан, а в остальных случаях введите целевое значение, по умолчанию 0.80. В таблице это мощность при объёме выборки данной строки — см. достигнутая мощность.
• Размер эффекта — наименьший эффект, который план обнаруживает с целевой мощностью. Вычисляйте его, чтобы узнать, что способна найти выборка известного объёма, а в остальных случаях введите ожидаемый эффект — см. минимально обнаруживаемый эффект.
• Размер эффекта ({symbol}) — ожидаемый эффект в мере, которой пользуется критерий. Мера названа в подписи: d для t-критериев, f для однофакторного дисперсионного анализа, f² для многофакторного и для регрессии, r для корреляции, w для критериев хи-квадрат и h для критериев долей. Поле открывается со «средним» значением Коэна (0.5, 0.25, 0.15, 0.30, 0.30 и 0.50) и сбрасывается, если при смене критерия меняется мера. Нулевой эффект отклоняется: его не обнаружит никакая выборка. Берите значение из предыдущих исследований или пилотного, а не из значения по умолчанию — см. ожидаемый размер эффекта.
• Уровень значимости (α) — уровень, на котором будет проведён планируемый критерий, по умолчанию 0.05. Если в исследовании будет поправка на множественные сравнения, введите уровень для отдельной проверки — см. уровень значимости.
• Мощность (1 − β) — целевая мощность, по умолчанию 0.80 (β — вероятность пропустить эффект) — см. мощность (1 − β).
• Объём выборки (на группу) — поле для имеющейся или будущей выборки в той подписи, которую получают двухгрупповые критерии и однофакторный дисперсионный анализ: число наблюдений в каждой группе, а общий объём во столько раз больше, сколько групп. Подпись меняется вместе с критерием, а таблица чувствительности и оба графика перебирают ту же величину. В многофакторном дисперсионном анализе поле заменяют df знаменателя — см. объём выборки на группу.
• Количество пар — то же поле у t-критерия для парных выборок: пары измерений, по одной на наблюдение — см. число пар.
• Общий объём выборки — то же поле у регрессии и критериев хи-квадрат: все наблюдения выборки, без деления на группы. У одновыборочных критериев и корреляции поле называется просто Объём выборки — см. общий объём выборки.
• Направленность — проверяет ли критерий отклонение в обе стороны или только в предсказанную. Поле есть у t-критериев, корреляции и критериев долей. Варианты сформулированы для каждого критерия по-своему: Группа 1 и Группа 2 у двухгрупповых, μ и μ₀ у одновыборочного t-критерия, ρ у корреляции, p и p₀ у одновыборочного критерия доли — см. односторонний критерий.
• Двусторонний — по умолчанию: Двусторонний (Группа 1 ≠ Группа 2) и соответствующие варианты других критериев. Засчитывается эффект в любую сторону, но ценой большей выборки — см. двусторонний критерий.
• Односторонний (больше) — Односторонний (Группа 1 > Группа 2) и соответствующие варианты: засчитывается только эффект в названном направлении (большее первое среднее, μ выше μ₀, положительная ρ, p выше p₀), поэтому выборка нужна меньше, но эффект в обратную сторону будет пропущен — см. односторонний критерий.
• Односторонний (меньше) — Односторонний (Группа 1 < Группа 2) и соответствующие варианты: то же в противоположном направлении.
• Количество групп — для однофакторного дисперсионного анализа: сколько групповых средних сравнивается, по умолчанию 3. Общий объём в результате равен n на группу, умноженному на число групп.
• df числителя (эффект) — для многофакторного дисперсионного анализа: степени свободы планируемого эффекта (число уровней фактора минус один, а для взаимодействия — произведение таких чисел), по умолчанию 2.
• df знаменателя (ошибка) — для многофакторного дисперсионного анализа: степени свободы ошибки плана, по умолчанию 100. Они заменяют объём выборки: именно их возвращает поиск объёма и именно их перебирают таблица чувствительности и графики, поскольку структура ячеек плана здесь не вводится.
• Количество предикторов — для множественной регрессии: сколько предикторов в модели, по умолчанию 3. Общий объём выборки равен df ошибки плюс число предикторов плюс один.
• Степени свободы — для критериев хи-квадрат, по умолчанию 3: число категорий минус 1 для критерия согласия и (строки − 1) × (столбцы − 1) для критерия независимости, как напоминает подсказка под полем.

Нажмите Рассчитать, чтобы выполнить расчёт.

Результаты анализа мощности #

• Результат — ответ в выделенной рамке. При поиске объёма выборки он выглядит как Необходимый объём выборки: 64 (Итого: 128): число на группу, округлённое вверх, а для двухгрупповых критериев и однофакторного дисперсионного анализа ещё и общий объём в скобках. Для многофакторного дисперсионного анализа ответ — Необходимые df знаменателя (ошибка). При поиске мощности в рамке стоит Достигнутая мощность, при поиске эффекта — Минимально обнаруживаемый эффект.
• Использованные параметры — все входные значения расчёта, причём искомая величина приведена без округления.
• Анализ чувствительности — фактическая мощность критерия при 50, 75, 100, 125 и 150% опорного объёма выборки (рассчитанного при поиске объёма, введённого в остальных случаях). Каждое значение пересчитывается заново, а не интерполируется. Таблица показывает цену ошибки в исходных допущениях: если уже при трёх четвертях выборки мощность падает до 0.5, план ненадёжен — см. насколько надёжен ответ.
• Показать кривую мощности — график мощности в зависимости от объёма выборки при введённых эффекте и α, примерно от пятой части опорного объёма до точки, где кривая достигает 0.99. Зелёное пунктирное перекрестие отмечает рассчитанный результат, а при наведении курсора на кривую видна мощность при любом объёме. Ось X подписана той величиной, которой пользуется критерий: объём на группу, число пар, общий объём или df ошибки для многофакторного дисперсионного анализа. Если для заданных параметров не удалось рассчитать ни одной точки, об этом сообщается в области графика — см. кривая мощности.
• Показать тепловую карту чувствительности — сетка значений мощности: семь объёмов выборки (от 0.4 до 3 опорных) на шесть размеров эффекта (от 0.4 до 2 введённых). Каждая ячейка окрашена по последовательной синей шкале, и мощность напечатана внутри. Ячейка, которую не удалось рассчитать, серая, с прочерком. Карта показывает цену не только недобранной выборки, но и слишком оптимистичной оценки эффекта.

Оба графика можно растягивать, и у каждого есть кнопки экспорта SVG / PNG / JPG (см. изменение размера и экспорт графиков).

• Справка: условные значения размера эффекта — карточка, показанная до первого расчёта: малый, средний и большой ориентиры Коэна для пяти мер, которыми пользуются критерии — см. ориентиры Коэна.

• Мера — мера размера эффекта в строке. В справке это мера, чьи ориентиры приведены, в таблице конвертера — та, в которую пересчитано значение.
• Малый — ориентир Коэна для малого эффекта в шкале каждой меры. Эффект ниже этого ориентира конвертер считает пренебрежимым.
• Средний — ориентир Коэна для среднего эффекта. Каждое поле размера эффекта открывается с этим значением.
• Большой — ориентир Коэна для большого эффекта. Всё, что не меньше этого ориентира, конвертер считает большим эффектом.

Конвертер размеров эффекта #

Пересчитывает один размер эффекта во все остальные поддерживаемые меры — например, когда статья приводит отношение шансов, а анализу мощности нужен d Коэна. Все пересчёты идут через d Коэна как общую опорную меру, поэтому две меры, отличные от d, связаны через промежуточный шаг, а в строке введённой меры стоит ровно то значение, которое вы набрали.

Параметры конвертера #

• Тип исходного размера эффекта — мера, в которой задано значение, одна из пятнадцати. У каждой меры свой допустимый диапазон: значение вне его отклоняется с сообщением, где этот диапазон назван, и таблица не заполняется прочерками. При смене меры границы самого поля меняются вслед за ней.
• d Коэна — стандартизованная разность средних. Эта мера выбрана по умолчанию, сама служит опорной и допускает любое значение — см. d Коэна.
• g Хеджеса — d с поправкой на малую выборку. Для этой меры нужен общий объём выборки не меньше 6 — см. g Хеджеса.
• Корреляция r — строго между −1 и 1 — см. r.
• R-квадрат (R²) — доля объяснённой дисперсии, не меньше 0 и меньше 1 — см. r².
• Эта-квадрат (η²) — доля дисперсии, объяснённая фактором, не меньше 0 и меньше 1 — см. η².
• Частичная η² — тот же диапазон. Пересчитывается она так же, как η², поскольку одно значение d описывает один фактор — см. частичная η².
• Омега-квадрат (ω²) — тот же диапазон, пересчитывается как η². Эта мера принимается на входе, но собственной строки в выводе не имеет — см. ω².
• f Коэна — не меньше 0 — см. f Коэна.
• f² Коэна — не меньше 0 — см. f² Коэна.
• w Коэна — не меньше 0 и меньше 1 — см. w Коэна.
• h Коэна — от 0 до π, принимается как величина в шкале d — см. h Коэна.
• V Крамера — не меньше 0 и меньше 1, и нужна размерность таблицы. Чем шире таблица, тем ниже верхняя граница, и значение V на границе или выше отклоняется с указанием этой границы — см. V Крамера.
• Отношение шансов — больше 0. Значения 0.5 и 2 означают эффект одной величины — см. отношение шансов.
• CLES — общеязыковой размер эффекта (common language effect size): вероятность того, что случайное наблюдение из одной группы окажется больше случайного наблюдения из другой. Значение лежит строго между 0 и 1 — см. общеязыковой размер эффекта.
• NNT — число больных, которых необходимо лечить (number needed to treat), больше 0. Нужна частота событий в контроле, а NNT, невозможное при этой частоте, помечается как недопустимое и не пересчитывается.
• Значение — число для пересчёта, в шкале выбранной выше меры, по умолчанию 0.50. В таблице результатов одноимённый столбец содержит тот же эффект в шкале меры каждой строки, причём у η² и частичной η² там одно и то же число: одно значение d описывает один фактор.
• Общий объём выборки (обе группы) — N, по которому рассчитан g Хеджеса, для обеих групп вместе, по умолчанию 30. От него зависит поправка между d и g, поэтому при пересчёте из g поле обязательно и должно быть не меньше 6, а в остальных случаях необязательно.
• Размерность таблицы (для V Крамера) — число строк и столбцов таблицы сопряжённости, оба не меньше 2. Поле обязательно при пересчёте из V Крамера, а без него в строке V выводится требует указания размеров таблицы.
• Доли (для h Коэна) — две доли p₁ и p₂, каждая от 0 до 1. Строка h в выводе вычисляется по ним, поскольку по одному d значение h не найти, а при пустых полях в ней стоит требует указания значений долей.
• Частота событий в контроле (для NNT) — частота событий в группе без лечения, по умолчанию 0.50, и то же значение берётся, если поле оставлено пустым. Если частота вне интервала (0, 1), в строке NNT стоит требует указания базовой частоты.

Нажмите Конвертировать, чтобы выполнить пересчёт.

Результаты конвертера #

• Конвертированные размеры эффекта — таблица из четырнадцати строк: введённая мера ровно с тем значением, которое вы набрали, и все остальные меры, выведенные из неё. Строка, для которой не заполнено дополнительное поле, показывает прочерк и называет, чего не хватает. Если значению вообще не соответствует никакой d Коэна, во всех строках стоит требует допустимого значения, а не ноль, который читался бы как отсутствие эффекта.
• Интерпретация — пренебрежимый, малый, средний или большой эффект. Границы берутся из того же реестра величин, что и на карточках результатов, поэтому число оценивается здесь так же, как на карточке, где оно получено, а значение, равное ориентиру Коэна, попадает на ту ступень, которую этот ориентир обозначает. Отношение шансов оценивается симметрично относительно 1, CLES — по удалённости от 0.5, V Крамера — по ориентирам для w, пересчитанным на размер таблицы, а NNT — по собственной шкале, где меньшее число означает более сильный эффект.

Планирование поправки на множественные сравнения #

Выводит скорректированные пороги отдельных проверок для семейства сравнений, чтобы поправку выбрать до проведения проверок, а не после того, как стали известны p-значения.

Зачем нужна поправка на множественные сравнения? Из двадцати проверок на уровне 0.05 в среднем одна окажется значимой просто случайно. Поправка снижает порог для каждой проверки, чтобы семейство в целом сохраняло заданную вероятность ошибки — см. поправку на множественные сравнения и настройку поправки p-значений, которая применяет поправку к результатам.

Параметры поправки #

• Число сравнений — сколько проверок входит в семейство, не меньше 2, по умолчанию 10.
• Семейный уровень альфа — вероятность ошибки, которую должно сохранять семейство в целом, по умолчанию 0.05 — см. групповая вероятность ошибки.

Нажмите Рассчитать пороги, чтобы выполнить расчёт.

Результаты поправки #

• Скорректированные пороги значимости — строка на каждый метод и три столбца порогов для p-значений трёх рангов: наименьшего p₍₁₎, среднего и наибольшего p₍ₘ₎, где m — число сравнений. Для процедуры Хоммеля строки нет: она отвергает гипотезы замкнутой процедурой проверки, а не сравнением с порогом ранга, поэтому столбца для неё не построить. Об этом сообщает примечание под таблицей.
• Метод — процедура поправки в строке. Методы Бонферрони и Шидака контролируют групповую вероятность ошибки одним постоянным порогом, методы Холма и Хохберга — порогом, который меняется с рангом, а оба метода Бенджамини вместо неё контролируют долю ложных открытий — см. групповая вероятность ошибки и доля ложных открытий.
• Порог для ранга i — уровень, ниже которого должно оказаться i-е по возрастанию p-значение, чтобы считаться значимым. Порог выводится для трёх рангов. У постоянного метода во всех столбцах одно и то же число, а последовательный метод сравнивает каждое p-значение с порогом его ранга (самым строгим для наименьшего p и самым мягким для наибольшего). Поэтому строка последовательного метода — это три точки одной лестницы, а не три варианта на выбор.
• Бонферрони — α ⁄ m для каждого ранга, просто и консервативно — см. поправка Бонферрони.
• Шидак — $1-{(1-\alpha )}^{1/m}$ для каждого ранга, чуть менее консервативно, чем поправка Бонферрони.
• Холм / Хохберг — $\alpha /(m-i+1)$ для ранга i. Строка одна, поскольку пороги у двух процедур одинаковы, а различаются они только направлением: нисходящий метод Холма начинает с наименьшего p-значения и останавливается на первом, не прошедшем порог, а восходящий метод Хохберга начинает с наибольшего и останавливается на первом прошедшем — см. метод Холма и метод Хохберга.
• Бенджамини — Хохберг (FDR) — $(i/m)\alpha$ для ранга i. Метод контролирует долю ложных открытий, а не групповую вероятность ошибки, мягче остальных и подходит для поисковых исследований — см. метод Бенджамини — Хохберга.
• Бенджамини — Екутели (BY) — порог Бенджамини — Хохберга, делённый на гармоническую сумму 1 + 1⁄2 + … + 1⁄m. Так гарантия сохраняется при любой зависимости между проверками, хотя и ценой мощности — см. метод Бенджамини — Екутели.

Планирование длины шкалы (формула Спирмена — Брауна) #

Прогнозирует надёжность шкалы в зависимости от числа пунктов по формуле Спирмена — Брауна и показывает, сколько пунктов нужно для целевой надёжности — см. формулу Спирмена — Брауна.

Параметры длины шкалы #

• Текущая надёжность — надёжность шкалы в нынешнем виде (α Кронбаха или ω Мак-Дональда из анализа надёжности), строго между 0 и 1, по умолчанию 0.70.
• Текущее число пунктов — сколько пунктов дали эту надёжность, не меньше 1, по умолчанию 10.
• Целевая надёжность — надёжность, которой нужно достичь, строго между 0 и 1, по умолчанию 0.80.

Нажмите Рассчитать необходимое число пунктов, чтобы выполнить расчёт.

Результаты по длине шкалы #

• Результаты по длине шкалы — необходимое число пунктов, округлённое вверх, и фраза о том, сколько пунктов добавить или убрать. Если текущая шкала уже достигает цели, об этом сказано прямо, а не как об изменении на ноль пунктов. Прогноз предполагает, что новые пункты не хуже нынешних.
• Надёжность по числу пунктов — прогнозируемая надёжность при половине текущей длины, текущей длине, полуторной, двойной и при необходимом числе пунктов, по возрастанию. Строка необходимого числа выделена и отмечена галочкой. Отдача убывает: каждый добавленный пункт уменьшает долю ошибки меньше, чем предыдущий — см. формулу Спирмена — Брауна.
• Пункты — число пунктов, для которого рассчитана строка прогноза. Строка с галочкой — необходимое число.
• Прогнозируемая надёжность — надёжность, которой достигла бы шкала из такого числа пунктов, если бы новые пункты были не хуже старых.

Ослабление корреляции #

Показывает, что ошибка измерения делает с корреляцией: насколько истинная корреляция уменьшается в данных, измеренных с ошибкой, или, в обратную сторону, какой была бы истинная корреляция при наблюдаемой — см. аттенуацию.

Параметры аттенуации #

• Направление — в какую сторону выполнять поправку.
• Аттенуация: истинная корреляция → наблюдаемая — по умолчанию: введите корреляцию, ожидаемую между конструктами, и узнайте, какую покажут ваши измерения.
• Дезаттенуация: наблюдаемая корреляция → истинная — введите наблюдаемую корреляцию и узнайте, какой она была бы между конструктами, измеренными без ошибки.
• Истинная/ожидаемая корреляция — при аттенуации: корреляция, ожидаемая между конструктами, от −1 до 1, по умолчанию 0.50.
• Наблюдаемая корреляция — то же поле при дезаттенуации: корреляция, полученная на данных, от −1 до 1.
• Надёжность меры X (α или ω) — коэффициент надёжности первой меры (α Кронбаха или ω Мак-Дональда из анализа надёжности) в интервале (0, 1], по умолчанию 0.80.
• Надёжность меры Y (α или ω) — то же для второй меры, по умолчанию 0.80.

Нажмите Рассчитать, чтобы выполнить расчёт.

Результаты аттенуации #

• Результаты аттенуации — скорректированная корреляция, коэффициент аттенуации и поясняющая их фраза.
• Коэффициент аттенуации — квадратный корень из произведения двух надёжностей, то есть доля истинной корреляции, которая сохраняется после измерения. Две меры с надёжностью 0.80 сохраняют 0.80 её величины.
• Ожидаемая наблюдаемая корреляция — истинная корреляция, умноженная на коэффициент: то, что покажут данные.
• Оценка истинной корреляции — наблюдаемая корреляция, делённая на коэффициент. Оценка вне [−1, 1] выделяется красным, а не обрезается: введённые надёжности слишком низки, чтобы дать наблюдаемую корреляцию, так что хотя бы одна из них занижена.

Почему это важно для планирования: в данных будет ослабленная корреляция, поэтому анализ мощности нужно проводить по ней, а не по истинной — см. что влияет на мощность.

Планирование точности (ширина ДИ) #

Рассчитывает объём выборки не по мощности для обнаружения эффекта, а по нужной ширине доверительного интервала: задача здесь — «оценить среднее с точностью ± 2 балла», а не «обнаружить различие».

Мощность или точность? Анализ мощности отвечает на вопрос, можно ли обнаружить эффект, а планирование точности — насколько точно можно оценить величину. Описательное исследование (распространённость, средний балл, сила корреляции) планируют по точности — см. планирование точности.

Параметры планирования точности #

• Тип оценки — оцениваемая величина. От выбора зависит поле для ожидаемого значения.
• Среднее значение — выбрано по умолчанию. Для него нужно ожидаемое стандартное отклонение.
• Доля — доля или частота события. Для неё нужна ожидаемая доля.
• Корреляция — корреляция Пирсона. Для неё нужна ожидаемая корреляция.
• Уровень доверия — 90, 95 (по умолчанию) или 99%. Чем выше уровень, тем шире интервал, поэтому та же погрешность требует большей выборки — см. уровень доверия.
• Ожидаемое стандартное отклонение — для среднего: разброс переменной по пилотным данным или литературе, по умолчанию 1.0 — см. ожидаемое стандартное отклонение.
• Ожидаемая доля — для доли: ожидаемое значение, строго между 0 и 1, по умолчанию 0.50. Это самый осторожный выбор: при такой доле интервал шире всего, поэтому полученной выборки хватит для любой доли — см. ожидаемая доля.
• Ожидаемая корреляция — для корреляции: ожидаемый коэффициент, строго между −1 и 1, по умолчанию 0.30. Чем сильнее корреляция, тем меньше наблюдений нужно, чтобы точно её оценить — см. ожидаемая корреляция.
• Желаемая погрешность (±) — допустимая полуширина интервала в единицах оценки, то есть число после «±» в отчёте. По умолчанию 0.50 — см. погрешность.

Нажмите Рассчитать объём выборки, чтобы выполнить расчёт.

Результаты планирования точности #

• Результаты планирования точности — необходимый объём выборки, округлённый вверх, и фраза с уровнем доверия и погрешностью, которые он обеспечивает. Для корреляции объём ищется перебором с верхней границей, и погрешность, которой в этих пределах не достичь, помечается как недостижимая: об этом сказано в результате, а в затронутых строках таблицы стоит Недостижимо. Сама граница перебора за ответ не выдаётся.
• Объём выборки по погрешности — необходимый объём при шести погрешностях: половине введённой, трёх четвертях, целой, одной с четвертью, полутора и двойной. Строка введённой погрешности выделена и отмечена галочкой. Уменьшение погрешности вдвое примерно учетверяет выборку, и таблица делает этот размен наглядным — см. что задаёт ширину.
• Погрешность (±) — полуширина, для которой рассчитана строка. Соседний столбец Объём выборки показывает объём, при котором эта полуширина достигается.

Оптимизатор распределения по группам #

Показывает цену неравного деления в сравнении двух групп: мощность при ваших объёмах групп в сопоставлении с равным делением того же общего объёма и со стандартными соотношениями.

Параметры распределения #

• Размеры групп — n₁ и n₂, объёмы двух групп, каждый не меньше 2, по умолчанию оба равны 50. В таблице ниже одноимённые столбцы показывают деление в каждой строке.
• Размер эффекта (d Коэна) — ожидаемая стандартизованная разность между группами, больше 0, по умолчанию 0.50 — см. d Коэна.
• Уровень значимости (α) — как в анализе мощности, по умолчанию 0.05.

Нажмите Рассчитать мощность, чтобы выполнить расчёт.

Результаты распределения #

• Результаты распределения — мощность при введённом распределении, общий объём с n₁ и n₂ и одна строка: Равное распределение максимизирует мощность, если группы равны, а иначе — потеря мощности в процентных пунктах по сравнению с равным делением того же общего объёма — см. потерю мощности при неравном распределении.
• Общий N — сумма двух объёмов. Каждая строка таблицы делит именно этот общий объём.
• Мощность по соотношению групп — стандартные соотношения 1:1, 1:2, 2:1, 1:3, 3:1, 2:3 и 3:2, применённые к общему объёму, и введённое распределение отдельной строкой, если оно не совпадает ни с одним из них. Строки отсортированы по мощности. Введённая строка выделена синим и отмечена галочкой, равное деление — зелёным. Соотношение, при котором в одной из групп остаётся меньше двух наблюдений, мощности не имеет: в таких строках стоит Недоступно, и они идут в конце таблицы — см. соотношение групп и равное распределение.
• Соотношение — деление в строке в виде n₁ : n₂, в несократимой форме.

Когда оправдано неравное распределение: равные группы дают наибольшую мощность, но редкое заболевание или сложившийся школьный класс может задать деление заранее. Таблица показывает, во что обходится неравное деление, и обычно цена меньше ожидаемой — см. соотношение групп.

Контрольный список для отчёта #

Параметры анализа мощности и планирования исследования приводят в разделе Методы статьи, лучше всего в подразделе «Обоснование объёма выборки» или «Анализ мощности».

Для анализа мощности укажите:

• Критерий, под который планировалось исследование (например, t-критерий для независимых выборок)
• Целевую мощность (например, 0.80)
• Уровень значимости и направленность критерия (например, 0.05, двусторонний)
• Ожидаемый размер эффекта и его источник (предыдущие исследования, метаанализ, пилотное исследование, но не «средний эффект по Коэну» без обоснования)
• Полученный необходимый объём выборки
• Учтён ли отсев (например, «мы набирали N = 80 с учётом ожидаемого выбывания 20% участников»)

Для поправки на множественные сравнения укажите:

• Выбранный метод поправки и причину выбора (например, «метод Бенджамини — Хохберга для контроля доли ложных открытий на уровне 5%»)
• Число сравнений в семействе

Для планирования точности укажите:

• Целевую погрешность и уровень доверия
• Ожидаемую изменчивость (SD, долю или корреляцию) и её источник

Воспроизводимость #

Анализ мощности и оптимизатор распределения по группам выполняются в R с пакетом pwr, а планирование точности — в R на базовых функциях квантилей. Все три выводят свой код в консоль R, где команды можно изучить, скопировать или запустить заново. Конвертер размеров эффекта, планирование поправки, ослабление корреляции и планирование длины шкалы — простая арифметика, которая выполняется в браузере, поэтому в консоль они ничего не выводят. Каждый инструмент перечисляет использованные методы в блоке ссылок вверху раздела результатов: ориентиры мощности, на которых основаны значения по умолчанию; каждый пересчёт, который понадобился таблице (g Хеджеса, связи отношения шансов и CLES, частичная η², а V Крамера и NNT — только если вы ввели нужные им данные); все семь процедур множественных сравнений, которые называют таблица порогов и примечание к ней; z-преобразование Фишера в корреляционной ветви планирования точности; поправку на аттенуацию и формулу Спирмена — Брауна. Так этот список заодно фиксирует, на чём основаны ваши числа. Процедуры, стоящие за каждым инструментом (опорная мера, округление, верхние границы перебора, отказы), описаны в методических заметках.

Типичные ошибки #

«Мы взяли средний размер эффекта по Коэну» — не обоснование. Значения по умолчанию — условность, и исследование, рассчитанное на d = 0.50 в области, где эффекты порядка 0.20, пропустит большинство из них. Берите эффект из предыдущих работ или метаанализа и переводите его в меру критерия конвертером. Если опереться не на что, так и напишите и приведите таблицу чувствительности — см. ориентиры Коэна и наименьший интересующий размер эффекта.

Расчёт мощности задним числом. Мощность, вычисленная по эффекту, который получило завершённое исследование, ничего не добавляет к тому, что уже известно из p-значения. Незначимый результат описывают его доверительным интервалом и эффектом, на обнаружение которого был рассчитан план — см. наблюдаемую мощность.

Планирование по истинной корреляции. Если измерения ненадёжны, в данных будет ослабленная корреляция, и анализ мощности нужно проводить по ней, а найти её можно в разделе ослабления корреляции — см. аттенуацию.

Остановка на необходимом объёме. Это число нужно для анализа, но набирать надо больше: выбывшие участники и непригодные записи вычитаются из выборки. Поэтому разделите необходимый объём на единицу минус ожидаемая доля потерь и приведите оба числа — см. отсев.