Планировщик анализа #

Планировщик анализа — набор инструментов для планирования исследования, включающий шесть блоков: анализ мощности, конвертер размеров эффекта, планировщик поправки к уровню значимости, планирование надёжности и ослабления, планирование точности и оптимизатор распределения по группам. Каждый блок — раскрывающийся раздел; открывайте нужный.

Зачем планировать заранее? Проводить исследование без предварительного планирования объёма выборки, ожидаемого размера эффекта и стратегии работы со множественными сравнениями — всё равно что строить дом без проекта. Анализ мощности показывает, сколько нужно участников. Планировщик поправки — как обращаться с множественными тестами. Планирование надёжности — сколько пунктов нужно вашей шкале. Сделать это до сбора данных позволяет избежать двух самых распространённых проблем в исследованиях: недостаточно мощных работ, которые упускают реальные эффекты, и постфактумных объяснений неожиданных результатов.

Анализ мощности #

Определяет объём выборки, статистическую мощность или минимально обнаруживаемый размер эффекта для планируемого исследования.

Что такое статистическая мощность? Мощность — это вероятность того, что исследование обнаружит реальный эффект, если он существует. Мощность 0.80 означает 80%-й шанс получить значимый результат при наличии истинного эффекта — и 20%-й шанс его пропустить. Принятый ориентир — 0.80, хотя для дорогостоящих исследований или важных решений лучше стремиться к 0.90. Мощность зависит от трёх вещей: размера эффекта (крупные эффекты обнаружить легче), объёма выборки (больше данных — лучше) и уровня значимости (более строгая альфа требует больше доказательств).

Выбор критерия #

Выберите статистический критерий, который планируете использовать:

Метрика размера эффекта, поля параметров и подпись объёма выборки обновляются автоматически в зависимости от выбранного критерия.

Вычислить #

Выберите, какой параметр вычислять — остальные два задаются вручную:

• Объём выборки (по умолчанию) — «сколько участников мне нужно?»
• Мощность — «какова вероятность обнаружить эффект при данном объёме выборки?»
• Размер эффекта — «какой минимальный эффект я могу обнаружить при данном объёме выборки?»

Параметры #

Все критерии используют следующие основные поля:

• Размер эффекта — ожидаемая величина эффекта. Метрика меняется в зависимости от критерия (d Коэна для t-критериев, f Коэна для однофакторного дисперсионного анализа, r для корреляции, f² для регрессии и факторного дисперсионного анализа, w Коэна для хи-квадрат, h Коэна для долей). Значения по умолчанию соответствуют «средним» конвенциям Коэна.
• Уровень значимости (α) — по умолчанию 0.05
• Мощность (1 − β) — по умолчанию 0.80
• Объём выборки — подпись адаптируется к критерию («на группу», «число пар», «общий объём выборки» и т. д.)

Дополнительные поля для отдельных критериев:

• Стороны критерия (одновыборочный t-критерий) — двусторонний, односторонний (больше) или односторонний (меньше)
• Число групп (однофакторный дисперсионный анализ) — по умолчанию 3
• Ст.св. числителя / знаменателя (многофакторный дисперсионный анализ) — для задания эффекта и ошибки
• Число предикторов (регрессия) — по умолчанию 3
• Степени свободы (хи-квадрат) — подсказка показывает формулу: категории − 1 для критерия согласия, (строки − 1) × (столбцы − 1) для критерия независимости

Какой размер эффекта использовать? Не выбирайте «средний» только потому, что он стоит по умолчанию. Изучите предыдущие исследования в вашей области — лучший источник это метаанализы. Если данных нет, проведите небольшое пилотное исследование. Конвенции Коэна (малый / средний / крупный) — грубые ориентиры, а не нормативы. В одних областях d = 0.20 — значимый эффект, в других — шум.

Результаты #

После нажатия Вычислить:

1. Основной результат — выделенная рамка с ответом (например, «Требуемый объём выборки: 64 на группу (128 всего)»)
2. Использованные параметры — сводная таблица всех введённых значений
3. Анализ чувствительности — таблица, показывающая, как меняется результат. При вычислении объёма выборки — мощность при 50%, 75%, 100%, 125% и 150% от полученного N. При вычислении мощности — варьируется размер эффекта. При вычислении размера эффекта — варьируется объём выборки.

Всегда проверяйте анализ чувствительности. Ваша оценка размера эффекта — лишь оценка. Таблица показывает, что произойдёт, если она окажется неверной. Если мощность падает до 0.50 при 75% от расчётного N, ваше исследование ненадёжно — стоит ориентироваться на больший объём выборки.

Кривая мощности #

Нажмите Показать кривую мощности, чтобы построить интерактивный график зависимости мощности (ось Y) от объёма выборки (ось X). Зелёное перекрестие отмечает рассчитанный результат. Наводите курсор на кривую, чтобы увидеть мощность при любом объёме выборки.

Справочные значения #

До выполнения расчёта отображается карточка с конвенциями Коэна:

Конвертер размеров эффекта #

Преобразует одно значение размера эффекта во все остальные поддерживаемые метрики. Пригодится, когда в статье приведена одна метрика (например, отношение шансов), а для анализа мощности или сравнения нужна другая (например, d Коэна).

Ввод размера эффекта #

Выберите тип входного значения из 15 вариантов: d Коэна, g Хеджеса, корреляция r, R², эта-квадрат, частный эта-квадрат, омега-квадрат, f Коэна, f² Коэна, w Коэна, h Коэна, V Крамера, отношение шансов, CLES (общеязыковой размер эффекта), NNT (число необходимых для лечения).

При необходимости появляются дополнительные поля:

• Объём выборки — повышает точность для g Хеджеса (обязателен при конвертации из g)
• Размерность таблицы — обязателен для V Крамера
• Доли (p1, p2) — обязательны для h Коэна
• Степени свободы — обязательны для частного эта-квадрат
• Частота события в контрольной группе — обязательна для NNT

Как работает конвертер: все входные типы сначала преобразуются в d Коэна как промежуточную точку, затем из d — во все остальные метрики. Конвертация между двумя не-d метриками проходит через промежуточный шаг, что может вносить небольшие артефакты округления.

Вывод конвертера #

После нажатия Конвертировать таблица показывает каждую метрику с её значением и словесной интерпретацией (пренебрежимо малый, малый, средний или крупный) согласно конвенциям Коэна. Метрики, требующие дополнительных данных, которые не были введены, показывают прочерк.

Планировщик поправки к уровню значимости #

Показывает скорректированные пороги значимости для множественной проверки, чтобы вы могли спланировать поправку до проведения исследования.

Зачем корректировать при множественной проверке? Если проверить 20 гипотез при α = 0.05, можно ожидать одного ложноположительного результата по чистой случайности — даже если ни одного реального эффекта нет. Поправка корректирует порог, сдерживая это накопление ошибок. Вопрос в том, как корректировать. Этот инструмент показывает, что каждый метод делает с вашим пороговым значением для каждого теста, — чтобы вы могли принять взвешенное решение. См. также настройку поправки к p-значениям для применения поправок к реальным результатам.

Ввод поправки #

• Число сравнений — по умолчанию 10
• Семейный уровень альфа — по умолчанию 0.05

Вывод поправки #

После нажатия Вычислить пороги таблица показывает скорректированный порог p-значения для трёх рангов: наиболее значимое p-значение (p₍₁₎), среднеранговое и наименее значимое (p₍ₘ₎).

Чтение таблицы: последовательные методы (Холма, Хохберга, Бенджамини–Хохберга) сравнивают каждое p-значение с разным порогом в зависимости от его ранга. Таблица показывает, как выглядят эти пороги в трёх позициях. Наиболее значимое p-значение имеет самый строгий порог; наименее значимое — самый мягкий.

Планировщик надёжности и ослабления #

Два инструмента для планирования с учётом надёжности измерений.

Ослабление корреляции #

Показывает, как ненадёжность измерений ослабляет наблюдаемые корреляции.

Ввод:

• Истинная / ожидаемая корреляция — корреляция, которую вы ожидаете между конструктами (по умолчанию 0.50)
• Надёжность меры X — α Кронбаха или омега (по умолчанию 0.80)
• Надёжность меры Y — (по умолчанию 0.80)

Вывод: ожидаемая наблюдаемая (ослабленная) корреляция, коэффициент ослабления и объяснение на понятном языке.

Почему это важно для планирования: если надёжность ваших мер составляет 0.70, истинная корреляция r = 0.50 проявится в данных примерно как r = 0.35. Это значит, что для её обнаружения потребуется больший объём выборки — анализ мощности следует проводить по ослабленной корреляции, а не по истинной. Этот инструмент помогает увидеть разрыв между ними.

Планирование длины шкалы (формула Спирмена–Брауна) #

Оценивает, как добавление или удаление пунктов меняет надёжность шкалы.

Ввод:

• Текущая надёжность — по умолчанию 0.70
• Текущее число пунктов — по умолчанию 10
• Целевая надёжность — по умолчанию 0.80

Вывод: требуемое число пунктов, нужно ли их добавить или убрать (и сколько), а также таблица с прогнозируемой надёжностью при нескольких вариантах длины шкалы (половина, текущая, 1.5×, 2× и целевая). Целевая строка выделяется.

Убывающая отдача: удвоение числа пунктов в шкале из 10 с α = 0.70 поднимет надёжность примерно до 0.82 — хороший прирост. Но увеличение с 20 до 40 пунктов даст лишь рост с 0.82 до 0.90. Каждый дополнительный пункт вносит всё меньший вклад. В какой-то момент длинный опросник вызывает усталость у респондентов, что снижает качество данных. Ищите оптимальный баланс.

Планирование точности (ширина ДИ) #

Определяет объём выборки исходя из требуемой точности оценки, а не из мощности критериев. Используется, когда цель — «оценить среднее с точностью ±2 балла», а не «обнаружить значимое различие».

Мощность и точность: анализ мощности отвечает на вопрос «смогу ли я обнаружить эффект?» Планирование точности — «смогу ли я точно оценить значение?» Они отвечают на разные вопросы и могут давать разный объём выборки. Если ваше исследование описательное (распространённость, средние баллы, сила корреляции), планирование точности — более подходящий инструмент.

Ввод точности #

• Тип оценки — Среднее (по умолчанию), Доля или Корреляция
  • Среднее: введите ожидаемое СО (по умолчанию 1.0 — из пилотного исследования или литературы)
  • Доля: введите ожидаемую долю (по умолчанию 0.50 — наиболее консервативный вариант, дающий максимальную дисперсию)
  • Корреляция: введите ожидаемую корреляцию (по умолчанию 0.30)
• Уровень доверия — 90%, 95% (по умолчанию) или 99%
• Желаемая погрешность — полуширина доверительного интервала (по умолчанию 0.50)

Вывод точности #

После нажатия Вычислить объём выборки:

• Требуемый объём выборки
• Описание свойств полученного ДИ
• Таблица с требуемым N при шести значениях погрешности (0.5×, 0.75×, 1×, 1.25×, 1.5× и 2× от введённого значения). Введённое значение выделяется.

Зачем нужна таблица: уменьшение погрешности вдвое примерно учетверяет требуемый объём выборки. Таблица делает этот компромисс наглядным — возможно, погрешность ±0.75 окажется достаточной, тогда как ±0.50 потребует вчетверо больше участников.

Оптимизатор распределения по группам #

Исследует, как неравный размер групп влияет на мощность при сравнении двух групп.

Ввод распределения #

• Объёмы групп (n1, n2) — оба по умолчанию 50
• Размер эффекта (d Коэна) — по умолчанию 0.50
• Уровень значимости (α) — по умолчанию 0.05

Вывод распределения #

После нажатия Вычислить мощность:

• Достигнутая мощность при заданном распределении
• Общее N и разбивка n1/n2
• При равных группах: примечание, подтверждающее оптимальность такого распределения
• При неравных группах: потеря мощности по сравнению с равным распределением в процентах

Таблица Мощность по соотношению групп сравнивает стандартные соотношения (1:1, 1:2, 2:1, 1:3, 3:1, 2:3, 3:2) при одном и том же общем N. Строка с равным распределением выделяется зелёным; текущее распределение — синим. Строки отсортированы по убыванию мощности.

Когда оправдано неравное распределение: равные группы всегда максимизируют статистическую мощность, но практические ограничения нередко делают равенство невозможным. В клинических исследованиях набрать пациентов с редкой патологией сложнее, чем здоровых участников контрольной группы. В педагогических исследованиях классы имеют фиксированный состав. Этот инструмент показывает, насколько именно падает мощность — как правило, меньше, чем кажется. Соотношение 2:1 при N = 90 (60 против 30) обычно теряет лишь 1–3% мощности по сравнению с 45 против 45.

Контрольный список для отчёта #

Параметры анализа мощности и планирования исследования следует указывать в разделе Метод статьи, в идеале в подразделе «Определение объёма выборки» или «Анализ мощности».

Для анализа мощности укажите:

• Статистический критерий, для которого проводилось планирование (например, t-критерий для независимых выборок)
• Целевую мощность (например, 0.80)
• Уровень значимости (например, 0.05, одно- или двусторонний)
• Ожидаемый размер эффекта и его источник (предыдущие исследования, метаанализ, пилотное исследование — но не просто «средний по Коэну» без обоснования)
• Полученный требуемый объём выборки
• Учитывался ли отсев (например, «мы планировали набрать N = 80 с учётом ожидаемого 20% выбытия участников»)

Для поправки к уровню значимости укажите:

• Выбранный метод поправки и его обоснование (например, «Бенджамини–Хохберга для контроля частоты ложных открытий на уровне 5%»)
• Число сравнений в семействе

Для планирования точности укажите:

• Целевую погрешность и уровень доверия
• Ожидаемую изменчивость (СО, долю или корреляцию) и её источник

«Мы использовали средний размер эффекта по Коэну» — не является обоснованием. Рецензенты всё чаще ожидают содержательного объяснения: какой размер эффекта значим именно в вашем контексте? Обратитесь к предыдущим исследованиям, метаанализам или воспользуйтесь конвертером размеров эффекта для перевода между метриками. Если предыдущих данных нет, честно укажите это и приведите анализ чувствительности, показывающий мощность для диапазона правдоподобных размеров эффекта.

Воспроизводимость #

Расчёты мощности используют пакет R pwr. R-код каждого расчёта выводится в консоль R. Не забудьте включить ссылку в список литературы:

Champely S (2023). pwr: Basic Functions for Power Analysis. R package version 1.3-0, https://doi.org/10.32614/CRAN.package.pwr.