Планировщик анализа #

Планировщик анализа — набор инструментов для планирования исследования, включающий шесть блоков: анализ мощности, конвертер размеров эффекта, планировщик поправки к уровню значимости, планирование надёжности и ослабления, планирование точности и оптимизатор распределения по группам. Каждый блок — раскрывающийся раздел; открывайте нужный.

Зачем планировать заранее? Проводить исследование без предварительного планирования объёма выборки, ожидаемого размера эффекта и стратегии работы со множественными сравнениями — всё равно что строить дом без проекта. Анализ мощности показывает, сколько нужно участников. Планировщик поправки — как обращаться с множественными тестами. Планирование надёжности — сколько пунктов нужно вашей шкале. Сделать это до сбора данных позволяет избежать двух самых распространённых проблем в исследованиях: недостаточно мощных работ, которые упускают реальные эффекты, и постфактумных объяснений неожиданных результатов.

Анализ мощности #

Определяет объём выборки, статистическую мощность или минимально обнаруживаемый размер эффекта для планируемого исследования.

Что такое статистическая мощность? Мощность — это вероятность того, что исследование обнаружит реальный эффект, если он существует. Мощность 0.80 означает 80%-й шанс получить значимый результат при наличии истинного эффекта — и 20%-й шанс его пропустить. Принятый ориентир — 0.80, хотя для дорогостоящих исследований или важных решений лучше стремиться к 0.90. Мощность зависит от трёх вещей: размера эффекта (крупные эффекты обнаружить легче), объёма выборки (больше данных — лучше) и уровня значимости (более строгая альфа требует больше доказательств).

Выбор критерия #

Выберите статистический критерий, который планируете использовать:

Метрика размера эффекта, поля параметров и подпись объёма выборки обновляются автоматически в зависимости от выбранного критерия.

Вычислить #

Выберите, какой параметр вычислять — остальные два задаются вручную:

• Объём выборки (по умолчанию) — «сколько участников мне нужно?»
• Мощность — «какова вероятность обнаружить эффект при данном объёме выборки?»
• Размер эффекта — «какой минимальный эффект я могу обнаружить при данном объёме выборки?»

Параметры #

Все критерии используют следующие основные поля:

• Размер эффекта — ожидаемая величина эффекта. Метрика меняется в зависимости от критерия (d Коэна для t-критериев, f Коэна для однофакторного дисперсионного анализа, r для корреляции, f² для регрессии и факторного дисперсионного анализа, w Коэна для хи-квадрат, h Коэна для долей). Значения по умолчанию соответствуют «средним» конвенциям Коэна.
• Уровень значимости (α) — по умолчанию 0.05
• Мощность (1 − β) — по умолчанию 0.80
• Объём выборки — подпись адаптируется к критерию («на группу», «число пар», «общий объём выборки» и т. д.)

Дополнительные поля для отдельных критериев:

• Стороны критерия (все t-критерии и корреляция Пирсона) — двусторонний (по умолчанию), односторонний (больше) или односторонний (меньше)
• Число групп (однофакторный дисперсионный анализ) — по умолчанию 3
• Ст.св. числителя / знаменателя (многофакторный дисперсионный анализ) — для задания эффекта и ошибки
• Число предикторов (регрессия) — по умолчанию 3
• Степени свободы (хи-квадрат) — подсказка показывает формулу: категории − 1 для критерия согласия, (строки − 1) × (столбцы − 1) для критерия независимости

Какой размер эффекта использовать? Не выбирайте «средний» только потому, что он стоит по умолчанию. Изучите предыдущие исследования в вашей области — лучший источник это метаанализы. Если данных нет, проведите небольшое пилотное исследование. Конвенции Коэна (малый / средний / крупный) — грубые ориентиры, а не нормативы. В одних областях d = 0.20 — значимый эффект, в других — шум.

Результаты #

После нажатия Вычислить:

1. Основной результат — выделенная рамка с ответом (например, «Требуемый объём выборки: 64 на группу (128 всего)»)
2. Использованные параметры — сводная таблица всех введённых значений
3. Анализ чувствительности — таблица, показывающая фактическую мощность (пересчитанную через pwr) при 50%, 75%, 100%, 125% и 150% от опорного объёма выборки. Опорным значением выступает рассчитанный N при поиске объёма выборки и введённый N в остальных режимах.

Всегда проверяйте анализ чувствительности. Ваша оценка размера эффекта — лишь оценка. Таблица показывает, что произойдёт, если она окажется неверной. Если мощность падает до 0.50 при 75% от расчётного N, ваше исследование ненадёжно — стоит ориентироваться на больший объём выборки.

Кривая мощности и тепловая карта чувствительности #

Рядом с результатами доступны три кнопки:

• Показать кривую мощности — строит интерактивный график зависимости мощности (ось Y) от объёма выборки (ось X). Зелёное перекрестие отмечает рассчитанный результат. Наводите курсор на кривую, чтобы увидеть мощность при любом объёме выборки.
• Показать тепловую карту чувствительности — отображает двумерную сетку мощности по диапазону объёмов выборки (ось X) и размеров эффекта (ось Y), привязанную к текущим значениям. В каждой ячейке — фактическая мощность, рассчитанная пакетом pwr, окрашенная по последовательной шкале (светлый = низкая мощность, тёмный = высокая); значение пишется внутри ячейки.
• Экспортировать кривую в PNG — сохраняет видимую кривую мощности в PNG с двукратным разрешением. Требуется, чтобы кривая была отображена.

Справочные значения #

До выполнения расчёта отображается карточка с конвенциями Коэна:

Конвертер размеров эффекта #

Преобразует одно значение размера эффекта во все остальные поддерживаемые метрики. Пригодится, когда в статье приведена одна метрика (например, отношение шансов), а для анализа мощности или сравнения нужна другая (например, d Коэна).

Ввод размера эффекта #

Выберите тип входного значения из 15 вариантов: d Коэна, g Хеджеса, корреляция r, R², эта-квадрат, частный эта-квадрат, омега-квадрат, f Коэна, f² Коэна, w Коэна, h Коэна, V Крамера, отношение шансов, CLES (общеязыковой размер эффекта), NNT (число необходимых для лечения).

При необходимости появляются дополнительные поля:

• Объём выборки — повышает точность для g Хеджеса (обязателен при конвертации из g)
• Размерность таблицы — обязателен для V Крамера
• Доли (p1, p2) — обязательны для h Коэна
• Степени свободы — обязательны для частного эта-квадрат как при вводе, так и при выводе; без них значение частной η² трактуется по формуле обычной η²
• Частота события в контрольной группе — обязательна для NNT

Как работает конвертер: все входные типы сначала преобразуются в d Коэна как промежуточную точку, затем из d — во все остальные метрики. Конвертация между двумя не-d метриками проходит через промежуточный шаг, что может вносить небольшие артефакты округления.

Вывод конвертера #

После нажатия Конвертировать таблица показывает каждую метрику с её значением и словесной интерпретацией (пренебрежимо малый, малый, средний или крупный) согласно конвенциям Коэна. Метрики, требующие дополнительных данных, которые не были введены, показывают прочерк.

Планировщик поправки к уровню значимости #

Показывает скорректированные пороги значимости для множественной проверки, чтобы вы могли спланировать поправку до проведения исследования.

Зачем корректировать при множественной проверке? Если проверить 20 гипотез при α = 0.05, можно ожидать одного ложноположительного результата по чистой случайности — даже если ни одного реального эффекта нет. Поправка корректирует порог, сдерживая это накопление ошибок. Вопрос в том, как корректировать. Этот инструмент показывает, что каждый метод делает с вашим пороговым значением для каждого теста, — чтобы вы могли принять взвешенное решение. См. также настройку поправки к p-значениям для применения поправок к реальным результатам.

Ввод поправки #

• Число сравнений — по умолчанию 10
• Семейный уровень альфа — по умолчанию 0.05

Вывод поправки #

После нажатия Вычислить пороги таблица показывает скорректированный порог p-значения для трёх рангов: наиболее значимое p-значение (p₍₁₎), среднеранговое и наименее значимое (p₍ₘ₎).

Чтение таблицы: последовательные методы (Холма, Хохберга, Бенджамини–Хохберга) сравнивают каждое p-значение с разным порогом в зависимости от его ранга. Таблица показывает, как выглядят эти пороги в трёх позициях. Наиболее значимое p-значение имеет самый строгий порог; наименее значимое — самый мягкий.

Планировщик надёжности и ослабления #

Два инструмента для планирования с учётом надёжности измерений.

Ослабление корреляции #

Показывает, как ненадёжность измерений ослабляет наблюдаемые корреляции.

Ввод:

• Истинная / ожидаемая корреляция — корреляция, которую вы ожидаете между конструктами (должна лежать в [−1, 1]; по умолчанию 0.50)
• Надёжность меры X — α Кронбаха или омега (должна лежать в (0, 1]; по умолчанию 0.80)
• Надёжность меры Y — (должна лежать в (0, 1]; по умолчанию 0.80)

Вывод: ожидаемая наблюдаемая (ослабленная) корреляция, коэффициент ослабления и объяснение на понятном языке.

Почему это важно для планирования: если надёжность ваших мер составляет 0.70, истинная корреляция r = 0.50 проявится в данных примерно как r = 0.35. Это значит, что для её обнаружения потребуется больший объём выборки — анализ мощности следует проводить по ослабленной корреляции, а не по истинной. Этот инструмент помогает увидеть разрыв между ними.

Планирование длины шкалы (формула Спирмена–Брауна) #

Оценивает, как добавление или удаление пунктов меняет надёжность шкалы.

Ввод:

• Текущая надёжность — строго между 0 и 1 (по умолчанию 0.70)
• Текущее число пунктов — не менее 1 (по умолчанию 10)
• Целевая надёжность — строго между 0 и 1 (по умолчанию 0.80)

Вывод: требуемое число пунктов, нужно ли их добавить или убрать (и сколько), а также таблица с прогнозируемой надёжностью при нескольких вариантах длины шкалы (половина, текущая, 1.5×, 2× и целевая). Целевая строка выделяется.

Убывающая отдача: удвоение числа пунктов в шкале из 10 с α = 0.70 поднимет надёжность примерно до 0.82 — хороший прирост. Но увеличение с 20 до 40 пунктов даст лишь рост с 0.82 до 0.90. Каждый дополнительный пункт вносит всё меньший вклад. В какой-то момент длинный опросник вызывает усталость у респондентов, что снижает качество данных. Ищите оптимальный баланс.

Планирование точности (ширина ДИ) #

Определяет объём выборки исходя из требуемой точности оценки, а не из мощности критериев. Используется, когда цель — «оценить среднее с точностью ±2 балла», а не «обнаружить значимое различие».

Мощность и точность: анализ мощности отвечает на вопрос «смогу ли я обнаружить эффект?» Планирование точности — «смогу ли я точно оценить значение?» Они отвечают на разные вопросы и могут давать разный объём выборки. Если ваше исследование описательное (распространённость, средние баллы, сила корреляции), планирование точности — более подходящий инструмент.

Ввод точности #

• Тип оценки — Среднее (по умолчанию), Доля или Корреляция
  • Среднее: введите ожидаемое СО (по умолчанию 1.0 — из пилотного исследования или литературы)
  • Доля: введите ожидаемую долю (по умолчанию 0.50 — наиболее консервативный вариант, дающий максимальную дисперсию)
  • Корреляция: введите ожидаемую корреляцию (по умолчанию 0.30)
• Уровень доверия — 90%, 95% (по умолчанию) или 99%
• Желаемая погрешность — полуширина доверительного интервала (по умолчанию 0.50)

Вывод точности #

После нажатия Вычислить объём выборки:

• Требуемый объём выборки
• Описание свойств полученного ДИ
• Таблица с требуемым N при шести значениях погрешности (0.5×, 0.75×, 1×, 1.25×, 1.5× и 2× от введённого значения). Введённое значение выделяется.

Зачем нужна таблица: уменьшение погрешности вдвое примерно учетверяет требуемый объём выборки. Таблица делает этот компромисс наглядным — возможно, погрешность ±0.75 окажется достаточной, тогда как ±0.50 потребует вчетверо больше участников.

Оптимизатор распределения по группам #

Исследует, как неравный размер групп влияет на мощность при сравнении двух групп.

Ввод распределения #

• Объёмы групп (n1, n2) — оба по умолчанию 50
• Размер эффекта (d Коэна) — по умолчанию 0.50
• Уровень значимости (α) — по умолчанию 0.05

Вывод распределения #

После нажатия Вычислить мощность:

• Достигнутая мощность при заданном распределении
• Общее N и разбивка n1/n2
• При равных группах: примечание, подтверждающее оптимальность такого распределения
• При неравных группах: потеря мощности по сравнению с равным распределением в процентах

Таблица Мощность по соотношению групп сравнивает стандартные соотношения (1:1, 1:2, 2:1, 1:3, 3:1, 2:3, 3:2) при одном и том же общем N. Строка с равным распределением выделяется зелёным; текущее распределение — синим. Строки отсортированы по убыванию мощности.

Когда оправдано неравное распределение: равные группы всегда максимизируют статистическую мощность, но практические ограничения нередко делают равенство невозможным. В клинических исследованиях набрать пациентов с редкой патологией сложнее, чем здоровых участников контрольной группы. В педагогических исследованиях классы имеют фиксированный состав. Этот инструмент показывает, насколько именно падает мощность — как правило, меньше, чем кажется. Соотношение 2:1 при N = 90 (60 против 30) обычно теряет лишь 1–3% мощности по сравнению с 45 против 45.

Контрольный список для отчёта #

Параметры анализа мощности и планирования исследования следует указывать в разделе Метод статьи, в идеале в подразделе «Определение объёма выборки» или «Анализ мощности».

Для анализа мощности укажите:

• Статистический критерий, для которого проводилось планирование (например, t-критерий для независимых выборок)
• Целевую мощность (например, 0.80)
• Уровень значимости (например, 0.05, одно- или двусторонний)
• Ожидаемый размер эффекта и его источник (предыдущие исследования, метаанализ, пилотное исследование — но не просто «средний по Коэну» без обоснования)
• Полученный требуемый объём выборки
• Учитывался ли отсев (например, «мы планировали набрать N = 80 с учётом ожидаемого 20% выбытия участников»)

Для поправки к уровню значимости укажите:

• Выбранный метод поправки и его обоснование (например, «Бенджамини–Хохберга для контроля частоты ложных открытий на уровне 5%»)
• Число сравнений в семействе

Для планирования точности укажите:

• Целевую погрешность и уровень доверия
• Ожидаемую изменчивость (СО, долю или корреляцию) и её источник

«Мы использовали средний размер эффекта по Коэну» — не является обоснованием. Рецензенты всё чаще ожидают содержательного объяснения: какой размер эффекта значим именно в вашем контексте? Обратитесь к предыдущим исследованиям, метаанализам или воспользуйтесь конвертером размеров эффекта для перевода между метриками. Если предыдущих данных нет, честно укажите это и приведите анализ чувствительности, показывающий мощность для диапазона правдоподобных размеров эффекта.

Воспроизводимость #

Расчёты мощности используют пакет R pwr. R-код каждого расчёта выводится в консоль R. Не забудьте включить ссылку в список литературы:

Champely S (2023). pwr: Basic Functions for Power Analysis. R package version 1.3-0, https://doi.org/10.32614/CRAN.package.pwr.