Метаанализ #

Модуль Метаанализ объединяет результаты нескольких исследований в одну оценку. Таблицу исследований он принимает в том виде, в каком её оставило извлечение данных: готовые эффекты, средние и SD групп, числа событий 2×2, корреляции или смешанную таблицу, где каждая строка содержит что-то своё. Каждая строка пересчитывается в размер эффекта с выборочной дисперсией, после чего подгоняются модели с фиксированным и случайными эффектами. Карточка выводит статистики гетерогенности, лесовидную диаграмму, модели подгрупп и метарегрессии, критерии эффектов малых исследований и диагностику влияния.

Что такое метаанализ? Это среднее оценок нескольких исследований, взвешенное по их точности, со своим интервалом и мерой того, насколько исследования расходятся, — см. метаанализ.

1. Загрузите таблицу исследований (по строке на исследование или на результат) или начните с шаблона таблицы для извлечения данных, и модуль сам определит её формат
2. Проверьте роли столбцов и панель «Строки исследований»: она показывает, во что пересчитывается каждая строка
3. Выберите меру эффекта и параметры модели
4. При необходимости добавьте модераторы и решите, как поступить с исследованиями, которые дают несколько строк
5. Нажмите Рассчитать

Таблица исследований #

Метаанализ устроен иначе, чем остальные модули: столбцы он читает по ролям, а не по выбору. При загрузке карточка Данные исследований сравнивает имена столбцов с ролями каждого известного формата таблицы (n1, n_treat, mean_control, sd2, events_1, ci_lower, yi, r, t, p и десятки похожих написаний) и берёт первый по списку ниже формат, все роли которого легли на разные столбцы. Если формат совпал по именам, но одна из его ролей попала на текстовый столбец, модуль так и сообщает, называя столбцы, а не переходит без предупреждения к следующему формату. Строка определения называет формат, число пригодных строк и меры, которые из него можно получить: Определено означает, что приложение прочитало таблицу само, Определено, роли изменены — что вы поменяли роль, Задано вручную — что формат выбран вами. Определить заново по именам столбцов отменяет все ручные изменения. Если победил фиксированный формат, а смешанный прочитал бы больше строк, строка определения называет их число.

• Формат таблицы исследований — как читается таблица. Формат определяется по именам столбцов, но его можно сменить. Каждый формат называет читаемые им столбцы (его роли, по выпадающему списку на каждую под этим полем) и меры, которые из него можно получить. Готовые форматы стоят выше групповых, поэтому таблица, где уже есть эффект и его дисперсия, никогда не пересчитывается по случайно соседствующим столбцам групп. Смешанный формат стоит последним и единственный разрешается частично, так что выбирается он только тогда, когда таблицу не читает ни один фиксированный формат

Одиннадцать форматов в порядке проверки:

• Готовые эффекты с выборочными дисперсиями — оценка эффекта и её выборочная дисперсия в каждой строке, в шкале анализа: логарифм отношения, z Фишера для корреляции, логарифм шансов для доли. Ничего не вычисляется, выбранная мера лишь подписывает вывод — см. готовые форматы
• Готовые эффекты со стандартными ошибками — оценка эффекта и её стандартная ошибка, тоже в шкале анализа. Мера лишь подписывает вывод
• Готовые эффекты с доверительными границами — оценка эффекта с нижней и верхней границами в шкале анализа, если вы не отметили, что они даны в естественной шкале. Мера лишь подписывает вывод. Только этот формат спрашивает, на каком уровне вычислены границы, — обе настройки описаны в разделе готовые форматы
• Средние и SD по группам — среднее, SD и n двух групп: SMD, MD, ROM
• Средние и SD повторных измерений (до/после или перекрёстный дизайн) — среднее и SD в двух измерениях при одном n: SMCC, SMCR, MC, ROMC
• Числа событий и размеры групп — число событий и n двух групп: OR, RR, RD, PETO
• Числа событий и не-событий 2×2 — события и не-события двух групп: OR, RR, RD, PETO
• Корреляции с объёмами выборок — корреляция и её n: ZCOR
• Числа событий одной группы — число событий из n в одной группе: PR, PLO
• Средние одной группы с объёмами выборок — среднее, SD и n одной группы: MN
• Смешанная отчётность, построчно — каждая строка пересчитывается из того, что напечатала её статья, для всех мер, которые дают преобразования. Назначьте те столбцы, что есть в вашей таблице, а панель «Строки исследований» покажет, как прочиталась каждая строка, — см. смешанный формат

Роли и необязательные столбцы #

Под списком форматов у каждой роли свой выпадающий список: в нём выбран заполняющий её столбец или Нет, если такого столбца нет. Если роли подходят несколько столбцов, она берёт тот, чьё имя совпадает с названием самой роли, а если такого нет — первый в порядке выбора. Остальные столбцы строка определения перечисляет как также подходит. Столбец, назначенный вручную, забирается у роли, совпавшей с ним по имени, а если вручную назначить две роли на один столбец, запуск блокируется, пока у каждой не будет своего. Роли по форматам, которые их запрашивают:

Готовые форматы

• Оценка эффекта — эффект исследования в том виде, в каком его сообщила статья или предыдущий анализ. Эффект задаётся в шкале анализа, если для формата с границами не указано иное. В смешанном формате это сообщённый эффект любого вида, рядом с которым стоят его стандартная ошибка, границы или p
• Выборочная дисперсия — дисперсия оценки эффекта, то есть квадрат её стандартной ошибки
• Нижняя доверительная граница — нижний конец опубликованного интервала эффекта, вычисленного на уровне из блока Опубликованный интервал. В смешанном формате у среднего каждой группы своя пара границ
• Верхняя доверительная граница — верхний конец того же интервала. Границы должны идти по порядку, а оценка — лежать между ними

Форматы для двух групп

• Среднее, группа 1 — среднее исхода в группе вмешательства (или в группе, подвергшейся воздействию)
• SD, группа 1 — её стандартное отклонение. Не стандартная ошибка: введённая сюда, она без всякого предупреждения будет прочитана как SD
• Объём выборки, группа 1 — её n
• Среднее, группа 2 — среднее контрольной группы
• SD, группа 2 — стандартное отклонение контрольной группы
• Объём выборки, группа 2 — n контрольной группы
• События, группа 1 — число участников с событием в группе вмешательства — из всего её объёма выборки или в паре с числом не-событий
• События, группа 2 — то же для контрольной группы
• Не-события, группа 1 — участники группы вмешательства без события, в формате 2×2, где n равно сумме событий и не-событий
• Не-события, группа 2 — то же для контрольной группы

Формат повторных измерений

• Среднее, после (или условие B) — среднее во втором измерении или во втором условии перекрёстного дизайна. Изменение считается как «после» минус «до»
• SD, после (или условие B) — его стандартное отклонение
• Среднее, до (или условие A) — среднее в первом измерении или в первом условии
• SD, до (или условие A) — его стандартное отклонение. Именно на него делится изменение, стандартизованное по исходному SD

Форматы для одной группы

• События — число участников с событием из объёма выборки группы. В смешанном формате — события одной группы рядом с её объёмом выборки

Смешанный формат — что группа может сообщить вместо среднего и SD

• Минимум — наименьшее значение в группе. Вместе с медианой и максимумом оно читается как размах, а вместе с квартилями — как пятичисловая сводка
• Первый квартиль — нижний квартиль группы. Он читается с медианой и третьим квартилем, а также с минимумом и максимумом
• Третий квартиль — верхний квартиль группы
• Максимум — наибольшее значение в группе
• Среднее на исходном уровне — среднее группы до вмешательства, для строки, измеренной дважды (дизайн «до–после с контролем»). Исходное среднее читается рядом со средним после вмешательства, которое стоит в роли Среднее значение этой группы
• SD на исходном уровне — стандартное отклонение группы до вмешательства. Исходные SD двух групп объединяются в то SD, по которому стандартизуется изменение

Необязательные столбцы предлагаются в каждом формате:

• Метка исследования (необязательно) — название исследования. Роль сопоставляется со study, trial, author, label, id и похожими именами. Если метка не назначена, лесовидная диаграмма и таблица исследований нумеруют строки. Карточку Зависимость открывает именно повторяющаяся метка
• Направление (необязательно) — знаковое соглашение обзора, по ячейке на строку: отрицательное число, reverse или flip меняет знак эффекта строки после пересчёта, так что исследование с обратной шкалой исправляется в таблице, без правки его чисел. Пустая ячейка или любое другое значение сохраняет знак исследования. Для доли и среднего одной группы не предлагается: у них нет направления
• Средний размер кластера (необязательно) — для исследования, где рандомизировали кластеры (классы, клиники), а анализировали отдельных участников: среднее число участников в кластере. Заполненная ячейка увеличивает дисперсию строки на дизайн-эффект 1 + (M − 1) × ICC. Значение меньше 1 не читается. Оставьте ячейку пустой, если исследование уже учло кластеризацию
• Внутрикластерная корреляция (необязательно) — собственный ICC исследования. Он читается только в строке с размером кластера, а при пустой ячейке берётся значение по умолчанию
• Корреляция до–после (необязательно) — в формате повторных измерений и в строках «до–после» смешанного формата: корреляция между двумя измерениями на одних и тех же людях, если статья её приводит. При пустой ячейке берётся значение по умолчанию
• Нет — роль не заполняет ни один столбец. Собственные роли фиксированного формата перед запуском должны быть заполнены все. Необязательная роль может остаться пустой, а в смешанном формате роль, которую не заполняет ни одна строка, просто не читается

Панель «Строки исследований» #

Как только таблица прочитана по ролям, панель Строки исследований перечисляет все строки вместе с тем, во что каждая превратилась. Строка над таблицей подсчитывает строки по состояниям. Если смотреть не на что, панель из одной этой строки и состоит.

• Только строки, требующие внимания — включено по умолчанию: скрывает строки, разрешившиеся без проблем, и оставляет те, на которые стоит взглянуть: строку, отвергнутую преобразованием; строку, исключённую моделью; строку, прочитанную по более простому преобразованию, потому что исходный уровень заполнен не полностью; строку, оценка которой не в центре своих доверительных границ. Снимите флажок, чтобы увидеть все строки с их преобразованиями
• Исследование — метка исследования, а если столбец меток не назначен, Строка n с номером наблюдения. Столбец меток (или номеров строк) открывает также таблицу «Исследования» и диагностику на карточке
• Преобразование — в смешанном формате: преобразование, по которому прочитана строка. Если подходят несколько, здесь появляется переключатель (Прочитано как), а остальные перечислены под Также подходит, так что для этой строки можно отменить ранжирование реестра. Выбор запоминается по номеру наблюдения и сохраняется при повторном определении. Под преобразованиями групп стоит по строке на группу: из чего она прочитана или чего ей не хватает, а под любым прочтением — проверки, которые не прошли значения самой строки
• Пропущено или недопустимо — в фиксированном формате: роли с пустой ячейкой (Пусто) или с текстом (Не распознано) и проверки, которые не прошли значения строки. Среди этих проверок: корреляция вне диапазона от −1 до 1; нулевое p; событий больше, чем участников в группе; доверительные границы в неверном порядке; оценка вне своих границ; нулевое SD; группа без участников; пятичисловая сводка, отвергнутая как асимметричная или при n меньше 5. Остальные панель называет полностью
• Статус — Разрешено (строка пересчитывается), Разрешено вами (вы выбрали её преобразование вручную), Неразрешимо (ячейка пуста, не распознана или не прошла проверку, и строка исключается) или, после запуска, Исключено моделью (строка пересчитана, но её нельзя взвесить из-за нулевой выборочной дисперсии или двойного нуля в таблице при мере-отношении). Такие строки подсчитывает вводное примечание карточки

Шаблоны таблиц для извлечения данных #

Таблицы ещё нет? Каждая таблица ниже — это строка заголовков, которую модуль читает без подсказок (при загрузке каждое имя ложится на свою роль), и под ней строка-пример с заполненными ячейками. Скопируйте строку заголовков в первую строку электронной таблицы или скопируйте таблицу целиком и начните с примера, затем сохраните файл как CSV и загрузите его. Заполняемые столбцы оставьте, остальные удалите или не трогайте: пустой столбец ни на что не претендует. Группа 1 — группа вмешательства (или подвергшаяся воздействию), группа 2 — контрольная. Нумерованные имена — лишь один из вариантов: m_treat, sd_control, n_ctrl читаются так же. В любую таблицу можно добавить необязательные столбцы cluster_size и icc, а также сколько угодно текстовых столбцов, нужных обзору (instrument, timepoint, outcome): модуль их не трогает, пока вы не выберете один из них модератором.

Готовые эффекты с выборочными дисперсиями

Готовые эффекты со стандартными ошибками

Готовые эффекты с доверительными границами

Три готовые таблицы читаются в шкале анализа: логарифм отношения, z Фишера, логит. Если в таблице с границами назвать столбец эффекта or, rr или hr вместо effect, все три значения будут прочитаны как отношение в том виде, в каком его напечатала статья, а мера выставится соответствующая — см. раздел готовые форматы.

Средние и SD по группам

Средние и SD повторных измерений (до/после или перекрёстный дизайн)

Числа событий и размеры групп

Числа событий и не-событий 2×2

Корреляции с объёмами выборок

Числа событий одной группы

Средние одной группы с объёмами выборок

Смешанные таблицы шире: у каждого способа, которым статья может сообщить результат, свой столбец, и строка заполняет только то, что напечатала её статья, — в примерах по одному исследованию на каждый вид отчётности. Какие столбцы читает каждая мера, сказано под таблицей. Остальные столбцы остаются пустыми. Если в смешанной таблице вообще есть столбцы effect, ci_lower и ci_upper, сначала она определяется как готовый формат с границами, а строка определения сообщает, сколько строк прочитал бы вместо него формат Смешанная отчётность, построчно, — выберите его в списке форматов.

Смешанная отчётность — средние (SMD, MD, ROM)

При SMD читаются все столбцы. При MD не читаются столбцы критериев для двух групп d, g, t и точечно-бисериальная r, при ROM — ни они, ни столбцы исходного уровня и prepost_r. Столбец p при SMD читается вместе с двумя размерами групп, а при любой мере — рядом с сообщённым effect. effect и его se, границы или p даются в шкале самой меры: это стандартизованная или обычная разность, а при ROM — отношение средних в том виде, в каком его напечатала статья.

Смешанная отчётность — отношения и разности рисков (OR, RR, RD, PETO)

При OR, RR и PETO сообщённый effect и его границы — это отношение в том виде, в каком его напечатала статья. При чтении оно переводится в логарифмическую шкалу. se рядом с отношением — та, что выдаёт регрессия, то есть уже в логарифмической шкале. При RD это сама разность.

Смешанная отчётность — корреляции (ZCOR)

r со своим n и effect с границами — это корреляция в том виде, в каком её напечатала статья, а effect рядом с se или p читается как z Фишера.

Меры эффекта #

• Мера эффекта — мера, в которой пересчитывается и объединяется каждая строка. Фиксированный формат предлагает доступные ему меры, смешанный — восемь мер, получаемых его преобразованиями, а готовый формат — любую меру, поскольку сам ничего не вычисляет: там выбор подписывает вывод и задаёт обратное преобразование, а значения объединяются как есть, если ниже не отмечено, что они в естественной шкале. Каждая преобразованная мера объединяется в своей шкале анализа (логарифм отношения, z Фишера для корреляции, логит для доли), а рядом карточка выводит значение в естественной шкале

Меры в том порядке, в каком их перечисляет список:

• Не указано — начальный выбор в готовых форматах: шкала не названа, эффекты объединяются как есть, и обратного преобразования нет. Прежде чем сообщать результаты, выберите меру, в которой даны ваши эффекты
• Стандартизованная разность средних (g Хеджеса) — разность средних двух групп в единицах объединённого SD, с поправкой на малую выборку для каждой строки, которую модуль пересчитывает сам, — см. g Хеджеса. В смешанном формате сообщённое d корректируется при вводе, а сообщённое g — нет, поэтому вносите каждое в столбец с его названием
• Разность средних (нестандартизованная) — разность средних двух групп в собственных единицах исхода. Мера подходит, когда все исследования измеряли исход в одной шкале
• Логарифм отношения средних — логарифм отношения среднего группы 1 к среднему группы 2. В выводе он обратно преобразуется в Отношение средних. Исходу нужен истинный ноль, а неположительное среднее отвергается
• Логарифм отношения шансов — логарифм отношения шансов события в группе 1 к шансам в группе 2, по таблице 2×2 или по сообщённому отношению. В выводе — Отношение шансов, см. отношение шансов. Если в таблице есть нулевая ячейка, сначала ко всем ячейкам добавляется 0.5
• Логарифм относительного риска — логарифм отношения риска события в группе 1 к риску в группе 2. В выводе — Относительный риск. Поправка на нулевые ячейки та же
• Логарифм отношения рисков (HR) — подпись для готовых эффектов: отношение рисков (hazard ratio) не вычисляет ни один формат, но таблицу сообщённых логарифмов отношения рисков можно так назвать, и в выводе она обратно преобразуется в Отношение рисков (HR)
• Логарифм отношения частот (IRR) — то же для сообщённых отношений частот. В выводе — Отношение частот (IRR)
• Разность рисков — разность двух рисков события в шкале вероятностей. Это единственная мера для таблиц 2×2, которая по умолчанию сохраняет таблицу с двойным нулём
• Логарифм отношения шансов (Пето) — одношаговая оценка логарифма отношения шансов по Пето, вычисленная по нескорректированным ячейкам. В выводе — Отношение шансов (Пето). Подходит для редких событий, отношения шансов около 1 и групп близкого размера. Таблица, где в обеих группах нет событий или есть только события, исключается всегда
• Корреляция в z-преобразовании Фишера — корреляция объединяется в шкале z Фишера, где её интервал симметричен, и в выводе обратно преобразуется в корреляцию. У корреляции, равной ровно ±1, нет конечного z, и она отвергается
• Доля (без преобразования) — доля событий в одной группе, объединяемая в собственной шкале, где дисперсия у 0 и 1 сжимается до нуля. Если событий ноль или они есть у всей группы, к событиям и не-событиям добавляется 0.5. Это величина, а не контраст, поэтому столбец направления не предлагается, а на лесовидной диаграмме нет линии нулевого эффекта
• Логарифм шансов (логит-преобразованная доля) — доля одной группы, объединяемая как логарифм шансов. В выводе — Доля. Для долей около 0 или 1 это более надёжный выбор. Поправка на нулевое число событий та же, столбца направления и линии нулевого эффекта нет
• Среднее (сырое) — среднее одной группы в единицах исхода. Как и обе доли, это величина, а не контраст: столбца направления нет, линии нулевого эффекта на лесовидной диаграмме тоже
• Стандартизованное среднее изменение (по SD изменений) — изменение между замерами, делённое на SD изменений. Ни одна строка этого SD не сообщает: оно восстанавливается из SD двух измерений и корреляции до–после, так что эта корреляция задаёт не только дисперсию эффекта, но и его шкалу
• Стандартизованное среднее изменение (по исходному SD) — изменение, делённое только на исходное SD. SD после вмешательства не читается вовсе, а корреляция задаёт лишь дисперсию
• Среднее изменение (нестандартизованное) — разность средних двух измерений в единицах исхода. Дисперсию задают SD двух измерений и корреляция
• Логарифм отношения средних, повторные измерения — логарифм отношения среднего после вмешательства к исходному среднему. В выводе — Отношение средних, повторные измерения. Исходу нужен истинный ноль

Готовые форматы #

Таблица с эффектами и их дисперсиями, стандартными ошибками или границами ничего не вычисляет: выбранная мера лишь подписывает вывод и задаёт обратное преобразование, а значения объединяются как есть. При преобразованной мере карточка считает, что они уже в шкале анализа. Столбец с заголовком or, rr, hr или irr один раз сам выбирает соответствующее отношение, а в формате с границами ещё и ставит флажок ниже. Выбор, сделанный после этого, сохраняется, пока не сменится таблица или вы не запустите повторное определение.

• Значения в естественной шкале — предлагается в готовых форматах при преобразованной мере, но доступно только в формате с границами. Если флажок установлен, эффект и его границы читаются как само отношение, корреляция или доля (так их печатают статьи) и переводятся в шкалу анализа, прежде чем из них выводится дисперсия. В форматах с дисперсией и со стандартной ошибкой флажок виден, но заблокирован: дисперсию или стандартную ошибку из естественной шкалы в шкалу анализа не перевести
• Уровень, на котором вычислены доверительные границы — в блоке Опубликованный интервал: 95%, 90% или 99%. Поле видно везде, где в таблице есть доверительные границы: в формате с границами и в смешанном формате, как только назначены границы сообщённого эффекта или границы группы. Это уровень интервалов в вашем файле, а не уровень, на котором выводятся результаты. Дисперсия равна квадрату отношения полуширины интервала к квантилю этого уровня, так что ошибка здесь масштабирует каждую стандартную ошибку

Смешанный формат #

Смешанная отчётность, построчно. Именно такую таблицу на деле даёт извлечение данных: одно исследование сообщает средние и SD, другое — t-статистику, третье — отношение шансов с интервалом. Роли этого формата сгруппированы: сообщённый эффект со стандартной ошибкой или доверительными границами, сводки Группа 1 и Группа 2 (среднее, SD, SE, доверительные границы, пятичисловая сводка, квартили, размах, события и n, а также исходные среднее и SD), Критерий для двух групп (d Коэна, g Хеджеса, t, p) и Корреляция с её n. Назначьте те, что есть в вашей таблице. Затем каждая строка сверяется с реестром рецептов в порядке, приведённом ниже. Если строке подходят несколько рецептов, она читается по первому, пока вы не выберете другой в столбце Преобразование панели «Строки исследований». Блок Что анализ принял на веру на карточке подсчитывает оба случая.

Ниже для каждого рецепта сказано, что должна содержать строка и для каких мер он годится:

• Две группы, каждая на исходном уровне и при последующем наблюдении — исходные среднее и SD каждой группы рядом с её средним после вмешательства и n, то есть дизайн «до–после с контролем». При SMD изменение стандартизуется по объединённому исходному SD (d_ppc2 Морриса), а SD после вмешательства не читаются и могут оставаться пустыми. При MD берётся разность средних изменений, и эти SD читаются. Дисперсию изменения в каждой группе задаёт корреляция до–после, собственная для строки или принятая по умолчанию. Строка, где исходный уровень заполнен лишь частично, читается по сводкам двух групп, учитывается на карточке и остаётся на виду в панели «Строки исследований»
• Две группы, каждая по собственной сводке — среднее и SD каждой группы, сообщённые или выведенные одним из преобразований групп ниже, и её n (для SMD, MD или ROM)
• Две группы, каждая как число событий с размером группы — число событий каждой группы рядом с её n, то есть таблица 2×2 при любой из мер OR, RR, RD или PETO. Таблица с двойным нулём обрабатывается так, как принято по умолчанию для меры: в смешанном формате выбора нет
• t-статистика с размерами обеих групп — t из двухвыборочного критерия для независимых групп с объединённым SD (для SMD). Парный t или t Уэлча восстанавливает другой эффект, а F из сравнения двух групп вводится как t = √F
• p-значение с размерами обеих групп — точное двустороннее p из того же критерия (для SMD). Направление задаёт знак p: отрицательное p даёт отрицательный эффект, так же как отрицательное t. Поэтому исследование с обратным результатом отмечайте либо знаком p, либо в столбце направления, но не обоими способами сразу
• Стандартизованная разность средних с размерами обеих групп — сообщённое d Коэна (для SMD). Поправка на малую выборку применяется здесь, поэтому исследование, уже сообщившее g Хеджеса, будет скорректировано дважды
• g Хеджеса с размерами обеих групп — сообщённое g, которое объединяется без повторной поправки, а d Коэна, введённое сюда, останется без поправки
• Точечно-бисериальная корреляция с размерами обеих групп — корреляция двухуровневой групповой переменной с исходом, пересчитанная в SMD. Корреляция Пирсона между двумя непрерывными переменными читается по рецепту для корреляции
• Корреляция с объёмом выборки — корреляция Пирсона и её n (для ZCOR)
• Сообщённый эффект со стандартной ошибкой — для любой меры: дисперсия равна квадрату стандартной ошибки. При SMD оценка объединяется как сообщена, без поправки на малую выборку
• Сообщённое отношение со стандартной ошибкой — при OR, RR, PETO или ROM: отношение переводится в логарифмическую шкалу, а стандартная ошибка остаётся как сообщена, поскольку регрессия выдаёт стандартную ошибку отношения уже в этой шкале
• Сообщённый эффект с доверительными границами — для любой меры: интервал читается как симметричный интервал Вальда на уровне из блока Опубликованный интервал
• Сообщённое отношение с доверительными границами — при мерах-отношениях: оценка и её границы переводятся в логарифмическую шкалу, где интервал считается симметричным
• Сообщённая корреляция с доверительными границами — при ZCOR: оценка и её границы так же переводятся в шкалу z Фишера
• Сообщённый эффект с p-значением — для любой меры: стандартная ошибка выводится из двустороннего z-критерия Вальда для оценки против нуля. Направление задаёт оценка, а отрицательное p отвергается
• Сообщённое отношение с p-значением — при мерах-отношениях: отношение переводится в логарифмическую шкалу, и только затем из p выводится стандартная ошибка

В рецепте по сводкам двух групп каждая группа читается по первому из этих преобразований, для которого заполнены ячейки, начиная с сообщённой пары. Если подходят несколько, в строке группы появляется переключатель:

• Среднее и SD — сообщённая пара, читается как есть
• Среднее со стандартной ошибкой — SD восстанавливается как SE × √n
• Среднее с доверительными границами — SD восстанавливается из интервала, который читается как t-интервал с n − 1 степенями свободы на уровне из блока Опубликованный интервал
• Пятичисловая сводка — минимум, квартили, медиана и максимум, пересчитанные функцией conv.fivenum пакета metafor. Группа, чья сводка не прошла критерий асимметрии, отвергается, а группа с n меньше 5 или с числами не по порядку пятичисловое преобразование не получает
• Медиана с квартилями — медиана и два квартиля, пересчитываются так же
• Медиана с размахом — медиана с минимумом и максимумом, пересчитываются так же

Опции #

В правой колонке собраны настройки запуска и кнопка Рассчитать. Но прежде стоит взглянуть на уведомления Данные исследований вверху левой колонки: модулю нужен глобальный метод обработки пропусков «попарно», и пока импутация или построчное удаление переписывает таблицу исследований, модуль об этом предупреждает.

Таблицы с двойным нулём #

• Исследования без событий или только с событиями в обеих группах — появляется в двух форматах 2×2 под мерой эффекта: что делать с таблицей, в обеих группах которой нет событий или есть только события. При каждой смене меры список возвращается к умолчанию этой меры, а примечание под ним объясняет, почему. При мере Логарифм отношения шансов (Пето) выбор закреплён на исключении, поскольку оценка Пето ничего не берёт из такого исследования. В смешанном формате выбора нет: его строки 2×2 обрабатываются так, как принято по умолчанию для меры
• Исключить — по умолчанию для логарифма отношения шансов, логарифма относительного риска и оценки Пето: об отношении такая таблица ничего не говорит. Число исключённых исследований приводит вводное примечание карточки
• Сохранить, добавив 0.5 к каждой ячейке — по умолчанию для разности рисков: два нулевых риска всё же кое-что говорят об их разности. При мере-отношении такое исследование входит в объединение с отношением ровно 1 и большой дисперсией

Зависимость #

Карточка появляется, только если метка исследования повторяется среди пригодных строк (исследование сообщило два исхода, три временные точки или несколько подгрупп). Строка на карточке подсчитывает затронутые исследования и строки. Вариантов три:

• Каждая строка как отдельное исследование — объединённый интервал слишком узок — по умолчанию: каждая строка объединяется как самостоятельное исследование, а карточка предупреждает о повторяющихся метках. Этот вариант нужен, чтобы увидеть результат наивного анализа, а не чтобы его публиковать
• Одна составная оценка на исследование — больше ничего не меняется — строки с общей меткой сначала сводятся в одну составную оценку на исследование, взвешенную обратно дисперсии, при принятой внутриисследовательской корреляции. Все остальные блоки работают как обычно, но уже на составных оценках. Модератор, меняющийся внутри исследования, в этом режиме недоступен и называется под списком. Если дублированных исследований немного, а основной исход один, это самый простой корректный выход
• Моделировать иерархию — часть блоков отключается — модель коррелированных иерархических эффектов (CHE): случайный эффект для каждого исследования и для каждой строки внутри него, корреляция ошибок выборки строк одного исследования равна принятому значению, каждая оценка проверяется с кластерно-робастной стандартной ошибкой, а компоненты дисперсии оцениваются методом REML, что бы ни было выбрано в списке методов оценки. Сейчас это рекомендуемый подход, когда многие исследования дают много строк. Платить за него приходится блоками, у которых нет формы для зависимых эффектов (см. раздел при моделировании иерархии)

Строки из одного исследования? Это не независимые свидетельства, и если объединять их как независимые, интервал окажется слишком узким — см. зависимые размеры эффекта.

Принимаемые значения #

Здесь есть поле для каждого числа, которое анализу приходится принимать, потому что статьи его не сообщают. Поле появляется, когда назначенные роли и режим зависимости делают это число нужным. Под каждым полем сводка показывает, на скольких пригодных строках действует допущение и сколько из них несли собственное значение. Введённое значение вне допустимого диапазона заменяется значением по умолчанию, как и собственное значение строки вне диапазона. Такие строки сводка считает отдельно. Каждое действующее допущение затем прогоняется по сетке значений в блоке Что анализ принял на веру на карточке, чтобы было видно, насколько от него зависит объединённая оценка.

• Внутрикластерная корреляция (ICC) — по умолчанию 0.05, от 0 до 1. Значение берётся для строки с размером кластера, если её собственная ячейка ICC пуста. Вместе со средним размером кластера M задаёт дизайн-эффект 1 + (M − 1) × ICC, на который увеличивается дисперсия кластеризованной строки
• Корреляция до–после — по умолчанию 0.5, от −1 включительно до 1 не включительно: корреляция между двумя измерениями на одних и тех же людях. Она задаёт дисперсию каждого изменения, а для стандартизованного среднего изменения по SD изменений — и его шкалу. Предлагается в формате повторных измерений, а в смешанном — если в нём может сработать рецепт «до–после с контролем»
• Внутриисследовательская корреляция — по умолчанию 0.8, от 0 включительно до 1 не включительно: корреляция между ошибками выборки двух эффектов из одного исследования, то есть мера того, насколько строки исследования остаются одним свидетельством. Предлагается в режимах составной оценки и иерархии. Ни одно исследование эту корреляцию не сообщает, поэтому все затронутые строки получают значение по умолчанию

Модель #

• Метод оценки дисперсии гетерогенности (τ²) — как оценивается межисследовательская дисперсия в модели случайных эффектов. Заголовок гетерогенности на карточке называет применённый метод. При моделировании иерархии список заблокирован: компоненты дисперсии оцениваются методом REML, что бы ни было выбрано
• Ограниченное максимальное правдоподобие — REML, метод по умолчанию и общая рекомендация. Только при нём выполняется сравнение модели модераторов по отношению правдоподобий
• ДерСимониан — Лэрд — метод моментов, которым пользовалось большинство опубликованных метаанализов. Выберите его, чтобы воспроизвести такой анализ
• Пауле — Мандель — метод, находящий τ² как решение уравнения для Q
• Сидик — Йонкман — неитерационный метод, склонный завышать малое τ² и потому дающий более широкие интервалы
• Поправка Кнаппа — Хартунга — включена по умолчанию: оценка случайных эффектов и коэффициенты модераторов проверяются по t-распределению со скорректированной стандартной ошибкой, что при малом числе исследований удерживает частоту ошибок на заявленном уровне. Оценка фиксированного эффекта остаётся на z: к ней поправка не применяется. При моделировании иерархии флажок заблокирован, и его роль играет кластерно-робастный t

Фиксированный или случайные эффекты? Карточка выводит оба варианта, и отвечают они на разные вопросы. Сообщайте оценку случайных эффектов, если нет оснований считать эффект действительно единым, — см. модели с фиксированным эффектом и случайными эффектами.

Лесовидная диаграмма, эффекты малых исследований, диагностика влияния #

• Построить лесовидную диаграмму — включено по умолчанию. Таблица Исследования в любом случае содержит те же оценки, интервалы и веса, а рядом с ними стандартные ошибки
• Воронкообразная диаграмма с критериями Эггера и Бегга — включено по умолчанию: блок эффектов малых исследований и три необязательные поправки под ним, доступные только при включённом блоке. Это проверки чувствительности объединённой оценки: приводите их рядом с ней, но не вместо неё. При моделировании иерархии регрессия Эггера выполняется с кластерно-робастным t, а критерий Бегга отключён
• Анализ чувствительности trim-and-fill — выключено по умолчанию: оценивает, сколько исследований недостаёт на менее заполненной стороне воронки, достраивает их и заново подгоняет модель, выводя скорректированную оценку. При моделировании иерархии недоступен: у метода нет формы для зависимых эффектов
• Анализ чувствительности с моделью отбора — выключено по умолчанию: ступенчатая модель отбора, в которой вероятность публикации исследования падает, когда одностороннее p превышает 0.025. Модель выводит скорректированную с учётом отбора оценку и критерий того, есть ли отбор вообще. При моделировании иерархии недоступен
• Анализ чувствительности PET-PEESE — выключено по умолчанию: эффект, предсказанный при нулевой стандартной ошибке регрессией на стандартную ошибку (PET), а если PET находит эффект, то регрессией на дисперсию (PEESE). Работает и при моделировании иерархии, с кластерно-робастным t
• Исключение по одному, меры влияния и диаграмма Божа — включено по умолчанию: блок диагностики влияния. Модель подгоняется заново дважды на каждое исследование, поэтому при большом числе исследований этот блок самый медленный. При моделировании иерархии каждое исследование исключается сразу со всеми строками, а меры влияния на уровне строк и диаграмма Божа отключены

Модераторы #

Карточка Модераторы появляется, как только таблица прочитана, и перечисляет все выбранные переменные, не занятые ни одной ролью. Для работы со списком есть кнопки Снять все отметки и Инвертировать выбор. Категориальный модератор превращает расчёт в анализ подгрупп, непрерывный — в метарегрессию, несколько модераторов любого типа — в совместную модель. С пустым списком объединение идёт без модераторов. В режиме составной оценки переменная, принимающая внутри одного исследования два значения, недоступна и называется под списком. Как только что-то выбрано, строка бюджета сопоставляет число исследований с числом коэффициентов модели (категориальный модератор с L уровнями стоит L − 1 коэффициентов, а в режимах составной оценки и иерархии исследования считаются после свёртки) и превращается в предупреждение, когда на коэффициент приходится меньше десяти исследований. При скрининге нескольких модераторов она называет самую тесную из отдельных моделей.

Для каждого выбранного модератора есть полоска с настройкой, которую допускает его тип:

• Опорный уровень — для категориального модератора: уровень, с которым сравниваются коэффициенты остальных уровней. По умолчанию это самый крупный уровень. Под полем перечислены уровни с числом исследований, от большего к меньшему, и уровень, где исследований меньше трёх, отмечен как слишком малый для оценки подгруппы. При скрининге поля нет, поскольку коэффициенты не выводятся, но числа исследований остаются
• Центрировать на среднем ({mean}) — для непрерывного модератора, включено по умолчанию: модератор центрируется на своём среднем по моделируемым исследованиям, так что свободный член — это эффект при среднем значении модератора, а не при нуле. При скрининге полоски у непрерывного модератора нет

В блоках Режим подгонки и Параметры модели:

• Одна модель, все модераторы — по умолчанию: все выбранные модераторы в одной модели, с коэффициентом для каждого члена и одним общим критерием
• Скрининг каждого модератора отдельно — по модели на каждый модератор, подогнанной на исследованиях, где он есть, и по строке вывода на каждую (общий критерий, τ² и R²). Коэффициентов нет, так что опорный уровень и центрирование здесь не действуют. Модератор, постоянный на своих исследованиях или имеющийся менее чем в трёх, сохраняет строку с пометкой, что модель не подогнана
• Перестановочный критерий — выключено по умолчанию: модель подгоняется заново при перетасовках значений модератора, число которых берётся из настройки повторов перестановок, и рядом с p каждого коэффициента и общего критерия выводится перестановочное p (при скрининге — в каждой строке). Это медленно, зато при малом числе исследований p получается корректным. При моделировании иерархии недоступен: его заменяет кластерно-робастный t
• Оценивать τ² отдельно внутри каждой подгруппы — появляется для единственного категориального модератора в совместной модели: каждый уровень получает собственное τ², а уровни сравниваются между собой по Q между подгруппами. Уровень, где исследований меньше трёх, сохраняет свою оценку, но его τ² выводится как неоцениваемое, и в Q он не входит

Мало исследований? У модели модераторов на дюжине исследований мало мощности, а если перебрать несколько модераторов и сообщить сработавший, доля ложноположительных результатов резко растёт. Задавайте модераторы заранее, следите за строкой бюджета, предпочитайте перестановочный критерий и считайте скрининг лишь скринингом — см. метарегрессию.

Чтение результатов #

Заголовок карточки — название меры. Вводное примечание вверху сообщает, что стало со строками: сколько строк исключено и почему (пропущенное или нечисловое значение, а в смешанном формате — строка, которую не прочитало ни одно преобразование; значение, отвергнутое преобразованием; нулевая выборочная дисперсия; таблица с двойным нулём; пятичисловая сводка, отвергнутая как асимметричная); к скольким таблицам 2×2 применена поправка на непрерывность и сколько среди них таблиц с двойным нулём, оставленных в объединении; сколько строк прочитано без полного исходного уровня или с оценкой не в центре границ; на каком уровне прочитаны опубликованные границы; у скольких строк столбец направления сменил знак; как режим зависимости свёл или смоделировал строки. Если метка исследования повторяется, а иерархия не моделируется, предупреждение перечисляет эти исследования и отсылает к карточке Зависимость. При моделировании иерархии предупреждение называет оценку, чей робастный t опирается менее чем на 4 степени свободы.

Что анализ принял на веру #

Что анализ принял на веру. Блок стоит над объединённой оценкой и появляется всякий раз, когда преобразование что-то допускало или какое-то число было принято. Для смешанного формата в нём по записи на каждый сработавший рецепт, а для фиксированного формата, чьё преобразование что-то допускает, — одна запись на все строки. В записи полностью изложены допущения преобразования вместе со сработавшими под ним преобразованиями групп. Ещё одна запись подсчитывает строки, подходящие под несколько преобразований: сколько из них прочитано по ранжированию реестра, а сколько — по вашему выбору в панели «Строки исследований». Далее идёт по записи на каждое действующее принимаемое значение: сколько строк несли собственное значение, сколько взяли значение по умолчанию, сколько несли значение вне диапазона и потому тоже взяли значение по умолчанию. К записи прилагается таблица, где модель заново подогнана при каждом значении сетки, а строка значения по умолчанию выделена. Из этого блока складывается абзац о допущениях в разделе «Методы» вашей работы.

• Принятое значение — значение, при котором модель подогнана заново: точки сетки и значение по умолчанию, использованное в расчёте. Выделенная строка и есть анализ, приведённый выше. Если повторная подгонка в какой-то точке не удалась, вместо оценки выводится сообщение R

Остальные столбцы (оценка, её интервал и τ², а при моделировании иерархии σ² (между исследованиями)) — объединённый результат при этом значении по той же модели, что и на карточке. Строка с собственным значением сохраняет его во всех точках, так что прогон меняет только принятое и никогда — известное.

Объединённая оценка #

Объединённая оценка ({k} исследований). Обе модели сведены в одну таблицу, по строке на каждую. Заголовок называет число объединённых исследований, а при моделировании иерархии принимает вид Объединённая оценка ({k} строк из {studies} исследований), то есть называет строки и исследования, к которым они относятся. Читайте эти две строки как ответы на разные вопросы, а не как одну оценку, посчитанную двумя способами, — см. модели с фиксированным эффектом и случайными эффектами.

• Модель — какая модель в строке: Случайные эффекты и Фиксированный эффект, а при моделировании иерархии — Иерархические эффекты и Общий эффект
• Случайные эффекты — модель, в которой истинный эффект может меняться от исследования к исследованию, а оценивается среднее этих эффектов. Приводить следует именно эту строку, если нет оснований считать эффект действительно единым, — см. модель случайных эффектов. С поправкой Кнаппа — Хартунга оценка проверяется по t с указанными df и соответственно скорректированной стандартной ошибкой, без поправки — по z
• Фиксированный эффект — модель с одним истинным эффектом для всех исследований: среднее, взвешенное по точности. Оно всегда проверяется по z, поскольку поправка Кнаппа — Хартунга к нему не применяется, — см. модель с фиксированным эффектом. Если две строки расходятся, исследования гетерогенны, и сообщать следует строку случайных эффектов
• Иерархические эффекты — при моделировании иерархии, на месте строки случайных эффектов: модель коррелированных иерархических эффектов со случайным эффектом для каждого исследования и каждой строки внутри него. Оценка проверяется кластерно-робастным t со степенями свободы (df) Саттертуэйта
• Общий эффект — при моделировании иерархии, на месте строки фиксированного эффекта: рабочая модель общего эффекта на тех же строках, проверяемая тем же кластерно-робастным t
• Робастная SE — при моделировании иерархии: кластерно-робастная стандартная ошибка, по которой проверяется каждая оценка. Этот столбец занимает место столбца SE
• SE модели — при моделировании иерархии: модельная стандартная ошибка рядом с робастной. Если робастная SE сильно от неё отличается, кластеризация существенна
• {scale} [{level}% ДИ] — для меры с естественной шкалой: та же оценка и тот же интервал после обратного преобразования, то есть само отношение, корреляция или доля в том виде, в каком их приводят статьи. Этот столбец есть и в объединённой таблице, и в таблице «Исследования»

Оценка и её SE даны в шкале анализа, интервал — на глобальном уровне доверия. С поправкой Кнаппа — Хартунга t и df заполнены в строке случайных эффектов, а z — в строке фиксированного эффекта. Без поправки в обеих строках стоит только z, а при моделировании иерархии в обеих — t и df. p соответствует той статистике, что есть в строке. Если поправка включена, об этом говорит примечание под таблицей.

Гетерогенность #

Гетерогенность (τ²: {estimator}). Показывает, насколько исследования расходятся сверх ошибки выборки. Метод оценки τ² назван в заголовке. При моделировании иерархии заголовок принимает вид Гетерогенность (σ²: {estimator}), а в таблице стоят двухуровневые статистики, описанные ниже. Что означают эти статистики, объясняет страница понятий — см. гетерогенность.

• Критерий гетерогенности — Q Кокрена с df и p. Малое p говорит о том, что исследования расходятся сильнее, чем объясняет ошибка выборки. При малом числе исследований мощность критерия невелика, поэтому смотрите и на статистики ниже — см. Q Кокрена
• I² (несогласованность) — доля общей вариации, приходящаяся на различия между исследованиями, а не на ошибку выборки, с интервалом. Это доля, а не величина различий — см. I². Та же статистика стоит в столбце I² таблиц исключения по одному и отдельного τ²
• H² — отношение общей вариации к вариации за счёт ошибки выборки, с интервалом. Значение 1 означает, что сверх случайности различий нет, — см. H²
• τ² (межисследовательская дисперсия) — дисперсия истинных эффектов в шкале самого эффекта, с интервалом. Та же величина стоит в столбце τ² таблиц исключения по одному, отдельного τ² и прогона допущений — см. межисследовательская дисперсия
• τ (межисследовательское SD) — квадратный корень из τ², то есть разброс истинных эффектов в единицах самого эффекта, так что τ можно прямо сопоставить с оценкой
• Интервал предсказания — где оказался бы истинный эффект нового исследования из той же совокупности. Рядом приведён тот же интервал в естественной шкале. При τ² больше нуля он шире доверительного интервала и показывает, что может найти новое исследование, — см. интервал предсказания
• I² (между исследованиями) — при моделировании иерархии: доля общей вариации, приходящаяся на различия между исследованиями
• I² (внутри исследований) — при моделировании иерархии: доля, приходящаяся на различия между строками одного исследования. Вместе с долей ошибки выборки две доли дают 100%
• σ² (межисследовательская дисперсия) — при моделировании иерархии, вместо τ²: дисперсия истинных эффектов между исследованиями. Та же величина стоит в столбце σ² (между исследованиями) таблиц диагностики, отдельных подгонок и прогона допущений
• σ² (внутриисследовательская дисперсия) — при моделировании иерархии: дисперсия истинных эффектов между строками одного исследования

I² или τ²: I² показывает, какая часть видимого разброса — реальные расхождения, а τ (или интервал предсказания) — насколько они велики. Если гетерогенность важна для вывода, приводите второе — см. I².

Модели модераторов #

Модератор: {name}. Раздел модели модераторов стоит сразу под гетерогенностью, которую он объясняет, и назван по имени модератора, а для совместной модели нескольких модераторов — Модераторы ({count}). Первая таблица показывает, что модель объяснила. За ней идёт таблица подгрупп, если модератор один и он категориальный, или таблица коэффициентов для любой другой модели. Примечание называет опорный уровень каждого модератора, каждое центрирование с его средним, члены, исключённые metafor как избыточные, модераторы, исключённые как постоянные, и исследования без значений модераторов. Если metafor не смог подогнать модель, раздел остаётся с его сообщением, а остальная карточка выводится без него.

• Общий критерий модераторов — Q_M со степенями свободы модераторов (при поправке Кнаппа — Хартунга и при моделировании иерархии — F со степенями свободы знаменателя): объясняют ли модераторы вместе хоть что-нибудь
• R² (объяснённая гетерогенность) — доля τ², которую объясняют модераторы. При моделировании иерархии это R² (объяснённая межисследовательская гетерогенность), при скрининге — столбец R²
• Остаточная гетерогенность — Q_E и p для расхождений, оставшихся после учёта модераторов
• τ² (остаточная) — межисследовательская дисперсия, оставшаяся после учёта модераторов, рядом с дисперсией простой модели без модераторов. При моделировании иерархии — σ² между исследованиями (остаточная)
• Критерий отношения правдоподобий против этой модели — сравнение модели модераторов с простой моделью, для которого обе заново подгоняются методом максимального правдоподобия. Критерий выводится, если τ² оценивалось методом REML на независимых строках
• Общий критерий, перестановочный — p общего критерия по перестановочному критерию, если тот выполнялся
• Подгруппы — для единственного категориального модератора: по строке на уровень, от крупного к мелкому, с собственной объединённой оценкой уровня и рядом с ней — контрастом уровня с опорным по той же модели. В ячейках контраста опорного уровня стоят прочерки, как и у уровня, исключённого metafor как избыточный
• Подгруппа — значение уровня
• Подгруппы — Исследования — число исследований в уровне, в модели кандидата или в отдельной подгонке. При моделировании иерархии — число исследований, к которым относятся строки
• Строки — при моделировании иерархии: сколько строк таблицы даёт уровень, модель кандидата или исследование
• Средние подгрупп — собственная оценка уровня, её стандартная ошибка и интервал по подогнанной модели: свободный член плюс контраст уровня
• Контрасты относительно {reference} — коэффициент уровня относительно опорного уровня, названного в заголовке, со стандартной ошибкой, интервалом, t или z (при моделировании иерархии — и с df), p и перестановочным p, если критерий выполнялся
• p (перестановки) — p коэффициента или общего критерия по перестановочному критерию, если тот выполнялся. У свободного члена такого p нет, поскольку перетасовка модератора свободный член не затрагивает
• Подгруппы с собственным τ² — если запрошено отдельное τ²: каждый уровень подгоняется сам по себе, с оценкой, интервалом, τ² и I² (при моделировании иерархии — σ² (между исследованиями) и I² (между исследованиями), а таблица называется Подгруппы с собственными компонентами дисперсии). Q между подгруппами приводится в примечании. Уровень с менее чем тремя исследованиями сохраняет оценку, но вместо τ² и I² у него прочерки, и в Q он не входит. Не входит в Q и уровень, подгонка которого не удалась, — примечание называет оба случая
• Коэффициенты — для любой другой модели: по строке на член (Свободный член, каждый непрерывный модератор, каждый неопорный уровень категориального) с оценкой, стандартной ошибкой, интервалом, t или z, df при моделировании иерархии, p и перестановочным p, если критерий выполнялся
• Свободный член — объединённый эффект при опорном уровне каждого категориального модератора и при среднем каждого центрированного непрерывного, а для нецентрированного — при нуле
• Пузырьковая диаграмма — для единственного непрерывного модератора: по пузырьку на исследование (площадь пропорциональна его весу в модели), подогнанная линия с доверительной полосой и внешняя полоса, куда ожидаемо попало бы новое исследование с этим значением модератора

Скрининг модераторов ({count} кандидатов). В режиме скрининга: по строке на модератора-кандидата, каждая из собственной модели на исследованиях, где он есть. Примечание сообщает, сколько моделей подогнано (ничто в таблице на это не скорректировано), называет кандидатов, не подогнанных отдельно или принявших одно значение, и исследования, не попавшие в ту или иную модель.

• Модератор — имя кандидата
• df общего критерия — число коэффициентов модели кандидата: 1 для непрерывного модератора, L − 1 для категориального с L уровнями
• Общий критерий — статистика общего критерия для кандидата (Q_M или F с собственными df), рядом p и, если критерий выполнялся, p (перестановки). R² — доля τ², которую кандидат объясняет на своих исследованиях

Лесовидная диаграмма и таблица «Исследования» #

Лесовидная диаграмма. По строке на исследование: метка, квадрат на уровне эффекта (его размер отражает вес) и интервал, а справа — n, если в таблице есть объёмы выборок, и вес в модели случайных эффектов (или иерархической). Под строками ромбом показана объединённая оценка этой модели, а пунктирный ус через ромб — интервал предсказания. Оценка фиксированного эффекта приведена в таблице выше. Мультипликативная мера рисуется на логарифмической оси с подписями в естественных единицах и линией нулевого эффекта на 1. Для доли и среднего одной группы линии нулевого эффекта нет. Как читать диаграмму, объясняет страница понятий — см. лесовидная диаграмма.

Исследования. Числа, по которым строится лесовидная диаграмма, по строке на каждую объединённую строку — независимо от того, построена ли сама диаграмма.

• Строка — номер наблюдения, если столбец меток не назначен. В противном случае столбец называется Исследование. Столбец Строка (или Исследование) открывает и таблицы диагностики
• Эффект — размер эффекта строки в шкале анализа, пересчитанный или сообщённый
• Вес (случайные) — доля строки в объединённой оценке случайных эффектов, в процентах. При моделировании иерархии — Вес (иерархический)
• Вес (фиксированный) — доля строки в оценке фиксированного эффекта, где доминируют крупные исследования. При моделировании иерархии — Вес (общий)

Рядом стоят N, если в таблице есть объёмы выборок, SE, интервал и, для меры с естественной шкалой, столбец с обратным преобразованием, как в объединённой таблице.

Эффекты малых исследований #

Эффекты малых исследований. Блок работает начиная с трёх исследований и предупреждает о низкой мощности, если их меньше десяти. Если исследований меньше трёх, блок сообщает об этом и останавливается. Над воронкообразной диаграммой стоит таблица, по строке на каждый выполненный критерий (несработавший критерий сохраняет строку с сообщением metafor), а примечание называет модель, на которой подогнан каждый критерий, и то, что отключено. Что означает асимметрия и чего она не означает, объясняет страница понятий — см. эффекты малых исследований.

• Регрессия Эггера — регрессия эффектов на их стандартные ошибки в модели случайных эффектов, с t наклона (или z, если поправка Кнаппа — Хартунга выключена) и p: наклон, отличный от нуля, означает асимметрию
• Регрессия Эггера (SE по объёму выборки) — добавляется, если мера — g Хеджеса и в каждой строке есть оба размера групп: та же регрессия, но на стандартную ошибку, которая была бы при нулевом эффекте и зависит только от размеров групп. Читать следует эту строку: собственная стандартная ошибка g зависит от g, и стандартная форма слишком часто находит асимметрию
• Регрессия Питерса — добавляется, если каждая строка получена из таблицы 2×2: регрессия эффектов на величину, обратную общему объёму выборки, со взвешиванием по событиям и не-событиям. Для бинарной меры читать следует эту строку: её стандартная ошибка точно так же зависит от оценки
• Ранговая корреляция Бегга — тау Кендалла (τ) между эффектами и их дисперсиями, с p
• Предельная оценка регрессии — эффект, который линия Эггера предсказывает при нулевой стандартной ошибке, с интервалом
• Оценка PET-PEESE — если запрошена: предельная оценка (PET) или, если свободный член PET отвергает ноль, оценка той же регрессии на дисперсию (PEESE), вместе с односторонним критерием, по которому сделан выбор
• Trim-and-fill: вменённые исследования — если запрошено: сколько исследований алгоритм счёл недостающими, со стандартной ошибкой этого числа и стороной воронки, на которой их не хватает
• Trim-and-fill: скорректированная оценка — объединённая оценка с достроенными исследованиями и её интервал. Если алгоритм не выполнился, строка называется просто Trim-and-fill
• Модель отбора: исследования по p — если запрошено: сколько исследований лежит на уровне одностороннего p = 0.025 или ниже, сколько выше и в какую сторону считалось одностороннее p (в сторону объединённой оценки)
• Модель отбора: скорректированная оценка — объединённая оценка по модели отбора, с интервалом. Если все исследования лежат по одну сторону от ступени, строка сообщает, что модель не удалась, а если подгонка не выполнилась, строка называется просто Модель отбора
• Модель отбора: δ — относительная вероятность публикации незначимого результата, со стандартной ошибкой и критерием отношения правдоподобий против δ = 1

Воронкообразная диаграмма показывает эффект каждого исследования в зависимости от его стандартной ошибки. Пунктирная воронка отмечает область, где лежали бы исследования, если бы разброс определялся одной ошибкой выборки (на глобальном уровне доверия), а для меры, у которой нулевой эффект в нуле, вокруг неё нарисованы серые клинья контуров значимости (0.01, 0.05, 0.10). Исследования, вменённые методом trim-and-fill, показаны полыми точками, зеркально отражёнными относительно пунктирной линии скорректированной оценки, — см. воронкообразная диаграмма.

Асимметрия — не доказательство публикационного смещения. У того, что малые исследования сообщают более крупные эффекты, несколько возможных причин, при менее чем десяти исследованиях критерии почти лишены мощности, а каждая поправка опирается на модель того, как исследования пропали. Приводите их как анализ чувствительности рядом с основной оценкой — см. эффекты малых исследований и публикационное смещение.

Диагностика влияния #

Диагностика влияния. Работает начиная с трёх исследований, а если их меньше, блок сообщает об этом и останавливается. Таблица содержит по строке на исследование в двух группах столбцов, а исследования, которые metafor помечает как влиятельные, выделены. Ниже — диаграмма Божа и примечание с размахом исключения по одному (наименьшая и наибольшая объединённая оценка при исключении одного исследования против оценки по всем исследованиям) и порогами, по которым ставились пометки. Если одна из двух групп расчётов не выполнилась, столбцы другой остаются, а примечание называет неудавшуюся, — см. анализ с исключением по одному.

• Объединение без каждого исследования — оценка, интервал, I² и τ² модели, заново подогнанной без этого исследования
• Меры влияния — шесть мер на исследование, каждая — регрессионная диагностика, где наблюдением служит исследование, а подгонкой — объединённая оценка. Исследование помечается, когда его DFFITS, расстояние Кука, рычаг или DFBETAS превышает порог metafor. Пороги приведены в примечании
• Стьюдентизированный остаток — насколько эффект исследования удалён от оценки, объединённой без него, в единицах стандартной ошибки — см. стьюдентизированный остаток
• DFFITS — насколько сдвигается подогнанное значение самого исследования при его исключении, в единицах стандартной ошибки — см. DFFITS
• Расстояние Кука — насколько сдвигается объединённая оценка при исключении исследования, в масштабе её дисперсии — см. расстояние Кука
• DFBETAS — на сколько стандартных ошибок сдвигается объединённая оценка при исключении исследования — см. DFBETAS
• Отношение ковариаций — дисперсия объединённой оценки без исследования, делённая на её дисперсию с ним. Значение меньше 1 говорит о том, что исследование повышало точность оценки
• Рычаг — доля веса исследования в объединённой оценке, по шкале от 0 до 1. Исследование с большой долей веса тянет оценку к себе, где бы оно ни лежало, — см. рычаг
• Диаграмма Божа — вклад каждого исследования в гетерогенность (x) против его влияния на объединённую оценку (y). Исследования в правом верхнем углу определяют и то и другое, а помеченные нарисованы красным

При моделировании иерархии в таблице по строке на исследование: его Строки, оценка, интервал, σ² (между исследованиями) и σ² (внутри исследований) модели, заново подогнанной без него, и его Расстояние Кука. Остальные меры и диаграмма Божа отключены.

При моделировании иерархии #

Моделирование иерархии меняет карточку везде, где у блока нет формы для зависимых эффектов. У объединённой оценки появляются Робастная SE и df Саттертуэйта, а если эти df меньше 4, выводится предупреждение: робастная стандартная ошибка тогда слишком неопределённа, чтобы полагаться на p и интервал. Модель модераторов выводит робастный F и df Саттертуэйта для каждого коэффициента, а перестановочный критерий, сравнение по отношению правдоподобий и поправка Кнаппа — Хартунга отключены. Регрессия Эггера и PET-PEESE подгоняются на иерархии с кластерно-робастным t, а критерий Бегга, trim-and-fill и модель отбора отключены. Диагностика влияния исключает каждое исследование сразу со всеми строками и выводит расстояние Кука для каждого исследования, а меры влияния на уровне строк и диаграмма Божа отключены. Обо всём, что отключено, сообщает примечание на карточке.

Контрольный список для отчёта #

Метод:

• Формат таблицы исследований, назначенные роли и мера эффекта со шкалой, в которой шло объединение
• Для смешанной таблицы — какие рецепты сработали и на скольких строках (из блока Что анализ принял на веру) и какие допущения этот блок перечисляет
• Каждое принятое значение (ICC, корреляция до–после, внутриисследовательская корреляция) со значением по умолчанию и диапазоном прогона чувствительности
• Как обработаны строки одного исследования (как независимые, одна составная оценка на исследование или модель CHE) и какая внутриисследовательская корреляция принята
• Метод оценки τ², была ли включена поправка Кнаппа — Хартунга, уровень доверия
• Модераторы (тип, опорные уровни, центрирование) и заданы ли они заранее, совместная модель или скрининг, выполнялся ли перестановочный критерий и с каким числом перетасовок
• Правило для таблиц с двойным нулём и поправка на непрерывность, если объединялись таблицы 2×2
• Исключённые строки и причины исключения — из вводного примечания карточки

Результаты:

• Оценка случайных эффектов с интервалом и p (с t и df при поправке Кнаппа — Хартунга), а для отношения, корреляции или доли — и в естественной шкале. Оценку фиксированного эффекта приводите, если она расходится с оценкой случайных эффектов
• Q с df и p, I², τ² (или τ) и интервал предсказания
• Для модераторов — общий критерий, R², остаточная гетерогенность и средние подгрупп или коэффициенты с интервалами
• Критерий Эггера (или Питерса, или его форма по объёму выборки) и критерий Бегга с числом исследований k, на котором они выполнены, воронкообразная диаграмма и все скорректированные оценки — как анализ чувствительности рядом с основной оценкой, но не вместо неё
• Размах исключения по одному и все исследования, помеченные как влиятельные, с тем, что происходит с выводом без них

Воспроизводимость #

Каждый анализ выводит соответствующий код R в консоль R, где команды можно просмотреть, скопировать или выполнить заново. Модуль использует пакет metafor (escalc, conv.wald и conv.fivenum — для преобразований; aggregate — для составных оценок; rma — для объединённой модели и модели модераторов; permutest — для перестановочного критерия; regtest, ranktest, trimfill, selmodel, leave1out и influence — для диагностики; vcalc, rma.mv и robust — для иерархии) и пакет clubSandwich для кластерно-робастного вывода при моделировании иерархии. Перестановочный критерий берёт число повторов из настройки повторов перестановок, а начальное значение генератора — из настройки зерна бутстрэпа, так что при заданном зерне его p-значения воспроизводятся от запуска к запуску. Уровни доверия следуют глобальной настройке и указаны в заголовках столбцов. Ссылки на пакеты R и на статистические методы, которые действительно применялись в расчёте (метод оценки τ², каждое сработавшее преобразование, критерии асимметрии, вывод в иерархической модели), автоматически появляются вверху карточки результатов. Обоснование правил модуля — как читается таблица, какие строки отвергаются, почему каждый критерий, поправка и диагностика работают именно так — изложено в методических заметках.

Типичные ошибки #

Объединение зависимых строк. Исследование, сообщившее три исхода, — это одно исследование, а не три. Если объединить его строки как отдельные исследования, оно будет учтено трижды, и интервал соответственно сузится. Назначьте модулю метку исследования, прочитайте предупреждение и сделайте выбор на карточке Зависимость.

Строки фиксированного и случайных эффектов как одна оценка, посчитанная двумя способами. Они отвечают на разные вопросы. Если они расходятся, исследования гетерогенны, и приводить следует оценку случайных эффектов вместе с τ² и интервалом предсказания. Не выбирайте ту, что оказалась значимой.

I² как величина гетерогенности. I² — это доля. Большое I² при крошечном τ означает лишь, что исследования достаточно точны, чтобы различать ничтожные расхождения. Умеренное же I² при τ, сопоставимом с самим эффектом, означает, что истинные эффекты простираются от вреда до пользы. Приводите τ или интервал предсказания.

g Хеджеса, введённое как d, или SE, введённая как SD. Ни та ни другая ошибка ничем себя не выдаёт: преобразование выполняется, а число получается неверным. В смешанном формате у каждой величины свой столбец, преобразования групп называют, что они читают, а блок Что анализ принял на веру выводит допущение — сверьте его с каждой статьёй.

Метарегрессия на горстке исследований. Строка бюджета следует ориентиру примерно в десять исследований на коэффициент. Если исследований меньше, значимый модератор, найденный среди нескольких кандидатов, скорее артефакт перебора, чем находка. Задавайте модераторы заранее, пользуйтесь перестановочным критерием и приводите скрининг именно как скрининг.

Скорректированная оценка вместо ответа. Trim-and-fill, PET-PEESE и модель отбора исходят каждый из своего механизма пропажи исследований, и при большой гетерогенности каждый может сильно ошибаться. Их место — в абзаце об анализе чувствительности рядом с основной оценкой, а не в аннотации вместо неё.

Импутация в качестве метода обработки пропусков. Пустые ячейки в таблице исследований заложены в неё изначально: это то, чего статья не сообщила. Импутация заполняет их числами, которых не получило ни одно исследование. Перед объединением установите метод обработки пропусков «попарно». Пока вы этого не сделаете, об этом напоминает уведомление на карточке.