Понятия метаанализа #

Одно исследование даёт одну оценку с одной погрешностью. Метаанализ берёт оценки из нескольких уже опубликованных исследований и сводит их в одну. При этом он взвешивает оценки по точности, измеряет, насколько исследования расходятся, проверяет, связано ли расхождение с какой-либо их особенностью, и выясняет, похожи ли опубликованные исследования на все проведённые. Ниже эти идеи разобраны по порядку: что именно объединяется и как устроены веса; две модели, которые отвечают на разные вопросы; статистики гетерогенности; модераторы; исследования, давшие несколько результатов; эффекты малых исследований и воронкообразная диаграмма; наконец, как читать лесовидную диаграмму. Данные кафе — это одно исследование, и объединять их не с чем. Поэтому числа на странице взяты из набора, который разбирают все учебники метаанализа: тринадцать испытаний вакцины БЦЖ против туберкулёза, собранные Колдицем и соавторами в 1994 году и входящие в пакет metafor под именем dat.bcg. В каждом испытании одну группу прививали, другую оставляли без прививки и затем считали, кто заболел туберкулёзом. Скопируйте таблицу ниже в электронную таблицу, сохраните её в формате CSV и загрузите в модуль метаанализа. Формат определится как числа событий и не-событий 2×2, и все числа на странице воспроизведутся, если выбрать мерой эффекта логарифм относительного риска и оставить остальные параметры по умолчанию.

Группу 1 составляют привитые, группу 2 — непривитые. Столбец latitude содержит абсолютную широту места испытания в градусах, а allocation — способ распределения участников по группам (random означает случайное распределение, alternate — поочерёдное, systematic — систематическое). Относительный риск меньше 1 означает, что вакцина защищала.

Что объединяется #

Метаанализ — это статистическое объединение результатов нескольких исследований, посвящённых одному и тому же вопросу, в одну оценку с одним доверительным интервалом. Исходных данных исследований у аналитика обычно нет, поэтому объединяются не они, а опубликованные сводки: разность средних, корреляция, относительный риск. Сначала каждую сводку приводят к общей шкале, то есть выражают как размер эффекта с собственной погрешностью, а затем размеры эффекта усредняют, давая точным исследованиям больший вес. Тринадцать испытаний БЦЖ дают тринадцать относительных рисков от 0.20 до 1.56. По объединённой оценке вакцина снижала риск туберкулёза примерно вдвое (относительный риск 0.49), но испытания сильно расходятся между собой, и разбору этого расхождения посвящена бо́льшая часть страницы. В терминах приложения каждое исследование — одна строка таблицы исследований, а её столбцы распределяются по ролям. Здесь это числа событий и не-событий группы 1 и группы 2, в других таблицах — среднее, SD и n каждой группы или готовый эффект с дисперсией. Прежде чем что-либо объединять, модуль сообщает, какие роли он нашёл и во что превратилась каждая строка. Врач: испытания → исследования, привитые и непривитые → группа 1 и группа 2, случаи туберкулёза → события; исследователь в области образования: эксперименты в классах → исследования, новая и старая программа → две группы, средние и SD баллов за тест → сводки по группам; психолог: опубликованные корреляции двух шкал → корреляции с объёмами выборок.

Исследование — это один опубликованный результат, то есть одна строка таблицы с собственной оценкой и объёмом выборки. Обычно это одна статья. Но если статья приводит один и тот же исход для двух независимых выборок, это два исследования, а если одна и та же выборка описана в ней дважды (два исхода, два момента времени), это одно исследование с двумя результатами, и об этом речь пойдёт ниже. В испытании Aronson 1948 наблюдали 123 привитых и 139 непривитых детей и зарегистрировали 4 и 11 случаев туберкулёза. В испытании TPT Madras 1980 в каждой группе было по 88 391 человеку, а случаев — 505 и 499. Каждое из них — одно исследование, но во втором информации несравнимо больше.

Ошибка выборки — величина, на которую изменилась бы оценка исследования, если бы его повторили на новых участниках. Её мерой служит стандартная ошибка оценки, а квадрат стандартной ошибки называют выборочной дисперсией. Чем больше объём выборки, тем меньше эта ошибка. Относительный риск в испытании Aronson равен 0.41 при стандартной ошибке 0.57 в логарифмической шкале, так что истинное значение может лежать где угодно примерно от 0.13 до 1.26. У TPT Madras относительный риск 1.01 при стандартной ошибке 0.06, а интервал — от 0.90 до 1.14. Любая таблица исследований, которую принимает модуль, должна давать для каждой строки эффект и его выборочную дисперсию: из приведённой стандартной ошибки, из доверительных границ, из средних, SD и размеров групп или из таблицы 2×2. Без дисперсии исследования нечем взвесить.

Взвешивание по обратной дисперсии даёт каждому исследованию вес, обратный его выборочной дисперсии, $w_i=1/v_i$: исследование с вдвое меньшей дисперсией весит вдвое больше. Объединённая оценка — взвешенное среднее

со стандартной ошибкой $1/\sqrt{\sum w_i}$. Она меньше, чем у любого отдельного исследования, потому что ошибки исследований отчасти компенсируют друг друга. Такое взвешивание даёт самую точную объединённую оценку, какую можно получить из этих исследований, но лишь при условии, что все они оценивают одно и то же. Среди испытаний БЦЖ на долю TPT Madras приходится 41% общего веса, на Stein & Aronson 24%, а на Aronson лишь 0.5% и на Comstock & Webster 0.3%. Ответ, таким образом, определяют два крупнейших испытания: объединённый относительный риск 0.65 близок к их собственным 1.01 и 0.46.

Объединённая оценка — само это взвешенное среднее вместе с доверительным интервалом и проверкой гипотезы об отсутствии эффекта. Модуль приводит её в той шкале, в которой объединялись эффекты (логарифм отношения, z Фишера для корреляции), а рядом — значение в естественной шкале: логарифму относительного риска −0.43 соответствует относительный риск 0.65. Объединённых оценок на карточке две, по двум моделям, описанным ниже, и первым делом стоит посмотреть, согласуются ли они.

Две модели, два вопроса #

Модель фиксированного эффекта исходит из того, что все исследования оценивают один и тот же истинный эффект и различаются только ошибкой выборки. Будь каждое испытание бесконечно большим, все тринадцать дали бы один и тот же относительный риск. Объединённая оценка этой модели — описанное выше среднее с весами, обратными дисперсиям, а её доверительный интервал относится только к этим исследованиям. На испытаниях БЦЖ модель даёт относительный риск 0.65 [0.60, 0.70]: интервал узкий, и определяют его в основном два крупнейших испытания. Модель называют ещё моделью общего эффекта, и это название точнее передаёт её допущение. Выполняется ли оно, показывают статистики гетерогенности, и на испытаниях БЦЖ оно не выполняется.

Модель случайных эффектов допускает, что сами истинные эффекты различаются от исследования к исследованию (в одних условиях вакцина действительно защищала лучше, чем в других), и считает их выборкой из распределения с некоторым средним и разбросом. Этот разброс модель оценивает как межисследовательскую дисперсию τ² и перед взвешиванием прибавляет её к выборочной дисперсии каждого исследования, $w_i^{\ast }=1/(v_i+{\tau }^2)$. Веса от этого выравниваются: огромное исследование может свести к минимуму собственную ошибку выборки, но не различия между исследованиями. На испытаниях БЦЖ вес TPT Madras падает с 41 до 10%, вес Aronson растёт с 0.5 до 5%, а объединённый относительный риск смещается с 0.65 до 0.49 [0.33, 0.73]. Теперь в расчёт входят и малые испытания, большинство из которых показало сильный защитный эффект. Оценка этой модели — среднее распределения истинных эффектов, и доверительный интервал относится к этому среднему, а для следующего исследования служит интервал предсказания. По умолчанию модуль оценивает τ² методом ограниченного максимального правдоподобия, а при малом числе исследований проверяет оценку по t-распределению вместо нормального (поправка Кнаппа — Хартунга): здесь t(12) = −3.95, p = 0.002. Сообщать следует оценку модели случайных эффектов, если нет причин считать эффект действительно единым. Если же две оценки расходятся, как 0.65 и 0.49, это расхождение само по себе результат: крупные и малые испытания приходят к разным выводам.

Насколько расходятся исследования? #

Гетерогенность — это различия между истинными эффектами исследований, то есть расхождение сверх того, что дала бы одна ошибка выборки. Какая-то гетерогенность есть всегда: не бывает двух испытаний с одинаковыми участниками, одинаковой дозой и одинаковым способом измерять исход. Вопрос в том, насколько она велика и меняет ли она вывод. Тринадцать относительных рисков БЦЖ лежат в пределах от 0.20 до 1.56, и статистики ниже показывают, что этот разброс в основном реален: испытания оценивали не один и тот же эффект. Гетерогенность — не изъян метаанализа. Нередко это самый полезный его результат, потому что следующий вопрос, почему исследования различаются, ни одно отдельное исследование поставить не может.

Q Кокрена — критерий гетерогенности. Это взвешенная сумма квадратов отклонений исследований от объединённой оценки модели фиксированного эффекта:

При отсутствии гетерогенности Q имеет распределение χ² с k − 1 степенями свободы, где k — число исследований. На испытаниях БЦЖ Q = 152.2 при 12 степенях свободы, p < 0.0001: испытания расходятся гораздо сильнее, чем может объяснить ошибка выборки. У критерия те же ограничения, что у любого p-значения. На дюжине крупных испытаний он обнаруживает даже ничтожное расхождение, а на пяти малых пропускает большое. Поэтому его рассматривают вместе с двумя следующими величинами, которые показывают не то, есть ли расхождение, а насколько оно велико. На карточке он называется Критерий гетерогенности.

Межисследовательская дисперсия (τ²), или тау-квадрат, — дисперсия истинных эффектов по исследованиям в той шкале, в которой объединялись эффекты. Квадратный корень из неё, τ, — межисследовательское стандартное отклонение, и его можно прямо сопоставлять с самим эффектом. На испытаниях БЦЖ τ² = 0.31 в шкале логарифма относительного риска, то есть τ = 0.56. Истинные логарифмы относительного риска отдельных испытаний рассеяны вокруг своего среднего −0.71 со стандартным отклонением 0.56, и в шкале самого относительного риска средние две трети испытаний попадают примерно в диапазон от 0.28 до 0.86. Это и есть величина расхождения, выраженная в единицах эффекта. Модуль приводит и интервал для τ², здесь от 0.12 до 1.11. Он широк, как всегда бывает при тринадцати исследованиях. Именно оценка τ² превращает веса модели фиксированного эффекта в веса модели случайных эффектов. Способов оценить τ² несколько: по умолчанию модуль использует ограниченное максимальное правдоподобие, а в большинстве старых работ применялся метод ДерСимониана — Лэрда.

I² — доля общей вариации наблюдаемых эффектов, которая приходится на гетерогенность, а не на ошибку выборки, $I^2=(Q-\text{df})/Q$. Её выражают в процентах, и по традиции 25, 50 и 75% считаются границами низкой, умеренной и высокой гетерогенности. На испытаниях БЦЖ I² = 92% [82%, 98%]: почти всё, что видно на лесовидной диаграмме, — реальное расхождение, а не шум. Из статистик гетерогенности I² цитируют чаще всех и чаще всех понимают неверно: это доля, а не величина расхождения. У двух метаанализов может быть одинаковое I² = 75%, но в одном τ ничтожно мало, а в другом сравнимо с самим эффектом. В первом случае это очень точные исследования, способные уловить крошечные различия, во втором — исследования с истинными эффектами от вреда до пользы. К тому же I² растёт с объёмом выборок даже при неизменном τ²: у крупных исследований ошибка выборки меньше, и на её фоне та же гетерогенность выглядит больше. I² отвечает на вопрос, какая часть картины — реальное расхождение, а о том, насколько оно велико, судят по τ² и интервалу предсказания.

H² — отношение общей вариации к вариации за счёт ошибки выборки, $H^2=Q/\text{df}$. Значение 1 означает, что сверх случайности различий нет, а значение 4 — что исследования рассеяны вдвое шире (H = 2), чем объяснили бы одни их стандартные ошибки. На испытаниях БЦЖ H² = 12.9, то есть испытания рассеяны примерно в три с половиной раза шире, чем при одной ошибке выборки. По сути H² сообщает то же, что I² (они взаимно однозначно связаны, $I^2=(H^2-1)/H^2$), но на шкале без верхней границы.

Интервал предсказания для нового исследования — диапазон, в который, как ожидается, попадёт истинный эффект нового исследования из той же совокупности исследований. Он строится как объединённая оценка плюс-минус t-квантиль, умноженный на $\sqrt{{\text{SE}}^2+{\tau }^2}$, и потому учитывает не только неопределённость среднего, но и разброс между исследованиями. При τ² больше нуля он всегда шире доверительного интервала и прямо отвечает на вопрос «чего ожидать, если провести такое исследование в своих условиях?». На испытаниях БЦЖ доверительный интервал для среднего относительного риска в модели случайных эффектов — от 0.33 до 0.73, то есть в среднем вакцина защищает. Интервал предсказания при этом простирается от 0.13 до 1.79: новое испытание может обнаружить как снижение риска на семь восьмых, так и его рост на три четверти. Если интервал предсказания включает 1 (отсутствие эффекта), а доверительный интервал её не включает, как в этом примере, то средний эффект реален, но новое исследование вполне может его не обнаружить, и об этом нужно написать в статье. На лесовидной диаграмме модуль рисует этот интервал пунктирным усом сквозь ромб. Не следует путать его с интервалом предсказания в регрессии: тот относится к одному новому наблюдению, а не к новому исследованию.

Почему они расходятся? #

Модератор на уровне исследования — характеристика самих исследований (а не их участников), способная объяснить часть гетерогенности: год, доза, страна, популяция, способ измерения исхода. В приложении модератором может быть любой столбец таблицы исследований, не занятый ни одной ролью. С категориальным модератором расчёт становится анализом подгрупп, с непрерывным — метарегрессией, и оба отвечают на вопрос «зависит ли эффект от этой характеристики?», а не «есть ли эффект?». Анализ модераторов остаётся наблюдательным, даже если каждое исследование было рандомизированным испытанием. Никто не распределял испытания БЦЖ по широтам случайно, поэтому всё, что меняется вместе с широтой (эпоха, штамм вакцины, способ диагностики), входит в результат вместе с ней. Выводы о модераторах — гипотезы для следующих исследований, а не установленные причины.

Анализ подгрупп делит исследования по категориальному модератору, объединяет каждую подгруппу отдельно и проверяет, различаются ли средние эффекты подгрупп. Если разделить испытания БЦЖ по способу распределения участников, объединённый относительный риск составит 0.38 в семи рандомизированных испытаниях, 0.60 в двух с поочерёдным распределением и 0.65 в четырёх с систематическим. Возникает соблазн заключить, что лучше организованные испытания показывают более сильный защитный эффект. Однако проверка различия даёт F(2, 10) = 0.97, p = 0.41, и доля τ², объяснённая модератором, равна нулю. При двух исследованиях в одной подгруппе и четырёх в другой мощности у анализа почти не было, и для анализа подгрупп это обычное положение. Поэтому модуль не оценивает отдельное τ² в подгруппе со слишком малым числом исследований и под списком модераторов показывает, сколько исследований приходится на коэффициент, чтобы ещё до запуска было видно, хватает ли исследований.

Метарегрессия проводит линию регрессии через исследования: исходом служит эффект каждого исследования, предиктором — непрерывный модератор, а веса по обратной дисперсии определяют, насколько сильно каждое исследование тянет линию к себе. Классический результат на испытаниях БЦЖ состоит в том, что вакцина защищала тем лучше, чем дальше от экватора проходило испытание. Логарифм относительного риска уменьшается на 0.029 на каждый градус абсолютной широты, t(11) = −3.55, p = 0.005, что соответствует относительному риску около 0.88 на 13° (Madras, Frimodt-Moller) и около 0.26 на 55° (Ferguson & Simes). Широта объясняет 76% межисследовательской дисперсии (τ² падает с 0.31 до 0.08), но оставшееся расхождение, Q = 30.7 при 11 степенях свободы, всё ещё больше случайного. Линию показывает блок Пузырьковая диаграмма, где каждое исследование — пузырёк с площадью, пропорциональной его весу. Наклон описывает связь между исследованиями. Понимать его как «переезд человека на 10° к северу снижает его риск» — экологическая ошибка, ведь ни одно испытание никого никуда не перемещало. При малом числе исследований метарегрессия к тому же легко переобучается. Рабочее правило — около десяти исследований на коэффициент: один непрерывный модератор на тринадцати испытаниях ему удовлетворяет, а второй бы уже нарушил. Поэтому модераторы задают заранее, число проверок ограничивают, а когда исследований мало, используют перестановочный критерий вместо t-распределения.

Несколько результатов одного исследования #

Зависимые размеры эффекта — две строки таблицы исследований или больше, полученные на одних и тех же участниках: испытание с тремя исходами, один исход в двух временных точках или несколько подгрупп одной выборки. При объединении каждая строка считается независимым исследованием, так что такое исследование учитывается несколько раз, его данные получают завышенный вес, а объединённый интервал оказывается неоправданно узким. В таблице БЦЖ зависимых строк нет, каждое испытание встречается один раз. Если же в обзоре они есть, возможны три подхода. Наивный объединяет строки как есть, а модуль предупреждает о повторяющихся метках. Простой сначала сводит строки каждого исследования в одну составную оценку при предполагаемой корреляции между ними, так что каждое исследование учитывается один раз. Полный моделирует иерархию (случайный эффект для исследования и для каждой строки внутри него) и проверяет каждую оценку с кластерно-робастной стандартной ошибкой. Его цена — отключение блоков, у которых нет формы для зависимых эффектов. Все три варианта модуль предлагает на карточке Зависимость, которая появляется, когда метка исследования повторяется, а раздел руководства Зависимость объясняет, какой выбрать.

Все ли исследования опубликованы? #

Эффекты малых исследований — закономерность, при которой малые исследования сообщают о более сильных эффектах, чем крупные. Причин у неё может быть несколько, и критерии не позволяют их различить. Это может быть публикационное смещение (о нём ниже) или реальное различие между участниками малых и крупных исследований: малые испытания часто проводят в специализированных центрах на более тяжёлых больных. Это может быть и более низкое методологическое качество малых испытаний, и просто случайность. Модуль проверяет эту закономерность регрессией Эггера (эффекты регрессируются на свои стандартные ошибки) и ранговой корреляцией Бегга. На испытаниях БЦЖ ни тот, ни другой критерий её не находит: у Эггера t(11) = −0.78, p = 0.45, у Бегга τ = 0.03, p = 0.95. При менее чем десяти исследованиях мощности у обоих критериев почти нет, поэтому незначимый результат никогда не доказывает, что литература полна.

Публикационное смещение — склонность исследований со значимыми или яркими результатами попадать в печать, а исследований с нулевыми результатами так и не выходить в свет. В итоге исследования, которые может найти автор обзора, не совпадают с теми, что были проведены. В метаанализе оно проявляется как эффекты малых исследований: у малого исследования с нулевым результатом больше всего шансов остаться неопубликованным, поэтому найденные малые исследования смещены в сторону сильных эффектов. Следствие — объединённая оценка, смещённая от нуля. Есть несколько методов, оценивающих, каким был бы объединённый эффект при наличии недостающих исследований. Метод trim-and-fill достраивает исследования, которые восстановили бы симметрию воронки. Метод PET–PEESE продлевает линию Эггера до исследования бесконечного объёма. Модель отбора оценивает, насколько реже публиковались незначимые результаты. Каждый метод опирается на свою модель того, как исследования пропали, и при большой гетерогенности любой из них может сильно ошибаться. Поэтому их приводят как анализы чувствительности рядом с основной оценкой и никогда не вместо неё.

Воронкообразная диаграмма показывает эффект каждого исследования в зависимости от его стандартной ошибки: точные исследования оказываются наверху, неточные рассыпаются внизу. Если разброс исследований вызван только ошибкой выборки, они заполняют симметричную воронку вокруг объединённой оценки. Пустой участок в одном из нижних углов, когда малые исследования есть на стороне сильных эффектов и отсутствуют на другой, — визуальный признак эффектов малых исследований. Границы воронки модуль проводит там, где лежали бы исследования при одной ошибке выборки (95% из них при уровне доверия по умолчанию), и закрашивает серым области незначимости. Пустой участок внутри серой области — место незначимых исследований, как раз тех, что отсеивает публикационное смещение, а пустой участок вне её указывает на другую причину. На диаграмме БЦЖ два крупных испытания расположены наверху, одно на линии отсутствия эффекта, другое на 0.46, а одиннадцать малых разбросаны внизу по обе стороны от них. Так и выглядит воронка без заметной асимметрии. Картину, как и критерии, рассматривают как проверку, а не как приговор.

Какое исследование определяет результат? #

Анализ с исключением по одному заново подгоняет модель столько раз, сколько есть исследований, каждый раз без одного из них, и сообщает диапазон получившихся объединённых оценок. Если оценка почти не меняется, какое бы исследование ни исключили, она опирается на весь набор. Если же вывод меняется при исключении одного исследования, он держится на этом исследовании, и в статье приводят анализ с ним и без него. На испытаниях БЦЖ тринадцать повторных подгонок дают относительные риски от 0.45 (без TPT Madras) до 0.53 (без Hart & Sutherland), все заметно ниже 1: вывод не держится ни на одном отдельном испытании. Помимо этого модуль приводит для каждого исследования меры влияния из metafor и диаграмму Божа. На ней по одной оси отложен вклад каждого исследования в гетерогенность, по другой — его влияние на объединённую оценку, так что исследование в правом верхнем углу определяет и то и другое. Влиятельное исследование не значит ошибочное: пометка лишь показывает, что оценка на него опирается. Это повод привести оба анализа, а не повод его исключать.

Как читать лесовидную диаграмму #

Лесовидная диаграмма изображает каждое исследование квадратом в точке его эффекта с горизонтальной линией доверительного интервала. Площадь квадрата пропорциональна весу исследования, а объединённая оценка показана внизу ромбом, ширина которого равна её доверительному интервалу. Вертикальная линия отмечает отсутствие эффекта (отношение 1, разность 0), и если линия исследования её пересекает, то само по себе это исследование гипотезу об отсутствии эффекта не отвергло. На диаграмме БЦЖ два крупных испытания, TPT Madras и Stein & Aronson, выглядят большими квадратами с короткими линиями, одно на линии отсутствия эффекта, другое заметно левее. Малые ранние испытания изображены маленькими квадратами с длинными линиями, в основном левее этой вертикали. Ромб расположен на 0.49 и не доходит до 1, а пунктирный ус сквозь него (интервал предсказания) доходит до 1.79. Отношения откладываются на логарифмической оси, чтобы уменьшение и увеличение вдвое оказывались на одинаковом расстоянии от 1, а подписи оси даны в естественных единицах. Начинать стоит с диаграммы, ещё до статистик, и смотреть, выстраиваются ли исследования в ряд, не стоит ли особняком один большой квадрат и согласуются ли ромб и ус.

Где это встречается в DataSuite #

• Метаанализ — сам модуль: таблица исследований, распределяемая по ролям в любом из одиннадцати форматов; размеры эффекта, пересчитанные из того, что приводят статьи; обе модели со статистиками гетерогенности и интервалом предсказания; анализ подгрупп и метарегрессия; варианты учёта зависимости; воронкообразная диаграмма с критериями и поправками; диагностика влияния.
• Размеры эффекта — меры, в которые переводится таблица исследований: стандартизованные разности средних, корреляции, отношения шансов и относительные риски.
• Доверительные интервалы — стандартная ошибка, которую даёт каждое исследование, и интервал объединённой оценки.
• Проверка гипотез — p-значения объединённой оценки, критерия гетерогенности и модераторов, а также почему при малом числе исследований лучше перестановочное p.