Доверительные интервалы и бутстрэп #

Любое число, полученное по выборке, — это оценка некоторой величины в генеральной совокупности, и другая выборка дала бы другую оценку. Доверительный интервал записывает эту неопределённость явно: не «средний чек равен 8.71», а «8.71, причём с наблюдёнными данными совместимо любое значение от 8.20 до 9.21». Ниже по порядку разобраны оценка, стандартная ошибка как мера её случайного разброса, построенный на ней интервал, смысл уровня доверия и бутстрэп — метод ресэмплинга, которым приложение строит интервалы для статистик без готовой формулы. Числа получены на данных кафе, подготовленных так, как описано на той странице, а интервалы взяты из модулей описательной статистики и сравнительного анализа.

Оценка и её погрешность #

Параметр — числовая характеристика генеральной совокупности, которую не видно ни в одной выборке: сколько в среднем тратят за визит все участники программы лояльности кафе, каков на самом деле разрыв между филиалами. По выборке о параметре судят через его оценку. Подогнанная модель состоит из параметров: любой её коэффициент, нагрузка, дисперсия или ковариация — это параметр, который оценивается при подгонке, а число свободных параметров показывает, сколько чисел модель должна оценить по данным. Столбец Параметр в таблицах показывает, к какому из них относится строка: к члену модели или к весу сглаживания под тем именем, которое дал ему R (alpha, beta). В моделировании структурными уравнениями в этом столбце стоит либо переменная, дисперсия которой приведена в строке, либо фрагмент синтаксиса модели. По оператору в нём видно, какой это параметр: F =~ x1 — нагрузка, x1 ~~ x2 — ковариация, y ~ x — регрессия.

Оценка — значение, которое выборка даёт для характеристики генеральной совокупности: среднего, разности двух средних, корреляции, коэффициента регрессии, доли. До смены меню 200 участников тратили за визит в среднем 8.71. Эти 200 человек — выборка, а 8.71 — оценка того, сколько тратят все участники программы. Точнее одним числом данные не скажут, и всё же это число почти наверняка не совпадает с истинным: у первых двадцати участников в файле среднее 9.82, а другие двадцать дали бы ещё одно, третье значение. Сама по себе оценка не показывает, насколько велика может быть ошибка, — для этого рядом с ней приводят ещё два числа.

Стандартная ошибка показывает, насколько оценка обычно меняется от выборки к выборке: это стандартное отклонение самой оценки по всем выборкам, которые можно было бы извлечь. Для среднего она равна стандартному отклонению переменной, делённому на корень из объёма выборки. У чек_до стандартное отклонение 3.63, поэтому стандартная ошибка среднего по 200 участникам равна 3.63 ⁄ √200 = 0.26, а по 20 участникам была бы 0.81. Этот квадратный корень и определяет цену точности в выборочных исследованиях: чтобы уменьшить стандартную ошибку вдвое, нужно вчетверо больше наблюдений. Стандартную ошибку не следует путать со стандартным отклонением данных. Стандартное отклонение показывает, насколько участники отличаются друг от друга, и почти не зависит от того, сколько их отобрано. Стандартная ошибка показывает, насколько точно известно их среднее, и уменьшается с ростом выборки.

Доверительный интервал #

Доверительный интервал — диапазон значений параметра, совместимых с выборкой при заданном уровне доверия: оценка плюс-минус погрешность, которая зависит от стандартной ошибки и уровня. Интервал показывает то, чего не показывают ни оценка, ни p-значение: насколько большой или малой вполне может оказаться величина. Если в отчёте приведены оценка и её интервал, критерий почти ничего не может к ним добавить.

95% ДИ — интервал на уровне, который приложение использует по умолчанию: оценка плюс-минус примерно две стандартные ошибки (1.97 для 200 наблюдений кафе по t-распределению, 1.96 в пределе). Для среднего чека (8.71) 95% ДИ составляет от 8.20 до 9.21, для разности между филиалами (1.61) — от 0.62 до 2.60, для корреляции между оценка и вкус (0.55) — от 0.44 до 0.64. Смысл у всех трёх одинаков: данные совместимы с любым значением параметра из этого диапазона и плохо согласуются со значениями за его пределами. Смысл «95%» строго определён, но его легко истолковать неверно. Это свойство процедуры: если бы исследование повторили много раз и каждый раз строили интервал, 95 интервалов из 100 содержали бы истинное значение. Это не вероятность 95% того, что истинное значение лежит именно в этом интервале. Истинное значение фиксировано, и конкретный интервал либо содержит его, либо нет. Известно лишь, что построенные так интервалы промахиваются редко. На практике это различие почти не важно: интервал можно считать диапазоном значений, которые данные не позволяют исключить.

Уровень доверия — процент в названии интервала. Он задаёт компромисс между шириной интервала и уверенностью. На уровне 90% интервал для среднего чека — от 8.28 до 9.13, на уровне 95% — от 8.20 до 9.21, на уровне 99% — от 8.04 до 9.37. Чем надёжнее нужно накрыть истинное значение, тем шире приходится брать интервал. Общепринятый уровень — 95%, а настройка Уровень доверия меняет его сразу для всех интервалов приложения.

90%, 99% и другие уровни читаются так же, как 95% ДИ: отличается лишь уровень в заголовке столбца. На тех же данных 99-процентный интервал примерно на треть шире 95-процентного, а 90-процентный примерно на шестую часть уже.

Нижняя и Верхняя — границы интервала, когда в таблице они стоят в отдельных столбцах, а не парой.

Что задаёт ширину #

Ширина интервала равна стандартной ошибке, умноженной на множитель, который зависит от уровня. Поэтому при заданном уровне из всего, чем может управлять исследователь, на ширину влияет только объём выборки, и убывает она обратно пропорционально корню из него. На данных кафе 95% ДИ для среднего чека — 8.71 ± 0.51. Чтобы сузить его вдвое, до ±0.25, понадобилось бы около 800 участников, вчетверо больше. По первым двадцати участникам интервал получается 9.82 ± 1.60. Это полезно знать до исследования, а не после: планировщик анализа переводит нужную точность или ожидаемый эффект в требуемый объём выборки, а как устроен этот расчёт, объясняет страница о мощности и объёме выборки.

Интервал и p-значение #

Интервал и критерий — две стороны одного расчёта. Если 95% ДИ для разности не содержит нуля, двусторонний критерий гипотезы «различия нет» даёт p < 0.05, а если содержит, то не даёт. Интервал разности между филиалами, от 0.62 до 2.60, целиком лежит выше нуля, и p = 0.002. Число визитов после смены меню изменилось на 0.64 с интервалом от −0.003 до 1.28. Этот интервал едва задевает ноль, и p = 0.051. Интервал информативнее: по нему видно, что число визитов могло вырасти чуть больше чем на единицу на участника, а могло не вырасти вовсе, тогда как p = 0.051 означает лишь, что до значимости немного не хватило. «Незначимый» результат с интервалом от −0.003 до 1.28 совсем не похож на результат с интервалом от −5 до 5, и различить их может только интервал. Поэтому в отчёте рядом с каждым p должны стоять размер эффекта и его интервал.

Интервалы для других величин #

Не каждый интервал симметричен, и не каждый строится по формуле.

Интервал для медианы строится не по стандартной ошибке, а по порядковым статистикам, то есть по самим упорядоченным значениям. Приложение предлагает два способа. Медиана времени ожидания в кафе — 4.9 минуты, и точный интервал для неё — от 4.3 до 5.3. Оба способа и выбор между ними описаны в руководстве по описательной статистике.

Интервал для доли строится методом Уилсона. Такой интервал не выходит за пределы 0 и 1 и остаётся надёжным вблизи них, в отличие от учебной формулы. Кафе готовы рекомендовать 135 участников из 200, то есть 67.5%, и 95% ДИ для этой доли — от 60.7% до 73.6%.

Интервал Клоппера — Пирсона — точный интервал для доли. В него входят все доли в генеральной совокупности, при которых наблюдённое число случаев не было бы редким исходом, и находят их по самим биномиальным вероятностям, а не по приближающей их нормальной кривой. Его выводит рядом с наблюдённой долей одновыборочный критерий доли: точный биномиальный критерий опирается на те же вероятности, поэтому интервал и критерий согласованы между собой. Для 135 участников из 200, рекомендующих кафе, интервал составляет от 60.5% до 73.9%, что чуть шире интервала Уилсона (от 60.7% до 73.6%). Для гипотезы о доле 60% критерий даёт p = 0.030, и нижняя граница интервала лежит чуть выше 60%. В отличие от интервала Уилсона, этот интервал никогда не накрывает истинную долю реже, чем обещает уровень доверия. Платить за это приходится тем, что при большинстве объёмов выборки он накрывает её чаще и потому получается шире.

Интервал для стандартного отклонения в приложении строится методом Боннета, который учитывает форму распределения данных. Стандартное отклонение времени ожидания равно 2.91, а интервал для него — от 2.47 до 3.47. Учебный интервал предполагает нормальность, и на скошенной переменной вроде ожидание он завышал бы точность оценки.

Интервал для размера эффекта обычно несимметричен. В сравнении филиалов d Уэлча составляет 0.45, интервал — от 0.17 до 0.74. Интервал корреляции строится на преобразованной шкале и затем переводится обратно, поэтому для r = 0.55 интервал от 0.44 до 0.64 простирается вниз дальше, чем вверх. Интервал, не центрированный на оценке, — не ошибка: такова форма неопределённости этой оценки.

Полоса Уилсона — интервал Уилсона для доли, построенный в каждой точке ЭФР. Высота кривой при каждом значении — это доля наблюдений, не превышающих его, а значит, к ней применим интервал для доли. Полоса, которую образуют такие интервалы, поточечная: каждый из них накрывает с заданным уровнем доверия свою точку истинной кривой, но не всю кривую сразу. Шире всего полоса в середине, где доля известна хуже всего, а к обоим концам, где кривая подходит к 0 и 1, она сходит на нет. Для 95 значений времени ожидания в «Набережной» 95-процентная полоса составляет около ±0.10 у медианы и ±0.05 там, где кривая проходит около 5%. Судить по ней следует в отдельных точках (действительно ли доля ожиданий короче четырёх минут так велика, как показывает кривая?), а не по всей длине: если судить по полосе сразу во многих точках, поточечная гарантия теряет силу. По умолчанию именно она выбрана в поле Доверительная полоса графика ЭФР в анализе распределения и сравнительном анализе, где называется Уилсона (поточечная).

Полоса DKW — одновременная полоса для ЭФР, названная по именам Дворецкого, Кифера и Вольфовица. Это коридор постоянной полуширины $\epsilon =\sqrt{\ln (2/\alpha )/(2n)}$ по обе стороны кривой. Неравенство DKW гарантирует, что такой коридор накрывает всю истинную функцию распределения с вероятностью не ниже уровня доверия. Почти везде эта полоса шире полосы Уилсона: для 95 значений ожидания в «Набережной» на уровне 95% её полуширина равна ±0.14, а у полосы Уилсона даже в самом широком месте ±0.10. К концам она не сужается — такова цена утверждения обо всех точках сразу. Полосой Уилсона можно пользоваться только при отдельном значении, а эту можно просматривать по всей длине или сравнивать с целой кривой другой группы. Она нужна, когда вопрос касается формы распределения, а не доли при одном значении. На графике она называется DKW (одновременная).

Бутстрэп #

У некоторых статистик нет формулы стандартной ошибки или есть формула, верная только для нормальных данных. Бутстрэп заменяет формулу вычислениями: выборка принимается за генеральную совокупность, из неё извлекаются новые выборки, и по ним видно, насколько меняется статистика.

Бутстрэп — это извлечение выборок с возвращением, или бутстрэп-выборок. Из 185 значений времени ожидания случайно выбирают 185, причём одного участника можно выбрать дважды, а другого ни разу. По этой бутстрэп-выборке вычисляют статистику, затем всё повторяют, например тысячу раз. Медианы тысячи таких бутстрэп-выборок разбросаны со стандартным отклонением около 0.25 — это бутстрэп-оценка стандартной ошибки медианы. Из них 95% попадают в промежуток от 4.3 до 5.3, и это бутстрэп-интервал 95%. Формула стандартной ошибки медианы не понадобилась, и никаких допущений о форме распределения ожиданий не делалось: бутстрэп-выборки унаследовали эту форму от исходных данных.

Процентильный бутстрэп — самый простой бутстрэп-интервал: его границы — 2.5-й и 97.5-й процентили значений статистики по бутстрэп-выборкам, как в примере выше. Так построено большинство бутстрэп-интервалов приложения. В таблице они помечены надстрочной буквой «b», чтобы их не приняли за интервалы по формуле.

BCa — интервал с коррекцией смещения и ускорением (bias-corrected and accelerated). Он вносит в процентильный интервал две поправки на то, чего простой вариант не учитывает: распределение по бутстрэп-выборкам может быть не центрировано на оценке, а его разброс может меняться вместе со значением. Описательная статистика строит этим способом интервалы асимметрии и эксцесса, когда выбран бутстрэп. Зачем нужен такой вариант, видно на времени ожидания. Асимметрия времени ожидания равна 1.27. Интервал в предположении нормальности — от 0.92 до 1.62, процентильный бутстрэп даёт от 0.41 до 1.89, а BCa — от 0.58 до 2.20. Интервал по формуле самый узкий, потому что предполагает нормальное распределение переменной, а асимметрия 1.27 показывает как раз обратное. Доверять здесь стоит бутстрэп-интервалам.

Процентильный бутстрэп с коррекцией смещения — процентильный интервал с первой из двух поправок BCa, но без второй. Он учитывает, что распределение по бутстрэп-выборкам может лежать вокруг оценки неравномерно, но не поправляет разброс, меняющийся вместе со значением. Доля бутстрэп-выборок, давших значение ниже оценки, переводится в сдвиг z₀. Если ниже оценки ровно половина, z₀ равен нулю и границами служат обычные 2.5-й и 97.5-й процентили. Если же значения по бутстрэп-выборкам скапливаются с одной стороны, оба процентиля смещаются в сторону от скопления и компенсируют его. Так бывает у ограниченной меры вблизи её нижней границы: дистанционная корреляция или взаимная информация, близкая к нулю, на бутстрэп-выборке может оказаться только больше. Так строятся интервалы в варианте Процентильный бутстрэп с коррекцией смещения (любой метод) корреляционного модуля. Он подходит для любого коэффициента модуля, тогда как вариант «Аналитические (по формуле, где она есть)» — только для тех, у которых формула есть. Та же поправка применяется и к косвенному эффекту в модели медиации. Для оценка и вкус (193 участника) коэффициент r Пирсона равен 0.55. Интервал по формуле, построенный через z-преобразование Фишера, — от 0.44 до 0.64, а интервал с коррекцией смещения по тысяче бутстрэп-выборок — от 0.43 до 0.64. Значения r по бутстрэп-выборкам легли вокруг оценки почти симметрично, поправке нечего было компенсировать, и интервалы разошлись не больше чем на сотую. Так и задумано: для коэффициента с хорошими свойствами этот вариант обходится лишь временем расчёта, а для мер без формулы других интервалов просто нет.

Повторы бутстрэпа — число бутстрэп-выборок. Оно задаётся один раз в Настройках и действует на все бутстрэп-расчёты приложения. Значения по умолчанию, 100, хватает для стандартной ошибки: это стандартное отклонение, а оно быстро перестаёт меняться с ростом числа повторов. Для интервала этого мало, потому что его границы задают отдельные бутстрэп-выборки в хвостах распределения: при 100 повторах 2.5-й процентиль совпадает со значением второй или третьей снизу бутстрэп-выборки, и приложение помечает такой интервал предупреждением. Чтобы интервал можно было приводить в отчёте, нужна хотя бы тысяча повторов. Время расчёта растёт пропорционально числу повторов.

Зерно бутстрэпа определяет, получат ли два запуска одни и те же бутстрэп-выборки. Если поле пустое, при каждом запуске бутстрэп-выборки извлекаются заново случайным образом, и бутстрэп-интервал от запуска к запуску меняется в последних знаках. Приведённый выше интервал от 4.3 до 5.3 получен в одном запуске с тысячей повторов, и при другом запуске каждая его граница может сдвинуться на десятую. Любое целое число, введённое в Настройках, фиксирует последовательность случайных чисел: тогда запуск повторяется в точности, и число из отчёта можно воспроизвести.

Приложение обращается к бутстрэпу везде, где формулы нет или ей нельзя доверять: для стандартной ошибки медианы, интервалов асимметрии и эксцесса в описательной статистике; ранговых и робастных размеров эффекта в сравнительном анализе; косвенных эффектов модели медиации в регрессии; интервалов коэффициентов надёжности; факторных нагрузок и коэффициента омега в факторном анализе; наконец, по запросу, для стандартных ошибок структурной модели. В руководстве каждого модуля перечислено, где он применяет бутстрэп, а метка «b» в таблице означает, что число получено по бутстрэп-выборкам, а не вычислено по формуле.

Как сообщать интервал #

Сначала записывается оценка, затем в скобках интервал с указанием уровня, в тех же единицах, что и оценка: «средний чек 8.71 (95% ДИ от 8.20 до 9.21)», «разность 1.61 (95% ДИ от 0.62 до 2.60)», «r = 0.55 (95% ДИ от 0.44 до 0.64)». Если способов построения несколько, нужно назвать использованный: метод интервала для медианы, число повторов и вид бутстрэп-интервала (процентильный или BCa), метод Боннета для стандартного отклонения. Иначе читатель, пересчитав интервал в другой программе, может получить другую пару чисел. Если уровень доверия отличается от 95%, его указывают при каждом интервале, а не один раз в описании методов.

Где это встречается в DataSuite #

• Описательная статистика — интервалы для среднего, усечённого среднего, медианы, доли, стандартного отклонения, дисперсии, асимметрии и эксцесса с выбором способа построения для медианы и показателей формы, а рядом — стандартные ошибки.
• Сравнительный анализ — интервал для разности между группами в каждом критерии сравнения средних и интервал размера эффекта, если отмечен флажок Доверительные интервалы размеров эффекта. Рядом с одновыборочным критерием доли выводится интервал Клоппера — Пирсона, а на графике ЭФР — полоса Уилсона или DKW.
• Анализ распределения — Доверительная полоса графика ЭФР, поточечная или одновременная.
• Корреляционный анализ — интервал для каждого коэффициента.
• Регрессионный анализ — интервал для каждого коэффициента и бутстрэп-интервалы косвенных эффектов.
• Анализ надёжности, факторный анализ, моделирование структурными уравнениями — бутстрэп-интервалы для коэффициентов, у выборочного распределения которых нет замкнутой формы.
• Метаанализ — объединённый эффект и эффект каждого исследования в виде оценки с интервалом на форест-графике.
• Настройки — уровень доверия, повторы бутстрэпа и зерно бутстрэпа, общие для всех интервалов.