Распределения и нормальность #

Ещё до всякого критерия числовая переменная — это набор значений, и у этого набора есть форма. Большинство чисел, с которых начинается таблица результатов (среднее, стандартное отклонение, медиана, квартили, асимметрия), описывают именно её, а одна форма — нормальная кривая — лежит в основе многих критериев. Ниже разобрано, что такое распределение и какими числами описывают его центр, разброс и скошенность (у категориальной переменной — равномерность уровней). Затем речь пойдёт о нормальном распределении: что это такое, почему оно так важно и как проверить, подчиняется ли ему переменная. Все числа получены на данных кафе, подготовленных так, как описано на той странице, и любое из них можно воспроизвести в модулях описательной статистики и анализа распределения.

Переменная — это форма #

Переменная — один столбец набора данных: величина или категория, записанная для каждого наблюдения под именем из заголовка столбца (ожидание, чек_до, филиал). Под тем же именем переменная значится на панели «Переменные». Все роли, которые запрашивает панель модуля, — зависимая переменная, группирующая переменная, предиктор, пункт — заполняются переменными. В таблице результатов заголовок Переменная называет столбец данных, к которому относится строка. Поэтому таблицу, где каждой переменной отведена одна строка (пропуски, проверка нормальности, свободный член или R² в модели), разбирают построчно: каждая строка — утверждение об одном столбце. В модели с латентными переменными строка может называть не столбец, а фактор: его задаёт модель, и ни в одном столбце он не хранится. Что означают числа в строке, объясняет раздел руководства модуля об этой таблице.

Распределение — картина значений переменной: какие значения встречаются, как часто и где они скапливаются. Если выстроить по порядку 185 значений времени ожидания, которые указали участники программы лояльности кафе, окажется, что большинство из них лежит между двумя и семью минутами, несколько — меньше минуты, а единичные доходят до десяти, шестнадцати и двадцати. Это и есть распределение переменной ожидание, и всё остальное на странице — способы описать его короче. Такое описание нужно на каждом шагу: распределение есть у зависимой переменной в каждой группе сравнения, у предиктора в регрессии и у любого столбца на панели «Переменные» ещё до того, как его выбрали для анализа.

Гистограмма — изображение распределения: значения разбиты на интервалы одинаковой ширины, и над каждым интервалом стоит столбик, высота которого равна числу попавших в него значений. Если разбить время ожидания на интервалы по две минуты, высоты столбиков будут 21, 52, 53, 33, 15, 9, 0, 0, 1, 1: крутой подъём к пику около трёх–пяти минут, долгий пологий спуск вправо и два участника в стороне от остальных, дальше шестнадцати минут. Такие же интервалы для чек_до дают 5, 13, 29, 43, 45, 31, 16, 9, 6, 3, и подъём со спадом почти зеркальны. Первое распределение скошено, второе близко к колоколу, к которому эта страница ещё не раз вернётся. Гистограмма в анализе распределения накладывает на столбики сглаженную кривую плотности, а по желанию и нормальную кривую с тем же средним и стандартным отклонением, чтобы их можно было сравнить на глаз. По гистограмме отвечают на три вопроса: один пик или несколько, симметрична она или скошена, есть ли значения вдали от остальных. В разделах ниже каждый из этих вопросов получает числовой ответ.

У медсестры это дни до выздоровления, у учителя — баллы за контрольную, у маркетолога — время на странице сайта. Каждый раз это набор значений со своей формой, и от формы зависит, какая сводка описывает его верно: вопросы остаются те же, меняются только названия.

Где середина #

Объём выборки — число наблюдений со значением этой переменной, то есть тех, по которым вычислена статистика, а не число строк в файле. У переменной ожидание их 185, потому что пятнадцать участников оставили поле пустым, у оценка — 193, у чек_до — 200. С этого числа стоит начинать чтение любой таблицы: все остальные числа в строке вычислены именно по этим наблюдениям, а объём меньше ожидаемого обычно означает, что сказались пропущенные значения.

Итого — строка или столбец с суммой соседних. От этого числа отсчитывают доли остальных строк. В таблице частот итог учитывает все наблюдения, включая пустые, и поэтому может быть больше объёма выборки, от которого считаются проценты без учёта пропусков. В таблице сопряжённости столбец Итого содержит сумму по каждой строке, а строка Итого — по каждому столбцу. Это маргинальные суммы, из которых строятся ожидаемые частоты. В разложении дисперсии итог — это вся дисперсия, которую делят между собой факторы, а в таблице дисперсионного анализа — сумма квадратов, разделённая между моделью и остатками. На карточке путей или медиации слово означает другое: общий эффект предиктора на исход, то есть его прямой путь вместе со всеми косвенными путями через медиаторы. Как его раскладывают на составляющие, описано в руководствах по регрессии и по моделированию структурными уравнениями.

Среднее значение — среднее арифметическое: сумма всех значений, делённая на объём выборки. 185 значений времени ожидания в сумме дают 961 минуту, поэтому среднее ожидание — 5.20 минуты, а средний чек до смены меню — 8.71. Среднее — это центр тяжести распределения, точка, в которой набор значений уравновесился бы на весах. Поэтому оно хорошо описывает примерно симметричное распределение и плохо — несимметричное: точку равновесия смещает всё, что лежит далеко. Кроме того, именно средние сравнивает большинство критериев: t-критерий проверяет, различаются ли два средних, а коэффициент регрессии показывает, как меняется среднее.

Медиана — серединное значение: наблюдения упорядочивают и берут стоящее посередине, а при чётном их числе — среднее двух центральных. Половина участников ждала меньше 4.9 минуты, половина — дольше. Чек до смены меню у половины был меньше 8.36, у другой половины — больше. Медиане безразлично, насколько далеко лежат крайние значения, важно лишь, по какую сторону от неё они находятся. Поэтому она остаётся на месте, когда среднее смещается. Если среднее и медиана почти совпадают, как у чек_до (8.71 и 8.36), распределение примерно симметрично. Если среднее заметно отходит от медианы в одну сторону, его оттягивает хвост с этой стороны.

Мода — самое частое значение. Для переменной с немногими различными значениями это естественная сводка: у переменной оценка мода равна 7 (эту оценку поставили 40 участников из 193), а на четыре из шести пунктов о еде и обслуживании чаще всего отвечали 4 (у цена мода равна 3, а у обратного пункта медленно — 1). Для измерений мода почти бессмысленна, потому что совпадения в них случайны: мода ожидание равна 2.4 минуты только потому, что ровно это время назвали семь участников. Как приложение показывает переменную с несколькими модами или без моды, описано в руководстве по описательной статистике.

Когда среднее и медиана расходятся #

Разницу хорошо видно на одном значении. Пока в чек_после остаётся заказ кейтеринга — те самые 66.53, которые на странице о данных кафе заменяются пропуском, — среднее равно 10.03, а медиана 9.40. Без него среднее равно 9.75, медиана 9.39. Одна ячейка из двухсот сдвинула среднее на 0.28, а медиану на 0.01. Среднее здесь не ошибается: оно верно отражает то, что общая сумма покупок действительно выросла. Но это повод смотреть на оба показателя, прежде чем выбрать, какой из них сообщать, и предпочитать медиану там, где хвост длинный или несколько значений лежат далеко от остальных: время ожидания, доходы, число посещений, время реакции.

Модуль описательной статистики предлагает и промежуточные оценки: усечённое среднее, которое перед усреднением отбрасывает заданный процент значений с каждого края, и псевдомедиану Ходжеса — Лемана. Они нужны для данных, которые недостаточно чисты для обычного среднего, но и не настолько скошены, чтобы от среднего отказываться.

Насколько разбросаны значения #

Две переменные могут иметь одинаковое среднее и при этом совсем не походить друг на друга: все участники могли ждать ровно по пять минут, а могло быть так, что половина ждала минуту, а половина — девять. Поэтому второе число, без которого сводка неполна, — разброс. Меры разброса делятся на два семейства: одни построены на среднем, другие на упорядоченных значениях.

Стандартное отклонение — типичное расстояние от значения до среднего. Чтобы его получить, отклонение каждого значения от среднего возводят в квадрат, квадраты усредняют и из результата извлекают квадратный корень. У ожидание оно равно 2.91 минуты, у чек_до — 3.63, у оценка — 1.90 балла по шкале от 0 до 10. Стандартное отклонение выражено в тех же единицах, что и сама переменная, поэтому его и приводят рядом со средним. На нём построены почти все критерии приложения: статистика t — это разность, делённая на величину, составленную из стандартных отклонений, а размер эффекта вроде d Коэна — разность, измеренная в стандартных отклонениях. Отклонения возводятся в квадрат до усреднения, поэтому вклад далёкого значения растёт намного быстрее, чем его удалённость: один заказ кейтеринга поднимает стандартное отклонение чек_после с 3.70 до 5.45.

Дисперсия — квадрат стандартного отклонения, то есть средний квадрат отклонения от среднего до извлечения корня. Она выражена в квадратах единиц (минуты², денежные единицы²), и напрямую её трудно истолковать. В таблицах результатов она появляется в основном потому, что на ней построены критерии: статистика F — отношение двух дисперсий, а «объяснённая дисперсия» — доля дисперсии, которую учитывает модель. Дисперсия ожидание равна 8.49, то есть 2.91². Переключатель статистик выборки и генеральной совокупности определяет, делить ли сумму квадратов на n или на n − 1. Выборочная формула, принятая по умолчанию, даёт несмещённую оценку разброса в генеральной совокупности, и именно её используют все критерии.

Размах — разность наибольшего и наименьшего значений: у ожидание это 19.6 минуты, от 0.3 до 19.9. Это самая грубая мера разброса, она целиком определяется двумя крайними наблюдениями. Главная её польза диагностическая: невозможный для переменной размах указывает на значение, которого в данных быть не должно.

Мин — наименьшее значение в выборке. Его стоит посмотреть раньше всего остального в строке: минимум −999 или 0 у переменной, которая не может быть нулевой, означает код, не объявленный пропуском.

Макс — наибольшее значение. У возраст максимум равен 999, пока метка-заглушка не объявлена пропуском, и 68 после этого, у чек_после — 66.53, пока заказ кейтеринга не удалён, и 20.08 после. Оба изъяна данных видны именно в этом столбце.

Процентиль — значение, ниже которого лежит заданный процент наблюдений. 90-й процентиль ожидание равен 8.9 минуты (девять участников из десяти ждали меньше), 10-й — 1.9. Процентили описывают распределение без опоры на среднее, поэтому они хорошо подходят для скошенных распределений: фраза «каждый десятый участник ждал дольше девяти минут» сообщает то, чего не передают среднее и стандартное отклонение. Медиана — это 50-й процентиль.

1-й квартиль (Q1) — 25-й процентиль: четверть участников ждала меньше 3.0 минуты.

3-й квартиль (Q3) — 75-й процентиль: три четверти участников ждали меньше 6.9 минуты. Вместе с медианой два квартиля делят упорядоченные значения на четыре равные части. Приложение вычисляет их линейной интерполяцией (тип 7 в R), как и большинство программ, поэтому его квартили совпадут с ящиком с усами, построенным в любой другой программе.

МКР — межквартильный размах, разность Q3 и Q1, то есть ширина центральной половины данных. У ожидание он равен 6.9 − 3.0 = 3.9 минуты, у чек_до — 4.77. Как и медиана, МКР не зависит от того, насколько далеко лежат крайние значения, поэтому его и приводят рядом с медианой: заказ кейтеринга увеличивает стандартное отклонение чек_после с 3.70 до 5.45, а МКР — лишь с 4.94 до 4.99. Если МКР мал по сравнению с размахом (у времени ожидания 3.9 против 19.6), у данных плотное ядро и немного далеко отстоящих наблюдений. Именно для такой формы и придуман ящик с усами.

В отчёте для примерно симметричной переменной приводят среднее и стандартное отклонение, а для скошенной — медиану и МКР (или оба квартиля). Таблица описательных статистик по группам обычно содержит все эти числа, и читателю нужно знать, какой паре доверять. Правило одно для любой области: для сроков выздоровления в отделении — медиана и МКР, для баллов класса за контрольную — среднее и стандартное отклонение, для времени на сайте — медиана и МКР.

Насколько равномерно используются уровни #

У категориальной переменной нет ни среднего, ни стандартного отклонения. Ближе всего к разбросу для неё то, как наблюдения распределены по уровням: все в одном уровне, поровну во всех или что-то среднее. Это выражают числом три меры. Каждая применима и к числовой переменной, если считать уровнем каждое различное значение, — так и поступает описательная статистика, когда эти меры включены для числовой переменной. Первая мера — энтропия H (её определение дано среди других мер теории информации). Она равна 0, когда у всех наблюдений одно значение, и достигает максимума ln k для k уровней, когда все уровни встречаются одинаково часто. Две другие меры построены на тех же долях.

Равномерность Пиелу — энтропия переменной, делённая на наибольшую энтропию, возможную при её числе уровней:

Она меняется от 0, когда все наблюдения приходятся на один уровень, до 1, когда все уровни встречаются одинаково часто, и позволяет сравнивать разнообразие двух переменных. Дело в том, что H растёт с числом уровней: два равночастотных уровня дают ln 2 = 0.69, пять — 1.61, восемьдесят два — 4.41. Поэтому H показывает разнообразие в абсолютном выражении, а J — насколько близко переменная подходит к максимуму, возможному при её уровнях. В кафе филиал делится на 101 участника «Набережной» и 99 участников «Привокзальной»: H = 0.69, J = 1.00, то есть два уровня распределены предельно ровно. У пятибалльного пункта вкус ответы от 1 до 5 дали 11, 34, 49, 57 и 49 участников, и для него H = 1.51, J = 0.94. Это близко к потолку 1.61, а недобор дают скопление ответов на 4 и редкие единицы (в блоке об энтропии для того же пункта указано 1.52: корреляционный модуль вносит поправку на малую выборку, а описательная таблица — нет). Среди 185 значений времени ожидания различных 82, и каждое считается уровнем: H = 4.25, как у семидесяти равночастотных уровней, и J = 0.965. Если сравнить все три переменные, J показывает, что каждая разнообразна почти настолько, насколько позволяют её уровни. Это верно, но больше J ничего не сообщает. По H же филиалы разнообразны как два равночастотных уровня, а время ожидания — как семьдесят. Итак, J сравнивает переменные с разным числом уровней, а H измеряет само разнообразие. На времени ожидания видно и то, где эти меры перестают работать. Когда почти все значения различны, все доли близки к 1/n, поэтому H держится около ln n, а J около 1 при любой форме распределения. Значение 0.965 не отражает длинного хвоста ожиданий, а означает лишь, что одинаковое время назвали немногие участники. Поэтому описательный модуль помечает эти ячейки, как только 90% или больше значений числовой переменной различны. При единственном уровне J не определена, так как и H, и ln 1 равны нулю.

Индекс Джини — Симпсона — вероятность того, что два случайно выбранных наблюдения окажутся на разных уровнях:

где $p_i$ — доля наблюдений на i-м уровне, а D (индекс Симпсона) — вероятность того, что оба наблюдения попадут на один уровень. Индекс меняется от 0, когда один уровень содержит все наблюдения, до 1 − 1/k при k равночастотных уровнях: 0.50 для двух, 0.80 для пяти, 0.99 для ста. Он тоже растёт с числом уровней, но медленно, и при любом их числе остаётся вероятностью. Двое случайно выбранных участников кафе с равными шансами окажутся посетителями одного филиала или разных: у филиал индекс равен 0.50. У вкус он равен 0.77, у оценка — 0.85, у времени ожидания — 0.98, потому что два участника редко называли одно и то же время. Доли возводятся в квадрат, поэтому индекс определяют частые уровни, а редкий уровень почти не влияет. Энтропия же взвешивает каждый уровень по тому, насколько он неожидан, и несколько редких уровней её повышают. Обычно обе меры упорядочивают переменные одинаково и расходятся, когда у переменной много редких уровней. В экологии это известный индекс разнообразия — вероятность того, что две особи из одного местообитания относятся к разным видам, — и для любой номинальной переменной его смысл тот же.

Форма в двух числах #

Асимметрия показывает, в какую сторону и насколько скошено распределение. Ноль означает симметрию, положительное значение — более длинный хвост справа, в сторону больших значений, отрицательное — более длинный хвост слева. Асимметрия переменной ожидание равна 1.27: это долгий спуск за пиком на гистограмме вплоть до двух участников с шестнадцатью и двадцатью минутами. У визиты_до она равна 2.08, потому что большинство участников заходили по нескольку раз, а несколько завсегдатаев — больше сорока. У чек_до асимметрия 0.45, распределение слегка скошено. У оценка она равна −0.58: шкала заканчивается на 10, почти половина участников поставила 8 или выше, а хвост тянется вниз к немногим, кто поставил 1 или 2. Грубый ориентир такой: если асимметрия по модулю меньше 0.5, распределение для большинства целей можно считать симметричным, от 0.5 до 1 асимметрия умеренная, а больше 1 означает хвост, который среднее и стандартное отклонение уже плохо описывают. Приложение приводит асимметрию вместе со стандартной ошибкой (0.18 для 185 значений ожидания), чтобы значение можно было сопоставить с его собственной неопределённостью: 1.27 отстоит от нуля на семь стандартных ошибок, 0.45 — примерно на две с половиной. Знак асимметрии подсказывает и то, где среднее относительно медианы: у скошенной вправо переменной среднее больше медианы (5.20 против 4.9 у ожидание), у скошенной влево — меньше (7.30 против 7 у оценка).

Эксцесс показывает, какая доля распределения приходится на хвосты по сравнению с нормальной кривой, то есть встречаются ли далёкие значения чаще или реже, чем в колоколе. Приложение приводит избыточный эксцесс, который у нормальной кривой равен нулю: положительное значение означает более тяжёлые хвосты и более острый пик, отрицательное — более лёгкие хвосты и более плоскую, почти прямоугольную форму. У ожидание эксцесс равен 3.42 из-за участника, прождавшего 19.9 минуты: он отстоит от среднего больше чем на пять стандартных отклонений, а нормальная кривая даёт такое значение примерно раз на четыре миллиона наблюдений. У чек_до эксцесс 0.11, что неотличимо от нормального распределения. У пункта медленно (шкала от 1 до 5) ответы растянуты по всей шкале, а не собраны в середине, и эксцесс равен −1.07. Из двух показателей формы эксцесс более уязвим: расстояния в нём возводятся в четвёртую степень, и одно крайнее значение может целиком его определить. Из-за заказа кейтеринга эксцесс чек_после равен 57, а асимметрия 5.7, без этого заказа — 0.02 и 0.34. Если оба показателя далеки от нуля у переменной, от которой ждали аккуратного распределения, первым делом стоит искать такое одиночное значение.

Оба числа формализуют то, что проверяет критерий нормальности: при асимметрии и эксцессе около нуля распределение по этим двум числам выглядит «нормальным». Два критерия из описанных ниже (Д’Агостино — Пирсона и Харке — Бера) построены только на них.

Нормальное распределение #

Нормальное распределение — колоколообразная кривая, которой хотя бы приближённо подчиняются очень многие измеряемые величины. На ней построена большая часть классической статистики. Оно симметрично относительно среднего, которое совпадает с медианой и модой, и полностью задаётся двумя числами, средним и стандартным отклонением. Его хвосты убывают с известной скоростью: около 68% значений лежит в пределах одного стандартного отклонения от среднего, около 95% — в пределах двух и 99.7% — в пределах трёх. У чек_до, чья гистограмма похожа на колокол, в пределах одного стандартного отклонения от среднего лежат 140 из 200 участников (70%), а в пределах двух — 191 (95.5%), так что правило выполняется почти точно. Для ожидание те же подсчёты дают 73.5% и 97.3%. Выглядит это не хуже, но обманчиво: полоса в два стандартных отклонения для ожидания тянется от −0.63 до 11.02 минуты, и нормальная кривая с тем же средним и стандартным отклонением приписала бы отрицательное время ожидания семерым участникам (3.7%), хотя самое короткое ожидание на деле 0.3 минуты. Колокол — это форма, а не пара процентов, и скошенная переменная может дать нужные проценты, не имея нужной формы.

Особое место этой кривой объясняется двумя причинами. Первая: многие величины действительно близки к ней. Всё, что складывается из множества малых независимых влияний, стремится к колоколу, поэтому рост, ошибки измерения и баллы за тесты часто на него похожи. Вторая причина делает нормальную кривую важной даже для переменных, которые вовсе не нормальны.

Центральная предельная теорема утверждает, что среднее выборки распределено приблизительно нормально, какой бы ни была форма распределения исходных значений, и тем ближе к нормальному, чем больше выборка. Распределение отдельных значений времени ожидания сильно скошено. Но если много раз заново набирать выборку из 185 участников, средние ожидания этих выборок лягут почти идеальным колоколом вокруг среднего в генеральной совокупности. Поэтому t-критерий для средних работает и на ненормальных данных: он опирается на распределение среднего, а не отдельных значений, и уже при нескольких десятках наблюдений в группе среднее скошенной переменной распределено достаточно близко к нормальному. По той же причине у стандартной ошибки среднего простая формула (стандартное отклонение, делённое на корень из объёма выборки), и она верна для времени ожидания так же, как для чека.

Z-оценка — значение, выраженное в стандартных отклонениях от среднего:

Ожидание в десять минут лежит на (10 − 5.20) ⁄ 2.91 = 1.65 стандартного отклонения выше среднего ожидания, а чек 15 до смены меню — на (15 − 8.71) ⁄ 3.63 = 1.74 стандартного отклонения выше среднего чека. В своих распределениях оба значения примерно одинаково необычны, и для таких сравнений z-оценка и нужна: она позволяет сопоставлять положение значений у переменных с разными единицами измерения. Для нормальной переменной z-оценка сразу даёт и процентиль: 1.65 стандартного отклонения выше среднего — это 95-й процентиль, а значения ±1.96 ограничивают центральные 95%. Для скошенной переменной это уже не так, и в этом коротко заключена суть двух предыдущих абзацев. Правило «Стандартизация» в модуле преобразования данных записывает z-оценки переменной в новый столбец.

Нормальность — допущение критериев и моделей, построенных на нормальной кривой, о том, что шум в данных распределён нормально. Важно точно понимать, к чему это допущение относится. t-критерий и дисперсионный анализ предполагают нормальность значений внутри каждой группы, вокруг группового среднего. Регрессия предполагает нормальность остатков, то есть разностей между наблюдёнными значениями и предсказаниями модели, а не самого отклика. Критерий значимости корреляции Пирсона предполагает, что пара переменных имеет совместное нормальное распределение. Ни один из них не требует, чтобы исходная зависимая переменная была нормальна по всей выборке. Переменная может быть ненормальной в целом и всё же удовлетворять допущению там, где его принимают: так, ожидание различается по филиалам, и общий набор значений — смесь двух распределений. Цена нарушения зависит от объёма выборки: при двухстах наблюдениях центральная предельная теорема выручает t-критерий даже при асимметрии 1.27, а при пятнадцати наблюдениях в группе — нет. Если допущение не выполняется, а выборка мала, выход — критерий без этого допущения (ранговый или на усечённых средних) или преобразование переменной, о котором сказано ниже. Сравнительный анализ предлагает такую альтернативу рядом с каждым параметрическим критерием, а подробно такие критерии разобраны на странице о параметрических и непараметрических критериях.

Проверка нормальности #

На вопрос «нормальна ли эта переменная?» отвечают три инструмента, и лучше всего применять их вместе: числа показывают, насколько велико отклонение, критерий — превышает ли оно случайные колебания выборки, а график — где именно оно находится.

Тест нормальности — статистический критерий с нулевой гипотезой «переменная распределена нормально». Поэтому он относится к «перевёрнутым» критериям, о которых предупреждает раздел какая нулевая гипотеза: малое p свидетельствует против нормальности, а большое за неё не свидетельствует и означает лишь, что выборки не хватило, чтобы обнаружить отклонение, если оно есть. Приложение так и формулирует вывод («есть свидетельства против нормальности» или «нет свидетельств против нормальности») и никогда не пишет, что распределение нормально. На больших выборках критерий находит отклонения, которые ни на каком анализе не скажутся, на малых пропускает существенные. К тому же он ничего не сообщает о том, как переменная отклоняется от нормальной, а именно от этого зависит, что с ней делать. Поэтому результат критерия смотрят вместе с графиком Q-Q, и его p сравнивают не с основным уровнем значимости, а с уровнем значимости для проверки допущений.

Критерий Шапиро — Уилка — критерий нормальности, который стоит применять по умолчанию: для большинства форм распределения и объёмов выборки он мощнее остальных. Его статистика W показывает, насколько близко упорядоченные значения повторяют то, что дала бы нормальная выборка того же объёма, по шкале от 0 до 1, где 1 — полное совпадение. На данных кафе он чётко различает три формы. ожидание: W = 0.93, p < 0.001 — сильные свидетельства против нормальности из-за хвоста. оценка: W = 0.94, p < 0.001, но причина не в хвосте, а в самой шкале, у которой одиннадцать возможных значений и потолок на 10. чек_до: W = 0.98, p = 0.013 — небольшое, но реальное отклонение при гистограмме, похожей на колокол. А чек_после показывает, что может сделать одно значение: с заказом кейтеринга W = 0.66, а после его удаления W = 0.99, p = 0.055. В руководстве по анализу распределения перечислены шесть других критериев, которые предлагает приложение, и сказано, когда какой предпочесть. На чек_до четыре критерия из семи отвергают нормальность на уровне 0.05, а три — нет. Так небольшое отклонение и выглядит в разных критериях. Сводка по критериям, описанная в руководстве, так и называет его неоднозначными свидетельствами, а не подводит итог голосования.

График Q-Q (квантиль–квантиль) сопоставляет упорядоченные значения выборки со значениями, которые нормальное распределение с тем же средним и стандартным отклонением дало бы на тех же рангах, по одной точке на наблюдение. Если выборка нормальна, точки ложатся на прямую, а по тому, как они от неё отходят, видно, в чём состоит отклонение. У времени ожидания точки загибаются вверх на обоих концах. Самые короткие ожидания лежат выше прямой, потому что нормальная кривая ушла бы ниже нуля, а самые длинные круто поднимаются над ней: точка участника, ждавшего 19.9 минуты, лежит намного выше того места, где оказалось бы наибольшее значение нормальной выборки. Такой изгиб вверх на обоих концах — характерный признак правосторонней асимметрии. Точки оценка выстраиваются лесенкой, потому что 193 участника распределены всего по одиннадцати значениям, а нижние точки уходят под прямую: это левый хвост шкалы с потолком. Точки чек_до идут вдоль прямой, лишь несколько верхних немного приподняты, и к этому сводится вся асимметрия 0.45. Анализ распределения строит этот график в разделе График Q-Q с доверительной полосой, которая показывает, насколько далеко от прямой может отойти нормальная выборка просто из-за случайных колебаний, и с детрендированным видом, где прямая становится горизонтальной и малые отклонения заметнее. Регрессионный анализ строит такой же график для остатков.

Ящик с усами изображает распределение пятью числами: ящик от первого до третьего квартиля с чертой на медиане, усы до самых дальних значений в пределах 1.5 МКР от ящика и отдельные точки для каждого наблюдения за усами. Так ящик с усами и определяет выброс. У ожидание ящик тянется от 3.0 до 6.9, медиана 4.9 стоит почти посередине, и сам ящик выглядит симметричным. Асимметрию выдают усы: нижний доходит до 0.3, меньше чем на три минуты ниже ящика, а верхний — до 11.9, на пять минут выше, и участники с 16.3 и 19.9 минуты стоят за его концом отдельными точками. Если поставить ящики рядом, по одному на группу, быстрее всего видно, чем различаются группы: центром, разбросом или только крайними значениями. У времени ожидания в двух филиалах медианы 4.8 и 5.0 минуты, стандартные отклонения 2.30 и 3.42. На графике двух филиалов видно не смещение ящика (2.9–6.6 против 3.0–7.3), а два участника «Привокзальной» за концом уса, тогда как у «Набережной» таких нет. Этот график строят и анализ распределения, и сравнительный анализ.

Скрипичный график изображает форму распределения сглаженным контуром. Это оценка плотности, зеркально отражённая относительно вертикальной оси, так что фигура широка там, где значений много, и узка там, где их мало. Внутри помещается маленький ящик с усами: точка на медиане, полоса от первого до третьего квартиля и линия до концов усов. Скрипка показывает то, чего не видно на ящике: два пика дают один широкий ящик, но скрипку с двумя утолщениями, а длинный хвост — сужающейся шейкой вместо россыпи точек. Для времени ожидания в кафе скрипка шире всего между двумя и шестью минутами и сужается в шейку, которая доходит до двадцати, — та же форма, что у гистограммы, только без интервалов. Если поставить рядом два филиала, видно, что шейка у «Привокзальной» длиннее, чем у «Набережной». За сглаживание приходится платить. Контур — это ядерная оценка плотности, и ширина ядра зависит от разброса и объёма выборки, поэтому на малой выборке форма больше отражает метод оценки, чем данные. Переменная с немногими различными значениями рисуется так, будто она непрерывна: для одиннадцати целых оценок оценка приложение берёт ядро шириной не меньше трёх четвертей шага, чтобы скрипка была контуром, а не набором пиков. Две вещи требуют осторожности. Во-первых, каждая скрипка масштабирована так, что в самом широком месте все скрипки одинаковой ширины, поэтому формы групп сравнимы, а их площади не отражают численность групп (её указывает примечание в углу). Во-вторых, контур кончается на наименьшем и наибольшем значении, так что хвост ровно такой длины, как в данных, и не длиннее. Этот график строят и анализ распределения, и сравнительный анализ, а внутренний ящик включается опцией Показывать внутренний ящик с усами.

ЭФР (эмпирическая функция распределения) — распределение переменной в виде лесенки: для каждого значения по оси x она показывает долю выборки, не превышающую это значение, и по мере движения вдоль оси поднимается от 0 до 1. Каждое наблюдение — ступенька высотой 1/n, для времени ожидания в кафе это 1/185, около половины процента. Поэтому ряд частых ступенек отмечает участок оси, где значения сгущаются, горизонтальный участок — промежуток без наблюдений, а несколько участников с одинаковым значением дают одну высокую ступеньку: ровно 2.4 минуты ждали семеро, и кривая подскакивает там на 3.8%. По кривой видно всё распределение, и никаких интервалов выбирать не нужно. Положение распределения — там, где кривая поднимается: кривая времени ожидания пересекает 50% на отметке 4.9 минуты, то есть на медиане, а 25% и 75% — на квартилях 3.0 и 6.9. Разброс — насколько подъём растянут вдоль оси: крутая кривая означает узкое распределение, пологая — широкое. Форма — несимметричность подъёма: к восьми минутам кривая доходит до 86%, а оставшиеся 14% медленно набирает до 19.9. Это правый хвост, который гистограмма показывает длинным низким участком. Каждая точка кривой — доля значений, не превышающих данное, поэтому вокруг кривой можно построить интервал для доли в виде доверительной полосы, поточечной или одновременной. Анализ распределения и сравнительный анализ строят её как График ЭФР, а опция Показывать медианную линию опускает на ось линию от точки, где кривая пересекает 50%. Как сопоставлять две лесенки на одних осях, описано в разделе две ЭФР вместе.

Когда переменная не нормальна #

Обнаружить, что переменная скошена, — это начало, а не приговор. Первый вопрос — важно ли это. Для критерия средних на большой выборке обычно нет, для критерия на малой выборке или критерия, работающего с самими значениями, обычно да. Второй вопрос — какие есть альтернативы, и их три. Первая — критерий, который не предполагает нормальности. Это ранговые критерии, заменяющие значения рангами и проверяющие, склонна ли одна группа превосходить другую, и критерии на усечённых средних, отсекающие хвосты перед сравнением. Сравнительный анализ указывает альтернативу рядом с каждым параметрическим критерием, а корреляционный анализ предлагает ранговую корреляцию Спирмена наряду с корреляцией Пирсона. Вторая — сводка, не опирающаяся на среднее: медиана и МКР, описанные выше. Третья — преобразование, которое меняет форму переменной так, что критерий для средних становится применим. Квадратный корень из времени ожидания имеет асимметрию 0.23 и W = 0.99, p = 0.46, то есть свидетельств против нормальности не остаётся. Логарифм исправляет асимметрию с избытком, до −0.93, а преобразование Бокса — Кокса, где показатель степени подбирается по данным, останавливается на показателе 0.39 (между корнем и логарифмом) и даёт асимметрию 0.01. В модуле преобразования данных правило «Стандартизация» выполняет любое из них методами группы Преобразование и записывает результат в новый столбец. Цена преобразования в том, что все результаты получаются в преобразованных единицах (разность в √минутах) и сообщать их нужно именно так. Цена рангового критерия в том, что он отвечает на немного другой вопрос: какая группа склонна давать бо́льшие значения, а не насколько бо́льшие. Обе цены невелики и в любом случае ниже, чем цена отчёта о среднем, которое смещено хвостом.

Как сообщать распределение #

Для каждой переменной исследования приводят объём выборки и одну пару сводок, выбранную по форме распределения: среднее и стандартное отклонение, если переменная примерно симметрична, и медиану с МКР (или медиану с квартилями), если нет. Например: «время ожидания: медиана 4.9 минуты (МКР от 3.0 до 6.9), n = 185» или «чек за визит: среднее 8.71 (SD 3.63), n = 200». Если анализ опирается на нормальность, указывают, как её проверяли и что получили («критерий Шапиро — Уилка: W = 0.98, p = 0.013, а на графике Q-Q виден небольшой подъём в верхнем хвосте»), а если результат проверки изменил анализ, то и что было сделано: критерий заменён другим, переменная преобразована (и как именно). Читатель, который видит для времени ожидания только среднее и стандартное отклонение, не может понять, небрежен ли анализ или у времени ожидания на редкость аккуратное распределение. Одна такая строка снимает вопрос.

Где это встречается в DataSuite #

• Описательная статистика — все числа этой страницы для каждой выбранной переменной: центр, разброс и форма со стандартными ошибками и интервалами, квартили и пользовательские процентили, а для категориальной переменной — три меры разнообразия.
• Анализ распределения — семь критериев нормальности и графики: гистограмма, ящик с усами, график Q-Q, скрипичный график и ЭФР.
• Сравнительный анализ — описательные статистики по группам при каждом запуске, а кнопка Проверить допущения запускает критерий Шапиро — Уилка внутри каждой группы или для парных разностей, то есть там, где это допущение действительно принимается.
• Корреляционный анализ — проверка значимости коэффициента Пирсона предполагает совместную нормальность, коэффициенты Спирмена и Кендалла её не требуют.
• Регрессионный анализ — значение имеет нормальность остатков, которую проверяют по их графику Q-Q и критерием Шапиро — Уилка.
• Преобразование данных — z-оценки и другие виды стандартизации, логарифм, квадратный корень, преобразование Бокса — Кокса, а также ранговые оценки, которые придают переменной нормальную форму по построению.
• Настройки — порог, с которым сравнивается p критерия нормальности.