Основы регрессии #

Сравнение групп проверяет, различаются ли группы, корреляция — меняются ли две переменные согласованно. Регрессия отвечает на следующий вопрос: на сколько изменится зависимая переменная, если изменить предиктор и оставить прежними остальные предикторы, и какого значения ждать для наблюдения, которого в данных ещё не было. Любая карточка регрессии в приложении, от прямой на диаграмме рассеяния до логистической модели ответа «да/нет», объясняется одним и тем же небольшим набором понятий, и им посвящена эта страница. Числа получены на данных кафе после трёх исправлений: у чек_после 199 значений, у возраст 195, а модель с обеими переменными строится по 194 участникам.

От корреляции к регрессии #

Корреляция показывает, насколько тесно связаны две переменные, по шкале от −1 до +1. Какая из них на какую влияет и насколько сильно, она не показывает: коэффициент r не зависит от того, какую переменную считать исходом. Корреляция среднего чека до и после смены меню у 199 участников равна r = 0.69: кто тратил больше до смены, тот обычно тратит больше и после. Но по r нельзя узнать, сколько потратит после смены участник, тративший до неё 12, и изменится ли этот прогноз, если известен филиал. На такие вопросы отвечает регрессия.

Диаграмма рассеяния — исходная картина и для корреляции, и для регрессии: каждое наблюдение изображено точкой, предиктор отложен по горизонтали, зависимая переменная — по вертикали. Облако точек чек_после по чек_до поднимается слева направо, внизу оно плотнее, вверху рыхлее, и одна точка лежит намного ниже остальных. Это участник 179: до смены меню он тратил за визит 17.41, после неё — 6.35. Линия регрессии — прямая, проведённая через облако так, чтобы сумма квадратов вертикальных отклонений точек от неё была наименьшей. Модуль корреляции строит диаграмму вместе с этой прямой и её доверительной полосой.

Сглаживатель LOWESS — кривая, которую проводят через диаграмму рассеяния, ничего не предполагая о её форме. В каждой точке оси x по двум третям ближайших наблюдений подгоняется короткая прямая, причём самые близкие наблюдения получают наибольший вес, и эти локальные прямые сшиваются в кривую. Ещё три прохода снижают вес точек, от которых кривая уже далеко отошла, так что одна-две случайные точки не могут её перетянуть. Никакой величины из таблицы результатов сглаживатель не оценивает (ни коэффициента, ни интервала, ни p), поэтому он служит проверкой формы, а не результатом. Там, где кривая идёт прямо, пару переменных описывают прямая и r Пирсона, а там, где она изгибается, — нет. Модуль корреляции рисует её пунктиром рядом с прямой Пирсона, а для методов, которые прямую не строят (среди них методы Спирмена и Кендалла), — отдельно. В обоих случаях у пары должно быть не меньше пяти различных значений x. Для оценка по ожидание (178 участников) наклон прямой равен −0.197 балла на минуту: от 8.4 без ожидания до 4.4 при самом долгом, и r = −0.30 описывает именно этот наклон. Кривая сглаживателя в первые минуты круто падает (8.9 после одной минуты, 7.8 после четырёх, 6.6 после восьми), после десяти минут выравнивается около 6, а на дальнем конце поворачивает вверх. На этом участке всего два наблюдения — участники, ждавшие дольше всех (16.3 минуты с оценкой 5 и 19.9 с оценкой 8), и второй из них лежит на три с половиной балла выше прямой. Эти же двое наклоняют и прямую: без них её наклон равен −0.24. Глобальная подгонка зависит сразу от всех точек, локальная — только от соседних. Кривая показывает то, чего не видно по r: удовлетворённость падает в начале ожидания, а дальше почти не меняется, так что цена минуты ожидания зависит от того, сколько уже прошло. Та же кривая сплошной линией проведена на графике остатков регрессии, и изгиб на нём — первый признак того, что прямая модели упустила нелинейность.

Регрессия — модель, которая описывает зависимую переменную как функцию одного или нескольких предикторов, то есть уравнение, дающее ожидаемое значение исхода при любом сочетании значений предикторов. На панели модуля исход называется зависимой переменной, а входные переменные — предикторами. Для кафе подогнанное уравнение имеет вид чек_после = 3.54 + 0.716 × чек_до. Модель решает две задачи сразу: описывает связь (каждая единица прежнего чека добавляет 0.716 единицы к последующему) и предсказывает (участнику с чеком 12 до смены она предсказывает 12.14 после), и главная её ценность во второй задаче. Медсестра строит регрессию срока выздоровления на возраст и дозу, учитель — экзаменационного балла на часы подготовки и класс, маркетолог — числа конверсий на рекламный бюджет и день недели. Предметные области разные, а роли одни и те же: одна зависимая переменная, один или несколько предикторов, прямая.

Зависимая переменная — исход, объясняемый моделью, то есть столбец, значения которого выдаёт уравнение. Это y на диаграмме рассеяния, левая часть уравнения и единственная переменная, у которой есть остаток. Линейная регрессия требует непрерывной зависимой переменной, а для исхода «да/нет» или счётного исхода нужна одна из моделей, описанных в разделе «Когда прямая не подходит».

Предиктор — переменная в правой части уравнения, то, по чему моделируется исход. Ту же роль называют ещё независимой переменной, объясняющей переменной и регрессором. Предиктор, включённый лишь для того, чтобы остальные коэффициенты оценивались при его фиксированном значении, называют ковариатой. Предиктор может быть числовым (чек_до, возраст) или категориальным (филиал). В модель они входят по-разному, и категориальным предикторам ниже отведён свой раздел.

Линейная регрессия — модель, в которой зависимая переменная равна линейной функции предикторов плюс ошибка:

Слово «линейная» относится к тому, как в модель входят коэффициенты (каждый предиктор добавляет своё значение, умноженное на коэффициент), а не к форме данных. Изогнутую зависимость тоже можно описать линейной моделью, если добавить в неё квадратичный член. Тип регрессии Линейная в приложении — именно эта модель, оцениваемая обычным методом наименьших квадратов.

Множественная регрессия — регрессия с несколькими предикторами, а регрессию с одним предиктором называют простой. Регрессия чек_после на чек_до — простая, а того же исхода на чек_до, возраст и филиал — множественная. Разница не сводится к лишним строкам в таблице: теперь каждый коэффициент описывает свой предиктор при фиксированных остальных, и именно поэтому модель может ответить, различаются ли филиалы с учётом прежнего чека. Этому посвящён раздел Несколько предикторов ниже.

Ковариата — предиктор, который включают в модель ради поправки на него, а не ради истолкования его коэффициента. Исход от неё зависит, но сама она интереса не представляет: её фиксируют, чтобы очистить от её влияния интересующий коэффициент. В ковариационном анализе данных кафе ковариата — чек_до, а интересующий фактор — филиал. В регрессии же ковариата — роль, а не особый вид столбца: приложение подгоняет все предикторы одинаково, и какой из них считать ковариатой, решает аналитик, глядя на таблицу.

Прямая и её коэффициенты #

Коэффициент — число, на которое модель умножает предиктор. Он показывает, на сколько изменится зависимая переменная (в своих единицах), если этот предиктор вырастет на единицу, а все остальные останутся прежними. Коэффициент чек_до равен 0.716: если до смены меню участник тратил за визит на единицу больше, после смены от него ожидают на 0.716 больше. С коэффициента, а не с p-значения, и начинают разбирать любую карточку регрессии, потому что он отвечает на вопрос, ради которого модель подгоняли: на сколько.

Свободный член — значение зависимой переменной, которое модель предсказывает при нулевых значениях всех предикторов. Это постоянное слагаемое уравнения, в таблице коэффициентов оно стоит первой строкой (Константа). В модели кафе свободный член равен 3.54: столько после смены меню потратил бы участник, не тративший ничего до неё. Такого участника нет (наименьшее значение чек_до равно 1.50), так что это число лишь закрепляет положение прямой и никого не описывает. Его p-значение проверяет, проходит ли прямая через начало координат, а этот вопрос редко кого-то интересует. Если центрировать предиктор по его среднему, 8.66, свободный член станет равен 9.75. Это среднее чек_после, ожидаемый исход для участника со средним прежним чеком, и такое число уже имеет смысл.

Наклон — коэффициент числового предиктора, понимаемый геометрически, как крутизна прямой: прирост по вертикали на единицу по горизонтали, здесь 0.716 единицы чек_после на единицу чек_до. Прямые с одинаковым наклоном параллельны. Нулевой наклон даёт горизонтальную прямую, и так модель выражает, что предиктор ни на что не влияет. При отрицательном наклоне прямая идёт вниз слева направо, как у оценка в зависимости от ожидание: −0.197 балла удовлетворённости на каждую минуту ожидания.

Член — одна строка таблицы коэффициентов или таблицы ANOVA: предиктор, один контраст категориального предиктора, взаимодействие или свободный член. Категориальный предиктор с k уровнями даёт k − 1 членов, взаимодействие — по одному члену на каждую пару контрастов. Число членов вместе со свободным членом и есть то p, по которому считаются степени свободы и ряд порогов, упомянутых на этой странице.

B — нестандартизованный коэффициент, то есть коэффициент в смысле, определённом выше: изменение исхода в его исходных единицах на исходную единицу предиктора. Его и приводят в отчёте, когда единицы измерения осмысленны (0.716 единицы чека на единицу чека, −0.197 балла удовлетворённости на минуту), и по нему строят предсказания. На графике коэффициентов переключатель Шкала коэффициентов позволяет выбрать между B и β.

β — стандартизованный коэффициент: изменение исхода в стандартных отклонениях при изменении предиктора на одно стандартное отклонение:

Он приводит предикторы, измеренные в разных единицах, к общей мере. В модели оценка по вкус и ожидание B равен 0.807 на балл вкуса и −0.129 на минуту ожидания, и сравнивать эти числа нельзя. Значения β, 0.494 и −0.195, сравнивать можно: сдвиг вкуса на одно стандартное отклонение меняет удовлетворённость в два с половиной раза сильнее, чем такой же сдвиг ожидания. При одном предикторе β совпадает с коэффициентом корреляции: β простой прямой равен 0.691, то есть r. Для категориального предиктора приложение делит только на SD(y), поскольку у контраста 0/1 нет осмысленного стандартного отклонения. Поэтому его β (0.137 для «Привокзальной») — разность между категориями в стандартных отклонениях исхода, и с β числового предиктора она несравнима, о чём сказано в примечании под таблицей. В логистической и счётной моделях β стандартизуется только по предиктору, потому что у исхода на шкале функции связи нет стандартного отклонения.

Стандартная ошибка коэффициента характеризует точность оценки. Она показывает, насколько в среднем коэффициент отклонялся бы от истинного значения, если бы выборку набирали много раз, и это частный случай стандартной ошибки любой оценки. У наклона 0.716 стандартная ошибка равна 0.053, так что 95% ДИ равен 0.716 ± 1.97 × 0.053 = [0.61, 0.82]. Стоящее рядом t — это коэффициент, делённый на стандартную ошибку, 0.716 ⁄ 0.053 = 13.43 при 197 степенях свободы (n − p, то есть 199 − 2), а p получают по t-распределению. Каждая строка таблицы коэффициентов проверяет нулевую гипотезу этот коэффициент равен нулю, то есть предиктор ничего не добавляет к уже учтённым остальным. Значение p < 0.001 означает, что наклон отличен от нуля, а интервал показывает, насколько он велик. Стандартная ошибка уменьшается при большем объёме выборки, большем разбросе предиктора и меньшем разбросе остатков, а растёт при коллинеарности предиктора с остальными.

Предсказанные значения и остатки #

Предсказанные значения — значения исхода, полученные из уравнения для тех самых наблюдений, по которым его подгоняли: значения предикторов каждого участника подставляются в уравнение прямой. Участник 1 до смены тратил 7.85, и модель предсказывает ему 3.54 + 0.716 × 7.85 = 9.17, хотя на самом деле он потратил 6.37. Предсказанные значения и составляют прямую, по одной точке на наблюдение. Их среднее равно среднему исхода, а их разброс — та часть изменчивости исхода, которую объясняет модель.

Предсказано — та же величина для любого наблюдения, как из выборки, так и нового: значение, которое модель назначает по одним только предикторам. Участнику, тратившему до смены 8, модель предсказывает 9.27 после, а тратившему 12 — 12.14. В таблице классификации этим словом подписан класс, к которому модель отнесла наблюдение, а рядом стоит его фактический класс.

Остаток — то, чего модель не уловила: наблюдаемое значение минус предсказанное. У участника 1 остаток равен 6.37 − 9.17 = −2.80, его чек после смены на 2.80 ниже прямой. У участника 179 он равен 6.35 − 16.01 = −9.66, это наибольший остаток в файле. Сумма остатков по построению равна нулю, а их разброс (здесь стандартное отклонение 2.67) — та часть изменчивости исхода, которую модель не объясняет. Все проверки линейной модели в приложении проводятся по остаткам: распределены ли они нормально, одинаков ли их разброс, нет ли в них закономерности, независимы ли они и какие наблюдения слишком сильно влияют на модель. Тем же словом подписана последняя строка таблицы ANOVA, где это сумма квадратов, не объяснённая ни одним членом.

Стандартная ошибка остатков — типичная величина остатка: квадратный корень из остаточной суммы квадратов, делённой на её степени свободы, √(1412.9 ⁄ 197) = 2.68. Она немного больше обычного стандартного отклонения остатков, потому что сумма делится на n − p, а не на n − 1. Выражена она в единицах исхода и потому показывает, насколько фактический чек участника обычно отличается от предсказанного: примерно на 2.7 за визит в ту или другую сторону. Приложение выводит её как Корень СКО, то есть корень из среднеквадратичной ошибки, и это то же самое число.

Стандартизованный остаток — остаток, делённый на свою стандартную ошибку. После такого деления остатки можно сравнивать с нормальным распределением: примерно 5% из них должны выходить за ±2 и почти ни один — за ±3. У простой прямой кафе за ±2 выходят 9 остатков из 199 (4.5%), а за ±3 — один, у участника 179 (−3.67). График Q-Q остатков в приложении и подсчёт больших остатков используют внутренне стьюдентизированные остатки, учитывающие рычаг каждого наблюдения, а критерий выбросов — внешне стьюдентизированные.

График остатков — диаграмма рассеяния остатков по предсказанным значениям. В приложении это панель Остатки против предсказанных значений. У правильно заданной модели остатки ложатся вокруг нуля ровной полосой без всякой закономерности. Изогнутая полоса означает, что связь не прямолинейна (линейность), расширяющаяся воронка — что разброс зависит от уровня исхода (гетероскедастичность), а точка далеко за пределами полосы — наблюдение, которое модель не описывает (участник 179 в самом низу графика кафе). Сглаживатель LOWESS, проведённый приложением через точки, делает заметными первые два случая. С этого графика диагностику и начинают, а критерии под ним лишь выражают числами то, что на нём видно.

Интервал предсказания — диапазон, в который при заданных значениях предикторов должно попасть одно новое наблюдение. Доверительный интервал для прямой в той же точке — диапазон для среднего таких наблюдений. Интервал предсказания шире, потому что включает ещё и весь разброс остатков. Для участника, тратившего до смены 12, прямая даёт 12.14. 95% доверительный интервал для среднего чека после смены у всех таких участников равен [11.63, 12.65], а 95% интервал предсказания для одного участника — [6.83, 17.45]. На диаграмме рассеяния узкая полоса вокруг прямой — это доверительный интервал, а полоса, в которую поместилось бы большинство точек, — интервал предсказания. Именно он отвечает на вопрос, сколько потратит этот участник.

Экстраполяция — предсказание за пределами диапазона значений предиктора, по которому подгоняли прямую. Для участника, тратившего до смены 20, уравнение выдаст число (17.87), но наибольшее значение чек_до в файле равно 18.94, а выше 15 лежат лишь двенадцать участников, так что по данным нельзя судить, остаётся ли зависимость там прямолинейной. Регрессии можно доверять между наименьшим и наибольшим значениями предиктора, которые были в данных, а за этими пределами её предсказание остаётся догадкой.

Насколько хорошо прямая описывает данные #

Первое число в таблице соответствия модели — R², доля дисперсии исхода, объяснённая моделью. У простой прямой кафе R² = 0.478: примерно половина различий между участниками в чеке после смены меню объясняется прежним чеком, а половина — нет. Строки под R² дополняют его.

Сумма квадратов — расчёт, на котором построен R². Общая изменчивость исхода, $\sum {(y-\bar{y})}^2$, делится на часть, которую воспроизводит модель, $\sum {(\hat{y}-\bar{y})}^2$, и часть, оставшуюся в остатках, $\sum {(y-\hat{y})}^2$. Для регрессии чек_после на чек_до общая сумма равна 2706.0, модельная — 1293.1, остаточная — 1412.9. Отсюда R² = 1293.1 ⁄ 2706.0 = 0.478. Остаточная сумма, делённая на свои степени свободы, даёт остаточную дисперсию 7.17, а корень из неё — стандартную ошибку остатков. Любой F-критерий на карточке регрессии — отношение двух таких сумм, каждая из которых поделена на свои степени свободы.

SS — сумма квадратов в заголовке столбца: изменчивость, которая приходится на член из этой строки.

MS — средний квадрат, то есть сумма квадратов, делённая на её степени свободы. По сути это дисперсия. Отношение среднего квадрата члена к остаточному среднему квадрату и есть его F.

Скорр. R² — скорректированный R², то есть R² с поправкой на число предикторов. Любой добавленный предиктор, даже столбец случайных чисел, немного повышает R²: прямая всегда может потратить лишнюю степень свободы на подгонку случайного шума выборки. Поправка штрафует за это каждый член, поэтому скорректированный R² растёт, только если член действительно улучшает модель, а у модели, которая ничего не объясняет, он может стать отрицательным. На тех же 194 участниках регрессия чек_после на чек_до даёт R² = 0.465 и скорректированный R² = 0.462. С добавлением филиал получается 0.470 и 0.464, а если добавить ещё и возраст — 0.470 и 0.461. R² вырос на пять стотысячных, а скорректированный R² снизился, и по таблице видно, что возраст своей строки не оправдывает. Разность между двумя показателями — это сжатие, к которому приложение добавляет пометку.

Сжатие в таблице соответствия модели — разность R² и скорректированного R². Она показывает, какая часть соответствия данным достигнута за счёт свободы модели подстраиваться под шум, а не под закономерность. Сжатие ниже 0.01 приложение называет минимальным, от 0.01 до 0.05 — приемлемым, выше 0.05 — заметным. Заметное сжатие означает, что членов в модели больше, чем выдерживает выборка, и на новых данных модель сработает хуже, чем на этих. Регуляризованные методы в меню оценивания называют тем же словом другое: намеренное стягивание всех коэффициентов к нулю. Оно уменьшает ошибку на новых данных ценой смещения оценок, и о нём рассказано в разделе «Сжатие коэффициентов».

f² — R², выраженный как размер эффекта, $R^2/(1-R^2)$: объяснённая дисперсия по отношению к необъяснённой. Модели кафе с тремя предикторами и R² = 0.470 соответствует f² = 0.886. Ориентиры Коэна для f² — 0.02, 0.15 и 0.35, так что эффект с запасом попадает в число больших, и пометка приложения Большой размер эффекта рядом с R² выставлена по этим ориентирам.

F-статистика сравнивает модель целиком с моделью, в которой есть только свободный член. Это средний квадрат, объяснённый членами модели, делённый на остаточный средний квадрат, с двумя степенями свободы: членов и остатка. Для простой прямой F = 1293.1 ⁄ 7.17 = 180.3 при 1 и 197 степенях свободы, для модели с тремя предикторами F(3, 190) = 56.1. Нулевая гипотеза состоит в том, что все коэффициенты одновременно равны нулю, а при одном предикторе F равна квадрату t наклона (13.43² = 180.3). Значимая F означает лишь, что модель лучше горизонтальной прямой, а на большой выборке этого добиться легко. Хороша ли модель, показывает R², а какие члены вносят вклад — таблица коэффициентов.

df (регрессия, остаток) — две степени свободы F-статистики: число членов, которые модель оценивает помимо свободного члена, и число оставшихся наблюдений, n − p. Для модели кафе с тремя предикторами выводится 3, 190: три члена и 194 участника минус четыре коэффициента.

p-значение (F) — p-значение F-статистики при нулевой гипотезе о том, что ни один предиктор не влияет на исход. Пометка приложения Модель значима рядом с ним означает только это.

ANOVA, или дисперсионный анализ, раскладывает дисперсию исхода на части, объяснённые отдельными членами, и остаток, и каждую часть проверяет F-критерием. Как самостоятельный метод он сравнивает групповые средние: однофакторный и многофакторный дисперсионный анализ, а также анализ с повторными измерениями есть в модуле сравнения. На карточке регрессии ANOVA — таблица, в которой каждый член проверяется целиком.

Таблица ANOVA на карточке регрессии раскладывает изменчивость по членам: по строке на предиктор с суммой квадратов, степенями свободы, средним квадратом, F и p, и строка остатка. Её преимущество перед таблицей коэффициентов проявляется у категориального предиктора с тремя и более уровнями: таблица коэффициентов разбивает его на несколько контрастов, а таблица ANOVA проверяет одним критерием. Приложение использует суммы квадратов типа II, где каждый член проверяется с учётом всех членов, которые его не содержат. Для модели кафе с тремя предикторами у чек_до SS = 1050.50 и F(1, 190) = 144.3, у возраст — 0.13 и F = 0.02, у филиал — 11.67, F = 1.60 и p = 0.207, а остаток равен 1383.10 при 190 степенях свободы (MS = 7.28). Столбец η²p — доля члена в той изменчивости, которую не объяснили остальные, $\text{SS}/(\text{SS}+{\text{SS}}_{\text{residual}})$, то есть частичная эта-квадрат из модуля сравнения.

Тип сумм квадратов — правило, по которому решают, с учётом каких других членов проверяется каждая строка таблицы ANOVA. Значение оно имеет, только если в модели есть взаимодействие или коррелированные предикторы. Тип I последовательный: член проверяется с учётом лишь тех членов, что введены раньше него, поэтому таблица зависит от порядка ввода, а суммы квадратов по строкам складываются в модельную сумму. Тип II проверяет член с учётом всех членов, не содержащих его, так что главный эффект проверяется без учёта взаимодействий, в которые он входит. Тип III учитывает все остальные члены, включая взаимодействия, и главный эффект тогда оценивается в центре значений тех переменных, с которыми он взаимодействует. Если взаимодействий в модели нет, типы II и III совпадают (приведённые выше строки кафе верны для обоих), а тип I совпадает с ними только при некоррелированных предикторах. Карточка регрессии по умолчанию использует тип II, а многофакторный дисперсионный анализ в модуле сравнения — тип III.

Соответствие модели — блок карточки результатов, который показывает, насколько хорошо модель воспроизводит данные в целом. На карточке линейной регрессии это R², скорректированный R², f², F-критерий, стандартная ошибка остатков и информационные критерии, на карточке логистической или счётной модели — псевдо-R², девиансы и критерий отношения правдоподобия, у структурной модели — индексы соответствия. Этот блок смотрят раньше коэффициентов: если модель ничего не описывает, то и её коэффициенты ничего не значат.

Коэффициенты — таблица, в которой каждому члену отведена строка: оценка, её стандартная ошибка, статистика критерия, p-значение и интервал, а рядом — стандартизованный коэффициент и, для логистических и счётных моделей, его экспонента. По этой таблице узнают, на сколько меняется исход, а блок соответствия модели над ней показывает, стоит ли вообще доверять этим числам.

Несколько предикторов #

Поправка на ковариату — то, что множественная регрессия делает сразу со всеми предикторами: коэффициент каждого из них — его эффект при фиксированных остальных. Поэтому коэффициент отвечает на вопрос, важен ли x сверх всего остального. На данных кафе видно, как это меняет ответ. Среди 194 участников, указавших возраст, посетители «Привокзальной» после смены меню тратили за визит на 1.58 больше, чем посетители «Набережной» (p = 0.003), то есть филиалы различаются. Но если добавить в модель рядом с филиал ещё и чек_до, коэффициент «Привокзальной» падает до 0.50 при p = 0.207. Дело в том, что посетители «Привокзальной» тратили больше и до смены (9.52 против 7.91 за визит). Когда прежний чек каждого участника учтён, филиалы различаются по чеку после смены на полединицы, а такая разница вполне может быть случайной. Исходное сравнение не было ошибочным, оно отвечало на другой вопрос: тратят ли посетители «Привокзальной» больше. Скорректированное сравнение отвечает на вопрос, добавляет ли филиал что-то сверх того, какими были его посетители и без него. Ковариационный анализ (ANCOVA) в приложении — та же модель, изложенная в терминах сравнения групп.

Смешивающая переменная влияет и на предиктор, и на исход, поэтому они меняются согласованно, хотя ни один из них не действует на другой. В кафе такую роль играет прежний чек. Посетители «Привокзальной» тратили больше и до смены меню (9.52 против 7.91 за визит), и после неё, а различие филиалов в чеке после смены (1.58 при p = 0.003 без поправок) падает до 0.50, когда в модель входит чек_до. Измеренную смешивающую переменную учитывают с помощью поправки на неё, а неизмеренную учесть нельзя. Поэтому регрессия на данных наблюдений оценивает связь, а для причинных выводов нужен не коэффициент, а план исследования: эксперимент или явно сформулированные допущения, на которых держится причинная оценка, как последовательная игнорируемость в анализе медиации.

Корреляция нулевого порядка — обычная корреляция предиктора с исходом без учёта других предикторов, то самое r, которое вычисляет модуль корреляции. В модели оценка по вкус и ожидание (178 участников, у которых заполнены все три переменные) она равна 0.534 для вкуса и −0.298 для ожидания. Эта корреляция включает и ту часть связи исхода с предиктором, которая идёт через другие предикторы.

Частная корреляция — корреляция исхода с предиктором после того, как влияние остальных предикторов исключено из обеих переменных. Она показывает, что остаётся от связи, если убрать всё, чем каждая из двух переменных обязана остальным. Частная корреляция удовлетворённости со вкусом равна 0.506, с ожиданием — −0.226. Это немного меньше по модулю, чем корреляции нулевого порядка, поскольку вкус и ожидание сами коррелируют между собой (−0.21) и часть связи каждого из них с удовлетворённостью приходилась на другой. Частная корреляция отвечает на вопрос, насколько тесно связаны две переменные у участников, одинаковых по всем остальным предикторам, а её квадрат — доля необъяснённой дисперсии, которую объясняет предиктор.

Получастная корреляция исключает влияние остальных предикторов только из предиктора. Её квадрат — доля общей дисперсии исхода, которую объясняет только этот предиктор, то есть то, на сколько уменьшится R², если его убрать. Для вкуса она равна 0.483 (sr² = 0.233), для ожидания — −0.191 (sr² = 0.036). R² модели равен 0.322, из них 0.269 приходится на тот или другой предиктор по отдельности, а оставшиеся 0.053 у них общие, и приписать их одному из предикторов нельзя. Модуль корреляции в режиме частных корреляций вычисляет обе величины для любой пары переменных при любом наборе контрольных переменных, а карточка регрессии выводит их для каждого члена.

В таблице корреляций они подписаны Нулевого порядка (r), Частная и Получастная (sr). Интерпретация рядом с первой из них выставляется по тем же градациям силы, что и для любой корреляции.

Подавление — явление, обратное смешиванию: третья переменная не создаёт связь, а скрывает её. Если зафиксировать эту переменную, интересующий коэффициент растёт, появляется там, где его не было, или меняет знак. Смешивающая переменная влияет на предиктор и исход в одном направлении и поэтому завышает их исходную корреляцию. Подавляющая переменная связана с предиктором, но не с исходом (или связана с ними в противоположных направлениях). Она вносит в предиктор изменчивость, которой нет в исходе, и после её исключения предиктор следует за исходом теснее, чем до этого. Чтобы увидеть, как это выглядит, достаточно перевернуть пример с филиалами. Если бы посетители «Привокзальной» до смены меню тратили за визит меньше, а после неё больше, исходное различие филиалов казалось бы небольшим, и поправка на чек_до не уменьшила бы его с 1.58 до 0.50, а увеличила. На карточке подавление видно по частной корреляции, которая по модулю больше корреляции нулевого порядка или имеет другой знак. Для этого модуль корреляции в режиме частных корреляций и выводит обе величины рядом. Тот же признак — коэффициент регрессии, который растёт после добавления ковариаты. Данные кафе сгенерированы без подавляющей переменной, и поправки в них только уменьшают то, к чему применяются: и различие филиалов, и частные корреляции вкуса и ожидания. Так обычно и бывает: подавление — исключение, и его нужно уметь распознать, но заранее ожидать его не стоит. Не является подавлением и смена знака у слабых рёбер полной сети частных корреляций, где связь вкус–приветливо меняется с 0.21 на −0.08, если среди контрольных переменных есть оценка. Эти два пункта были связаны через общее отношение к кафе, которое оба выражают, и когда оно зафиксировано, связь исчезает и даже немного уходит в минус.

Мультиколлинеарность — корреляция предикторов между собой, из-за которой модель не может разделить их эффекты. Коэффициенты от неё не смещаются, и предсказания модели не страдают, но стандартные ошибки коэффициентов растут: в данных мало сведений о том, что происходит, когда один предиктор меняется, а связанный с ним остаётся прежним. В кафе визиты_до и визиты_после коррелируют на уровне 0.70. По отдельности каждая из них предсказывает оценка: 0.075 на визит до смены (p = 0.003) и 0.039 на визит после (p = 0.075). В общей модели коэффициент «до» равен 0.086 (p = 0.014), а «после» — −0.014 (p = 0.653), и стандартные ошибки у них в 1.4 раза больше, чем по отдельности. Обе переменные содержат одну и ту же информацию (как часто участник бывает в кафе), и модель приписала её одной из них, а другой оставила нулевой вклад. Шесть пунктов удовлетворённости коррелируют между собой на уровне от 0.1 до 0.5, их VIF от 1.3 до 1.5, и проблем с ними нет. Предельный случай — точная коллинеарность, когда один член в точности выражается через другие, например балл по еде стоит в модели рядом с тремя пунктами, сумма которых его и составляет. Такой член приложение исключает как линейно зависимый и указывает, какой именно. Бороться с мультиколлинеарностью можно так: убрать одну из связанных переменных или объединить их (балл шкалы вместо её пунктов — у баллов еды и обслуживания VIF 1.1 и 1.2), центрировать переменные, входящие во взаимодействие, подогнать гребневую регрессию, которая делит общий эффект связанных переменных между ними. Можно и смириться с широкими интервалами и оценивать такие члены совместно, а не по одному.

VIF (коэффициент увеличения дисперсии) показывает, во сколько раз дисперсия коэффициента больше, чем была бы при предикторе, не коррелирующем с остальными: $1/(1-R_j^2)$, где $R_j^2$ — R² регрессии этого предиктора на остальные. У обеих переменных визитов VIF равен 1.99: дисперсия удвоена, а стандартная ошибка в √1.99 = 1.41 раза больше. Это и есть увеличение, замеченное выше. Приложение помечает VIF от 5 как умеренный, а от 10 как высокий (пороги). Категориальный предиктор с несколькими уровнями получает один обобщённый VIF на весь набор фиктивных переменных, пересчитанный так, чтобы к нему подходили те же градации.

Толерантность — величина 1 ⁄ VIF, доля дисперсии предиктора, которую остальные предикторы не объясняют. Толерантность чек_до рядом с возраст и филиал равна 0.91: девять десятых его изменчивости принадлежат только ему. У переменных визитов толерантность 0.50, то есть половина изменчивости каждой из них объясняется другой.

Диагностика мультиколлинеарности — карточка, на которой для каждого члена выводятся VIF, толерантность и вердикт. По умолчанию она выключена, включить её можно на панели дополнительной статистики.

Категориальные предикторы и взаимодействия #

Категориальный предиктор — предиктор, значения которого обозначают группы, а не количества, как у филиал с уровнями «Набережная» и «Привокзальная». У «Набережной» и «Привокзальной» нет числовой оси, вдоль которой можно было бы провести наклонную прямую, поэтому модель сначала перекодирует группы в числа и выдаёт коэффициенты для всех групп, кроме одной.

Фиктивное кодирование — это и есть такое перекодирование. Предиктор с k уровнями заменяется k − 1 столбцами из нулей и единиц, по одному на каждый уровень, кроме первого, и единица в столбце означает, что наблюдение относится к этому уровню. Переменная филиал превращается в один столбец филиал[Привокзальная], равный 1 у посетителей «Привокзальной» и 0 у посетителей «Набережной», а предиктор с четырьмя уровнями превратился бы в три столбца. Коэффициент фиктивной переменной — разность исхода между её уровнем и уровнем, для которого столбца нет. Так, в модели кафе с тремя предикторами строка филиал: Привокзальная со значением 0.50 показывает, на сколько больше после смены меню тратит посетитель «Привокзальной», чем посетитель «Набережной» того же возраста и с тем же прежним чеком.

Опорная категория — уровень без собственного столбца, с которым сравниваются все остальные. Приложение берёт первый по алфавиту уровень («Набережная»), указывает его в строке Опорные категории: под таблицей коэффициентов, и каждый коэффициент категории означает разницу именно с ним. Это выбор точки отсчёта, а не результат анализа. Если опорной сделать «Привокзальную», строка покажет −0.50 для «Набережной», а все предсказанные значения и R² останутся прежними. Опорной стоит делать категорию, с которой нужно сравнивать остальные (контрольную группу, самую многочисленную группу, обычное условие), перекодировав её так, чтобы при сортировке она шла первой.

Взаимодействие — член модели для двух предикторов, эффекты которых зависят друг от друга: наклон одного из них меняется в зависимости от уровня или значения другого. Взаимодействие вводится как произведение предикторов, а его коэффициент — изменение наклона одного предиктора при увеличении другого на единицу. Одинаково ли прежний чек переходит в последующий в обоих филиалах? Регрессия чек_после на чек_до, филиал и их произведение даёт наклон 0.743 для «Набережной» и 0.675 для «Привокзальной». Коэффициент взаимодействия равен их разности, −0.068 (SE 0.113, p = 0.549), а сравнение с аддитивной моделью, в которой нет произведения, даёт F(1, 195) = 0.36. Наклоны не различаются, аддитивная модель остаётся в силе, и оба филиала описываются параллельными прямыми, которые отличаются только сдвигом. Если же взаимодействие есть, главные эффекты входящих в него переменных меняют смысл: каждый из них — наклон своего предиктора при нулевом значении другого. Для чек_до в той же модели ноль означает участника, ничего не тратившего до смены меню, поэтому переменные сначала центрируют.

Модерация — та же идея, увиденная со стороны исследовательского вопроса: модератор — переменная, от которой зависит интересующий эффект. Вопрос «слабее ли влияет вкус на удовлетворённость, если ждать пришлось долго?» — вопрос о модерации, в котором ожидание модерирует эффект вкус. Модель строится для оценка по вкус, ожидание и вкус × ожидание, коэффициент произведения равен −0.056 на минуту при p = 0.091. Это повод присмотреться, но не доказанный эффект. Если назначить переменной роль модератора, приложение само построит произведение и добавит простые наклоны.

Простые наклоны — эффект предиктора при выбранных значениях модератора, то есть взаимодействие, расписанное по точкам. Наклон удовлетворённости по вкусу равен 0.97 на балл для участника, ждавшего 2.3 минуты (на одно стандартное отклонение меньше среднего), 0.80 при среднем ожидании 5.2 минуты и 0.64 при 8.1 минуты (на одно стандартное отклонение больше). У каждого наклона своя стандартная ошибка и свой критерий. Все три далеки от нуля, так что вкус важен при любом ожидании, а взаимодействие, если оно существует, меняет лишь силу его влияния. Приложение рисует простые наклоны линиями, по одной на каждый уровень модератора, а для непрерывного модератора добавляет область Джонсона — Неймана, в которой наклон значим.

Область значимости Джонсона — Неймана — диапазон значений модератора, на котором условный эффект предиктора значим. Три пробные точки дают лишь выборочный ответ на этот вопрос, а метод Джонсона — Неймана отвечает на него полностью. Он не проверяет наклон в трёх точках, а находит значения модератора, при которых t наклона равно критическому значению, и сообщает, по какую сторону от них эффект значим. Эффект вкуса на удовлетворённость значим для всех участников, ждавших меньше 11.4 минуты, а при более долгом ожидании неотличим от нуля. При 11.4 минуты наклон равен 0.46 на балл (SE 0.23), а при самом долгом ожидании в файле, 19.9 минуты, — −0.02 (SE 0.50). Так долго ждали слишком немногие участники, и по данным нельзя сказать, как для них влияет вкус.

Граница Джонсона — Неймана — одно из таких значений перехода. Их может быть два, одно или ни одного, и граница приводится, только если она лежит внутри наблюдаемого диапазона модератора: переход за пределами данных получен экстраполяцией подогнанной прямой и ничего не доказывает. Второе решение для модели вкуса и ожидания равно −84 минутам: такого ожидания не бывает, и в таблицу оно не выводится.

Наблюдаемый диапазон модератора — размах значений модератора в выборке, для ожидание от 0.3 до 19.9 минуты. Его выводят, чтобы соотносить с ним границу. Строка Наблюдений в области значимости показывает долю реальных наблюдений, у которых значение модератора попадает в область значимости эффекта, здесь 97% из 178 участников. По ней видно, какую часть выборки покрывает область, даже если на словах она кажется широкой.

Центрирование — вычитание среднего предиктора из каждого его значения, после которого ноль означает «в среднем», а не «ничего». Наклоны, предсказанные значения и R² от центрирования не меняются. Меняется смысл свободного члена и главных эффектов в модели со взаимодействиями, а также коллинеарность между членом-произведением и входящими в него переменными. Без центрирования у вкус, ожидание и их произведения VIF равны 3.9, 7.6 и 8.6, потому что произведение двух положительных переменных следует за каждой из них, а после центрирования — 1.05, 1.11 и 1.07. Поэтому приложение перед расчётом VIF центрирует переменные, входящие во взаимодействие, и сообщает об этом на карточке коллинеарности. Коэффициенты же оно приводит в исходной шкале, если только предикторы не были заранее стандартизованы в разделе «Преобразование данных».

Медиация #

Модератор показывает, при каких условиях действует эффект, а медиатор — каким образом он возникает. Вопрос в том, передаётся ли эффект предиктора на зависимую переменную через третью переменную, зависящую от предиктора и влияющую на исход, и если передаётся, то какая его часть. Рекомендуют ли участники кафе потому, что вкусная еда делает их более довольными? Модели этого раздела отвечают на такой вопрос с помощью трёх регрессий и одного произведения. Числа ниже получены для двух видов цепочек на данных кафе: вкус → оценка → чек_после с непрерывным исходом, а также вкус → оценка → рекомендует и ожидание → оценка → рекомендует, где исход — ответ «да» или «нет».

Медиация — эффект, который передаётся через промежуточную переменную: предиктор меняет медиатор, а медиатор меняет исход. В терминах ролей приложения цепочка выглядит так: предиктор → медиатор → зависимая переменная, а список медиаторов запускает анализ для каждой пары «предиктор × медиатор». Утверждение здесь причинное (вкус повышает удовлетворённость, а она повышает готовность рекомендовать кафе), и никакая подгонка модели сама по себе его не доказывает. Какие условия нужны, чтобы числа можно было так истолковать, описывает последовательная игнорируемость.

Медиатор — переменная посередине цепочки, то есть механизм эффекта. Она должна быть числовой, потому что для неё строится линейная регрессия, и должна находиться между предиктором и исходом во времени или по смыслу: переменная, измеренная раньше предиктора, не может передавать его эффект. В кафе удовлетворённость оценка — правдоподобный медиатор влияния вкус на рекомендует и влияния ожидание на рекомендует. Переменная филиал медиатором быть не может: никакие оценки участника не меняют того, в какой филиал он ходит. Переменная, которая меняет силу эффекта, а не передаёт его, — это модератор.

Путь a — эффект предиктора на медиатор, то есть коэффициент предиктора в регрессии медиатора на этот предиктор и ковариаты, если они есть. Регрессия оценка на вкус по 192 участникам, у которых известен чек после смены, даёт a = 0.87 (SE 0.10, p < 0.001): балл вкуса добавляет почти девять десятых балла удовлетворённости.

Путь b — эффект медиатора на исход при фиксированном предикторе, то есть коэффициент медиатора в регрессии исхода на медиатор и предиктор вместе. В модели чек_после по вкус и оценка b = 0.42 (SE 0.17, p = 0.012): у участников, одинаково оценивших вкус, каждый балл удовлетворённости добавляет к чеку 0.42 за визит. Фиксированный предиктор и делает b собственным вкладом медиатора, а не повторением вклада предиктора.

Общий эффект — эффект предиктора на исход без медиатора в модели, то есть коэффициент простой регрессии исхода на предиктор, обозначаемый c. Регрессия чек_после на один только вкус даёт c = 0.50 (SE 0.23, p = 0.030). Это всё влияние предиктора на исход, как через медиатор, так и помимо него, и две следующие величины делят его на части.

Прямой эффект — эффект предиктора на исход при фиксированном медиаторе, то есть коэффициент предиктора в той же регрессии, которая даёт путь b. Его обозначают c′. Если добавить в модель оценка, коэффициент вкуса в модели чека падает с 0.50 до c′ = 0.13 (SE 0.27, p = 0.628): при одинаковой удовлетворённости лишний балл вкуса почти ничего не добавляет к чеку. Прямой эффект — часть влияния, которая не проходит через медиатор, а идёт другим путём, возможно через то, что в данных не измерено.

Косвенный эффект — часть влияния, которая проходит через медиатор. Он равен произведению путей a и b: изменение медиатора на единицу предиктора, умноженное на изменение исхода на единицу медиатора. Для цепочки «вкус → удовлетворённость → чек» он равен 0.87 × 0.42 = 0.37 на балл, а при непрерывном исходе в точности совпадает с разностью общего и прямого эффектов, 0.50 − 0.13 = 0.37. Для косвенного эффекта карточка не приводит p-значения: произведение двух оценок не распределено нормально, даже если каждая из них распределена нормально. Его проверяют бутстрэп-интервалом с поправкой на смещение, которая учитывает асимметрию произведения. По 2000 бутстрэп-выборок получается интервал [0.11, 0.64], не включающий ноль, так что часть влияния вкуса на чек действительно передаётся через удовлетворённость.

Критерий Собеля — более старый способ проверки косвенного эффекта, при котором произведение a × b считается нормально распределённым. Стандартная ошибка произведения равна $\sqrt{a^2\text{SE}{(b)}^2+b^2\text{SE}{(a)}^2}$, отношение произведения к ней рассматривается как z, а интервал строится как произведение ∓ 1.96 этой ошибки. Для цепочки «вкус → удовлетворённость → чек» критерий даёт SE = 0.150, z = 2.44, p = 0.015 и интервал [0.07, 0.66]. Вывод тот же, что по бутстрэп-интервалу [0.11, 0.64], но нижняя граница сдвинута к нулю, потому что критерий предполагает симметрию, которой у произведения нет. На малых выборках и при скошенном распределении произведения критерий Собеля слишком часто находит эффект. Поэтому анализ медиации в приложении использует бутстрэп, а критерий Собеля выводится только на карточке сравнения моделей, где бутстрэп для каждой модели-кандидата занял бы слишком много времени.

Доля опосредованного эффекта — косвенный эффект как доля общего, $a\times b/c$. Здесь она равна 0.37 ⁄ 0.50 = 0.74, то есть примерно три четверти своего влияния на чек вкус оказывает через удовлетворённость. Карточка приводит эту долю, только если значим сам общий эффект: при общем эффекте, близком к нулю, отношение резко колеблется (так обстоит дело с цепочкой для ожидания ниже). Кроме того, если косвенный и прямой эффекты направлены в разные стороны, «доля» может быть больше 1 или меньше 0 и перестаёт быть долей. Какой из этих случаев имеет место, указано в примечании под таблицей.

Суммарный косвенный эффект — при нескольких медиаторах в модели сумма косвенных эффектов предиктора через все медиаторы, то есть весь его опосредованный эффект. Для непрерывного исхода он равен c − c′. Медиаторы подгоняются параллельно, и каждый путь b учитывает остальные медиаторы. Поэтому частный косвенный эффект — собственный вклад каждого медиатора, а суммарный — их сумма. Цепочка, в которой один медиатор влияет на следующий, — это уже модель путей, её строят на вкладке Расширенный.

Причинная медиация — подход, который приложение применяет, когда исход не непрерывный: ответ «да» или «нет», порядковая шкала, число событий. Путь a здесь — линейный коэффициент, а путь b — коэффициент в логарифмах шансов или в логарифмах числа событий, и их произведение смысла не имеет. Вместо этого для каждого наблюдения моделируется исход при таком значении медиатора, какое он принял бы при каждом из уровней предиктора, и разности усредняются. Эффекты получаются в шкале самого исхода, как изменение вероятности ответа «рекомендует», с квазибайесовскими интервалами и p-значениями, полученными тем же моделированием. Два таких эффекта описаны ниже.

ACME (средний причинный опосредованный эффект) — косвенный эффект в причинной медиации: среднее изменение исхода, если сдвинуть медиатор так, как его сдвинул бы предиктор, а сам предиктор оставить прежним. Если поднять вкус с 2.3 до 4.7 (это контраст воздействия), вероятность того, что участник порекомендует кафе, за счёт удовлетворённости оценка вырастет на 0.26, 95% ДИ [0.17, 0.34], p < 0.001. Расчёт выполнен по 193 участникам, у которых есть общая оценка. ACME вычисляется дважды, при низком и при высоком значении предиктора, и карточка приводит среднее из двух. Для порядкового исхода выводятся оба значения, по каждой категории исхода.

ADE (средний прямой эффект) — прямой эффект в причинной медиации: изменение исхода при сдвиге предиктора, если медиатор остаётся на прежнем уровне. Для вкуса он равен 0.10 [−0.03, 0.24], p = 0.125: при неизменной удовлетворённости более высокая оценка вкуса сама по себе мало влияет на рекомендацию. Общий эффект равен сумме двух, 0.36 [0.22, 0.50], то есть участник с оценкой вкуса 4.7 рекомендует кафе с вероятностью на 36 процентных пунктов выше, чем участник с оценкой 2.3. Доля опосредованного эффекта равна 0.72.

Для ожидание тот же анализ по 178 участникам даёт другую картину. Если ожидание увеличивается с 2.2 до 8.1 минуты, вероятность рекомендации меняется на −0.15 через удовлетворённость ([−0.23, −0.08], p < 0.001) и на 0.01 напрямую ([−0.12, 0.13], p = 0.893). Общий эффект, −0.14 [−0.28, 0.00], немного не достигает порога значимости (p = 0.053), поэтому долю опосредованного эффекта карточка не приводит. Опосредованная часть установлена, а эффект в целом — нет, и противоречия в этом нет: косвенный эффект оценивается точнее общего, в интервал которого входит ещё и случайная погрешность прямого эффекта. Долгое ожидание лишает кафе рекомендаций, потому что снижает удовлетворённость, а других путей его влияния в данных не видно.

Контраст воздействия — пара значений предиктора, между которыми определяется эффект причинной медиации. Задавать её приходится потому, что в шкале вероятности или числа событий эффект одной единицы зависит от того, в каком месте шкалы взята эта единица: один и тот же шаг сдвигает вероятность около 0.5 гораздо сильнее, чем около 0.95. Для числового предиктора приложение берёт шаг от среднего минус одно стандартное отклонение до среднего плюс одно (вкус от 2.3 до 4.7, ожидание от 2.2 до 8.1 минуты), для бинарного — между двумя его значениями, для категориального — между первыми двумя уровнями. Выбранная пара указана в примечании под таблицей. Все значения ACME, ADE и общего эффекта на карточке относятся к этому шагу, а не к единице предиктора.

Последовательная игнорируемость — допущение, при котором арифметика становится причинным выводом: с учётом ковариат модели никакая неизмеренная переменная не влияет одновременно на предиктор и медиатор, на предиктор и исход или на медиатор и исход. Первые два условия можно обеспечить случайным назначением предиктора, а третье нельзя: никакой план исследования не может назначить участникам их удовлетворённость. Проверить это условие никаким критерием тоже нельзя, так что анализ медиации даёт хорошо обоснованную оценку, но не доказательство. Допущение приведено в примечании под каждой таблицей медиации, а анализ чувствительности показывает, насколько сильное его нарушение выдержал бы результат.

Чувствительность к неучтённому смешиванию — насколько сильной должна быть неизмеренная общая причина медиатора и исхода, чтобы косвенный эффект полностью исчез. Для её оценки ACME пересчитывается при разных значениях корреляции ρ между ошибками уравнения медиатора и уравнения исхода, и приложение сообщает, при каком значении эффект становится нулевым. Для цепочки «вкус → удовлетворённость → чек» косвенный эффект равен 0.37 при ρ = 0 и 0.17 при ρ = 0.1, причём интервал [−0.12, 0.45] уже включает ноль, а сам эффект обращается в ноль при ρ = 0.2.

ρ — корреляция между остатками уравнения медиатора и уравнения исхода, то есть та самая зависимость, которую исключает последовательная игнорируемость. При ρ = 0 допущение выполнено, и ACME совпадает с приведённым на карточке. Значение ρ = 0.3 соответствует неизмеренной общей причине удовлетворённости и чека, из-за которой их остатки коррелируют на уровне 0.3.

ρ, при котором ACME = 0 — пороговое значение ρ: при нём косвенный эффект обращается в ноль. Его ищут с шагом 0.1. У опубликованных результатов анализа медиации порог обычно лежит где-то между 0.1 и 0.4. Порог 0.5 означает устойчивый результат, а порог 0.1 должен насторожить. Для цепочки «вкус → удовлетворённость → чек» порог равен 0.2, то есть хватило бы умеренной смешивающей переменной, и в отчёте об этой цепочке порог указывают рядом с интервалом.

Доля остаточной дисперсии выражает то же пороговое значение иначе — как произведение долей необъяснённой дисперсии, которые пропущенная смешивающая переменная должна объяснить в обоих уравнениях. Это ρ² в пороговой точке, здесь 0.04. Значит, эффект исчез бы, если бы смешивающая переменная объясняла пятую часть необъяснённой дисперсии каждого уравнения (4% в произведении).

Доля общей дисперсии — то же пороговое значение, выраженное через общую дисперсию каждой переменной, а не через её необъяснённую часть. Для цепочки кафе она равна 0.027. Обе доли приводятся потому, что понятны и без знания того, что такое ρ. Рецензент может спросить, способна ли правдоподобная неучтённая переменная (например, настроение участника в тот день) объяснить по несколько процентов дисперсии и удовлетворённости, и чека. Здесь ответ — вполне способна.

Условные косвенные эффекты — косвенные эффекты, вычисленные при выбранных значениях модератора. Это модерируемая медиация: вопрос в том, работает ли сам механизм у одних наблюдений сильнее, чем у других. Приложение вводит модератор в оба пути, так что в каждой пробной точке эффект равен a(w) × b(w), и оценивает эти эффекты по общим бутстрэп-выборкам. Слабее ли удовлетворённость передаёт влияние вкуса на чек, если ждать пришлось долго? При ожидании 2.3, 5.2 и 8.1 минуты (среднее и среднее ∓ одно стандартное отклонение, 177 участников) косвенный эффект равен 0.41 [0.06, 0.92], 0.36 [0.12, 0.63] и 0.30 [0.00, 0.69]. Эффект снижается с 0.41 до 0.30, но интервалы почти полностью перекрываются.

Индекс модерируемой медиации — наклон косвенного эффекта по модератору, то есть изменение косвенного эффекта на единицу модератора. Это одно число, по которому видно, модерируется ли медиация вообще, а проверяют его по тому, исключает ли ноль его бутстрэп-интервал. Когда модератор входит только в один путь, индекс равен коэффициенту взаимодействия в этом пути, умноженному на другой путь. Взаимодействие вкуса и ожидания в модели удовлетворённости равно −0.055 на минуту, так что индекс равен −0.055 × 0.39 = −0.021 на минуту ожидания, [−0.07, 0.01]. Когда модератор входит в оба пути, как допускает таблица приложения, косвенный эффект зависит от модератора нелинейно, и строка называется Изменение косвенного эффекта на единицу переменной ожидание. Здесь это −0.020 на минуту, [−0.12, 0.08]. В обоих случаях интервал включает ноль, и зависимость механизма от времени ожидания не доказана.

Сравнение моделей #

Вложенные модели — пара моделей, в которой одна получается из другой удалением членов: регрессия чек_после на чек_до вложена в регрессию чек_после на чек_до и филиал. Большая модель всегда описывает данные не хуже меньшей, и вопрос лишь в том, оправдывают ли себя дополнительные члены. Для двух вложенных линейных моделей это проверяют F-критерием по уменьшению остаточной суммы квадратов. На 194 участниках, указавших возраст, добавление филиал к чек_до даёт F(1, 191) = 1.65 при p = 0.201, а добавление возраст к обоим — F(1, 190) = 0.02 при p = 0.894. Выводы те же, что по t-критериям таблицы коэффициентов, потому что при добавлении одного члена это один и тот же критерий. Для обобщённых линейных моделей аналогом служит критерий отношения правдоподобия по уменьшению девианса.

Логарифм правдоподобия показывает, насколько вероятны наблюдаемые данные при подогнанной модели, в логарифмической шкале. Чем он выше (ближе к нулю), тем лучше, и на нём построены все сравнения моделей на карточке регрессии. У моделей кафе для чек_после на 194 участниках с полными данными логарифм правдоподобия равен −527.3 без предикторов, −466.6 с чек_до, −465.8 после добавления филиал и снова −465.8 после добавления возраст, то есть два последних добавления почти ничего не меняют. Само по себе это число ничего не значит, смысл имеют только разности между моделями.

Критерий отношения правдоподобия сравнивает две вложенные модели по удвоенной разности их логарифмов правдоподобия. Если дополнительные члены на самом деле равны нулю, эта величина имеет распределение χ² с числом степеней свободы, равным числу добавленных членов. Строка χ² (критерий LR) на карточке логистической регрессии — этот критерий, сравнивающий всю модель с моделью, где есть только свободный член (65.8 при 1 степени свободы для рекомендует по оценка). Для обобщённой модели он играет ту же роль, что F-статистика для линейной.

AIC (информационный критерий Акаике) помогает выбрать одну из моделей, подогнанных по одним и тем же наблюдениям. Он равен −2 × логарифм правдоподобия + 2k, где k — число параметров: лучшее соответствие данным его снижает, а каждый лишний параметр повышает на 2. Чем меньше AIC, тем лучше, но само его значение произвольно, и смысл имеют только разности между моделями, подогнанными по одним и тем же данным. Четыре модели кафе получают 1058.7, 939.3, 939.6 и 941.6. Модель с одним чек_до выигрывает у модели с одним свободным членом 119 пунктов, добавление филиал обходится в 0.3 пункта, а добавление возраст — ещё в два: соответствие улучшилось слишком мало, чтобы окупить лишний параметр. На практике разность меньше 2 считают несущественной, от 4 до 7 — заметной, больше 10 — решающей. В отличие от F-критерия, AIC позволяет сравнивать и невложенные модели, например модель с единственным предиктором чек_до и модель с единственным предиктором визиты_до (939.3 против 1038.2). Для этого и служит карточка сравнения моделей.

BIC (байесовский информационный критерий) отличается от AIC более высокой ценой параметра: log(n) вместо 2, что для 194 участников составляет 5.3. Он выбирает модели проще, чем AIC, и с ростом выборки находит истинную модель там, где AIC оставляет один-два лишних члена. На данных кафе оба критерия согласны (949.1, 952.7 и 957.9 для трёх моделей). Приводят тот критерий, который принят в данной области, а расхождение между ними означает, что по какому-то члену данные не позволяют принять решение.

AICc — AIC с поправкой на малый объём выборки,

где k — число всех оцениваемых параметров модели, включая свободный член и остаточную дисперсию (у линейной модели с тремя предикторами k = 5), а n — число наблюдений, по которым подгонялась каждая модель-кандидат. Поправка добавляет ту часть цены параметра, которую AIC не учитывает, когда выборка мала по сравнению с моделью. При 194 участниках она прибавляет 0.13 к модели чек_после с одним предиктором и 0.32 к модели с тремя и ни одного вывода не меняет. При 20 участниках те же модели получили бы добавки 1.5 и 4.3, а этого хватит, чтобы изменить решение в спорном случае. Когда k приближается к n − 1, поправка неограниченно растёт: так критерий показывает, что параметров слишком много для таких данных. С ростом выборки AICc сходится к AIC, так что ни при каком объёме выборки он не хуже AIC. Карточка сравнения моделей ранжирует модели по AICc, и практические правила для разностей AIC применяют к столбцу ΔAICc, отставанию каждой модели от лучшей.

Вес Акаике — разность AICc модели и лучшей модели, пересчитанная в долю: для каждой модели берётся $\exp (-\mathrm{\Delta }/2)$ и делится на сумму таких величин по всем сравниваемым моделям. Веса в сумме дают 1, и каждый можно понимать как вероятность того, что данная модель лучшая в наборе. Карточка сравнения моделей подгоняет модели для всех подмножеств выбранных предикторов и взвешивает их именно так. Из восьми моделей чек_после, которые можно составить из чек_до, возраст и филиал на 194 участниках, модель с одним чек_до получает вес 0.41, чек_до с филиал — 0.33, чек_до с возраст — 0.15, модель со всеми тремя — 0.12. Четырём моделям без чек_до, отстающим на 110 и более пунктов AICc, вместе достаётся меньше 10⁻²⁴. Вес — это доля внутри данного набора: если добавить сильную модель-кандидат, все веса уменьшатся. На весах построено всё, о чём говорится ниже: отношение свидетельств, доверительный набор, усреднённые коэффициенты и важность каждого предиктора.

Отношение свидетельств — вес лучшей модели, делённый на вес другой модели, то есть во сколько раз вероятнее, что лучшей окажется первая, а не вторая. При разрыве Δ оно равно $\exp (\mathrm{\Delta }/2)$: 2.7 при Δ = 2, 7.4 при Δ = 4 и 148 при Δ = 10, так что практические правила для разностей AIC — те же отношения, выраженные по-другому. В ранжировании кафе модель с одним чек_до в 1.2 раза вероятнее модели чек_до с филиал (выбирать между ними не приходится), в 2.8 раза вероятнее модели чек_до с возраст, в 3.5 раза вероятнее модели со всеми тремя предикторами и в 8 × 10²³ раз вероятнее лучшей модели без чек_до. Отношение касается только двух моделей, поэтому, в отличие от веса, не меняется, когда в набор добавляют или из него убирают третью. Отношение меньше примерно 3 означает, что по данным две модели не различить, а отношение порядка тысяч — что о второй модели можно забыть.

Доверительный набор — модели, которые нельзя отвергнуть: наименьшая группа моделей с верха ранжирования, чьи веса Акаике в сумме достигают уровня доверия (95%, если в настройках не задано иное). Его определяют по столбцу Накопленный вес, где сверху вниз по ранжированию к каждому весу прибавляются все предыдущие: модель, на которой сумма переходит через уровень доверия, последней входит в набор. Доверительный набор понимают как доверительный интервал для ответа на вопрос, какая модель лучшая: с заявленной вероятностью лучшая модель в нём есть, а модели за его пределами можно не рассматривать. Для восьми моделей кафе накопленная сумма равна 0.41, 0.74, 0.88 и затем 1.00, так что в набор входят четыре модели с чек_до, а четыре модели без него остаются за его пределами. Набор из одной модели означает, что сравнение дало однозначный ответ. Если же в набор входит большинство кандидатов, данные не различают их по качеству, и тогда ответом служат не коэффициенты какой-то одной модели, а усреднённые коэффициенты, описанные ниже.

Усреднение моделей — оценка коэффициентов по всему набору моделей, а не только по лучшей. Каждый коэффициент усредняется по моделям-кандидатам с весами Акаике, так что оценка члена складывается в основном из тех моделей, которые лучше согласуются с данными, а неопределённость в том, какая модель верна, входит в его стандартную ошибку. Если выбрать лучшую модель и привести её коэффициенты так, будто никакого перебора не было, эта неопределённость окажется заниженной: вторая модель была почти так же хороша, а её коэффициенты немного другие. Усреднённая таблица это исправляет. Таблица усреднённых по моделям коэффициентов приводит для каждого члена два средних, полное и условное. Их стандартные ошибки учитывают и погрешность внутри каждой модели, и разброс оценки между моделями, поэтому усреднённый интервал отражает неопределённость выбора модели, которой нет в интервале отдельной модели.

Полное среднее — коэффициент члена, усреднённый по всем моделям набора, причём в моделях без этого члена коэффициент считается равным нулю. Поэтому полное среднее сжато к нулю ровно на вес таких моделей. Коэффициент филиал: Привокзальная равен 0.51 в двух моделях, где он есть, на эти модели приходится 0.45 общего веса, и полное среднее равно 0.45 × 0.51 = 0.23 с интервалом [−0.44, 0.90]. Это различие филиалов с поправкой на то, что филиал, возможно, вообще не нужен в модели. Член, который есть во всех хороших моделях, не сжимается: полное среднее чек_до равно 0.70 [0.59, 0.81], как и условное. Член, отвергнутый данными, сжимается почти до нуля: у возраст — до 0.001 на год. Полное среднее приводят как эффект предиктора, когда вопрос включает и то, важен ли предиктор вообще.

Условное среднее — тот же коэффициент, усреднённый только по моделям, которые содержат член. Для филиал: Привокзальная оно равно 0.51 [−0.27, 1.29], что близко к значению в каждой из двух моделей с этим членом, поскольку они согласуются между собой. Условное среднее отвечает на вопрос, насколько велик эффект, если член действительно входит в модель. Когда полное среднее сжато, условное всегда дальше от нуля, и его уместно приводить, если место члена в модели обосновано из других соображений. Но если привести одно условное среднее для члена с низкой важностью, оно преувеличит то, что подтверждают данные, потому что скроет, что большая часть веса досталась моделям без этого члена. Выбор между двумя средними зависит от вопроса: полное среднее показывает вклад предиктора с учётом неопределённости выбора модели, условное — его вклад в тех моделях, где он есть.

Важность переменных — сумма весов Акаике моделей, содержащих предиктор, то есть доля свидетельств, приходящаяся на модели с этим предиктором. У чек_до важность 1.00, потому что он есть во всех моделях с заметным весом, у филиал — 0.45, у возраст — 0.26. Таблица важности переменных упорядочивает предикторы по этой величине и для каждого указывает, в скольких моделях он был и в скольких из них его коэффициент получился положительным или отрицательным. Важность — не p-значение и не размер эффекта. Предиктор, входящий в половину моделей-кандидатов, начинает с 0.50 ещё до всякого анализа (априорная доля включения), а два предиктора с одной и той же информацией делят вес между собой. Так, у визиты_после важность 0.30 при 0.94 у визиты_до, то есть ниже его начальной доли. Обе переменные отражают одно и то же (как часто участник бывает в кафе), и вес достаётся той, которая отражает это точнее (мультиколлинеарность). Низкая важность означает, что предиктор выбирался непостоянно, а не что он не имеет отношения к исходу.

Априорная доля включения — доля моделей-кандидатов, содержащих предиктор, до подгонки каких-либо моделей. Такую важность предиктор получил бы, если бы все модели весили одинаково. При переборе всех подмножеств каждый предиктор входит ровно в половину моделей, поэтому начальная доля у каждого 0.50. Ограничение на минимальное или максимальное число предикторов её сдвигает, вплоть до 1.00 для члена, который при заданных ограничениях входит в каждую модель, и тогда его важность равна 1.00 независимо от данных. Свидетельством в пользу предиктора служит только превышение этой доли, а против него — только недобор до неё. У чек_до важность 1.00, то есть пройден весь путь от 0.50 до 1, а 0.45 у филиал и 0.26 у возраст до своих 0.50 не дотягивают. Поэтому на диаграмме важности приложение отмечает долю каждого предиктора засечкой на его полосе.

Переобучение — состояние модели, которая приняла шум выборки за закономерность: эти наблюдения она описывает лучше, чем модель попроще, а новые предсказывает хуже. Признаки переобучения — скорректированный R² намного ниже R², коэффициенты, которые сильно меняются при удалении нескольких наблюдений, и ошибка на перекрёстной проверке, превышающая ошибку на обучающей выборке. Помогают меньшее число членов, больший объём выборки или регуляризованная подгонка, которая намеренно сжимает коэффициенты.

Перекрёстная проверка (в литературе также кросс-валидация и скользящий контроль) оценивает, как модель поведёт себя на данных, по которым её не подгоняли. Выборка делится на блоки, модель подгоняется на всех блоках, кроме одного, и проверяется на отложенном, и так по очереди для каждого блока. Приложение использует перекрёстную проверку, чтобы выбрать штраф регуляризованной модели и рассчитать для классификатора AUC по перекрёстной проверке. Если качество модели на перекрёстной проверке намного хуже, чем на обучающей выборке, модель переобучена, каким бы высоким ни был её R².

Проверка регрессии #

Четыре допущения, на которых основаны p-значения и интервалы линейной модели, относятся к остаткам, и каждое из них разобрано на странице о допущениях. Это линейность (связь прямолинейна), независимость (по остатку одного наблюдения нельзя судить об остатке другого), гомоскедастичность (у одного конца прямой остатки разбросаны так же, как у другого) и нормальность остатков. Нормальным должен быть не сам исход, он может быть сколь угодно скошенным, а то, что остаётся после модели. Карточка диагностики остатков проверяет последние три допущения, по критерию на каждое, карточка соответствия модели данным — первое. Карточка статистик влияния отвечает на пятый вопрос, которого допущения не касаются: не держится ли положение прямой на каком-то одном наблюдении.

Нормальность остатков проверяют критерием Шапиро — Уилка по остаткам и графиком Q-Q стандартизованных остатков. Модель кафе с тремя предикторами даёт W = 0.991 при p = 0.257, то есть остатки распределены вполне нормально. Модель оценка по вкус и ожидание даёт W = 0.975 при p = 0.002, потому что у шкалы удовлетворённости от 0 до 10 есть потолок, к которому остатки прижимаются. Это допущение наименее важное из четырёх: при 178 участниках центральная предельная теорема обеспечивает корректность критериев для коэффициентов. Нарушение нормальности скорее указывает на ограниченный или скошенный исход, который лучше описала бы другая модель.

Критерий Дарбина — Уотсона проверяет остатки на автокорреляцию, то есть похож ли каждый остаток на остаток в предыдущей строке. Статистика принимает значения от 0 до 4 и равна 2, когда соседние остатки не связаны. Значения ниже примерно 1.5 указывают на положительную корреляцию, выше 2.5 — на отрицательную. У модели кафе статистика равна 1.92. Значение ничем не примечательно, но и смысла не имеет: строки — это участники в том порядке, в каком подшивались анкеты программы лояльности, а не последовательность во времени. Критерий предназначен для данных, где порядок строк отражает время или положение в пространстве. В данных опроса он оценивает случайный порядок строк в файле, о чём приложение предупреждает под таблицей. Там, где критерий применим, нужна модель, учитывающая последовательность: стандартные ошибки Ньюи — Уэста или модель временного ряда.

Критерий Бройша — Пагана проверяет гетероскедастичность: растут или убывают ли квадраты остатков вместе с предикторами. Для простой прямой кафе BP = 3.69 при p = 0.055, это на грани значимости. Для модели с тремя предикторами BP = 10.7 при 3 степенях свободы и p = 0.013: разброс чека после смены вокруг прямой непостоянен и больше у тех участников, которые раньше тратили больше. На коэффициенты это не влияет, но влияет на их стандартные ошибки, и исправляют это не другой моделью, а робастными стандартными ошибками.

Робастные стандартные ошибки вычисляются без допущения о постоянном разбросе остатков (форма HC3, устойчивая к гетероскедастичности), а для упорядоченных данных — ещё и без допущения о независимости остатков (форма Ньюи — Уэста). Они меняют столбцы стандартной ошибки, t, p и интервала, но не коэффициенты: наклон модели был верным, неверной была заявленная точность. Включаются они селектором стандартных ошибок. Для модели оценка по вкус наклон остаётся равным 0.878, а его стандартная ошибка при HC3 возрастает с 0.097 до 0.108. Робастные стандартные ошибки — обычный выбор, когда критерий Бройша — Пагана обнаруживает гетероскедастичность, а когда не обнаруживает, они ничего не портят.

Тест RESET (тест Рамсея на ошибку спецификации регрессии) проверяет линейность. В модель добавляются квадраты и кубы предсказанных значений, и тест проверяет, объясняют ли они что-то, чего не уловила прямая. Значимая F означает, что связь изогнута или в модели не хватает предиктора. Результат приложение выводит на карточке соответствия модели данным. Для модели кафе с тремя предикторами F(2, 188) = 0.99 при p = 0.373, то есть признаков ошибки спецификации нет. Регрессия чек_до на возраст даёт p = 0.003: связь изогнута, потому что участники делятся на две возрастные группы. Из всех диагностик только эта при нарушении означает, что неверны сами коэффициенты, а не только их точность.

Наблюдения, которые тянут прямую на себя (с большим остатком, с далёким значением предиктора или с тем и другим сразу), разобраны на странице о выбросах. Там описаны рычаг, расстояние Кука, DFFITS и критерий выбросов по стьюдентизированным остаткам, которые выводятся на карточке влияния. В следующем разделе описаны модели, которые не удаляют такие наблюдения, а снижают их вес.

Устойчивость к выбросам #

До сих пор все карточки регрессии на этой странице проводили прямую методом наименьших квадратов. У такой прямой есть слабость, которую страница о выбросах оценивает для каждого наблюдения отдельно: одна строка, далёкая от остальных, может сдвинуть всю прямую. В этом разделе заказ кейтеринга остаётся в данных. Это участник 136 с чеком 66.53 после смены при прежнем чеке 18.53 — то самое значение, которое во всех остальных разделах страницы удалено перекодировкой диапазона. На всех 200 участниках видно, как два семейства методов, которые приложение предлагает вместо наименьших квадратов, не дают этому наблюдению увести прямую за собой.

Метод наименьших квадратов — правило, по которому строится обычная прямая регрессии: свободный член и наклон выбираются так, чтобы сумма квадратов остатков была наименьшей. Благодаря возведению в квадрат прямую легко вычислить, а при нормальных ошибках её критерии точны, но из-за него же одно наблюдение получает такую силу. Даже после того, как прямая максимально к нему приблизилась, остаток участника 136 равен 47.63, а его квадрат, 2269, составляет 60% всей остаточной суммы квадратов, хотя это одна строка из 200. Поэтому прямой выгоднее сдвинуться к этому наблюдению, чем лучше описать остальные 199, и она так и поступает. С заказом кейтеринга регрессия чек_после на чек_до даёт 2.17 + 0.903 × чек_до, R² = 0.36 и стандартную ошибку остатков 4.37, а без него — 3.54 + 0.716 × чек_до, R² = 0.48 и 2.68. Одна строка изменила наклон на четверть, увеличила стандартную ошибку остатков примерно на 60% (с 2.68 до 4.37) и подняла прямую над основной массой точек: ниже неё лежат 112 из 200 участников, то есть 56%. Меры влияния на странице о выбросах находят такое наблюдение уже после подгонки, а два семейства методов, описанных ниже, изначально не дают ему такого влияния.

M-оценивание заменяет квадрат остатка функцией потерь, которая при больших остатках растёт медленнее, так что влияние отдельного наблюдения на прямую ограничено. В классической функции Хьюбера потери растут квадратично до порога и линейно после него, то есть для хорошо описанных наблюдений это метод наименьших квадратов, а для остальных — метод наименьших модулей. Подгонку находят взвешенным методом наименьших квадратов, повторяя его до сходимости, и каждое наблюдение с остатком за порогом получает вес, равный порогу, делённому на остаток. На 200 участниках кафе M-оценка Хьюбера равна 3.16 + 0.758 × чек_до. Участник 136 входит в неё с весом 0.07, то есть как семь процентов наблюдения, вес снижен в общей сложности у 36 участников, а наклон с 0.903 почти вернулся к значению 0.716, полученному без выброса. Однако наблюдение не исключено: ограничение уменьшает его влияние, но никогда не сводит к нулю. Кроме того, наблюдение с далёким значением предиктора (с большим рычагом) сохраняет всё своё влияние, потому что M-оценка учитывает только остатки. Следующий метод устраняет оба недостатка.

MM-оценивание — двухэтапная подгонка, на которой основан тип регрессии Робастная линейная (robustbase::lmrob). На первом этапе S-оценка находит прямую, при которой робастная мера разброса остатков минимальна. У такой подгонки пороговая точка (breakdown point) равна 50%: до половины наблюдений можно сместить куда угодно, и прямая за ними не последует, тогда как метод наименьших квадратов ломается уже от одного наблюдения. На втором этапе найденный масштаб фиксируется, и из этой начальной точки строится M-оценка с убывающей до нуля весовой функцией — бивесом Тьюки. В отличие от функции Хьюбера, она обращается точно в ноль, если остаток больше порога, равного 4.685 робастного масштаба, здесь 4.685 × 2.65 = 12.4 единицы чека. Результат сохраняет пороговую точку S-оценки и при этом почти так же эффективен на чистых данных, как метод наименьших квадратов: при нормальных ошибках его эффективность составляет 95%. На 200 участниках кафе MM-прямая равна 3.23 + 0.748 × чек_до (SE 0.060, t = 12.48), а на 199 участниках без заказа кейтеринга — 3.22 + 0.748. Наклон совпадает до третьего знака, свободный член отличается на сотую, и в этом весь смысл: метод сам сделал то, что перекодировка диапазона сделала вручную. Таблица соответствия модели выглядит иначе, чем у метода наименьших квадратов. Робастный R², 0.50, — то же отношение, но вычисленное с весами наблюдений, а не по исходным суммам квадратов, и сравнивать его с R² = 0.48 обычной регрессии нельзя. Место стандартной ошибки остатков занимает Робастный масштаб остатков (2.65), а вместо F-критерия наклоны проверяются критерием Вальда χ²: этот метод не максимизирует правдоподобие, и для сравнения моделей у него нет ни AIC, ни BIC.

Вес наблюдения — доля наблюдения, которая учтена в подгонке, от 0 до 1. Это значение бивеса, на котором сошёлся M-шаг: ${(1-{(r/\text{cut-off})}^2)}^2$ для остатка r в пределах порога и 0 за ним. Веса служат для робастной подгонки отчётом о влиянии и выводятся вместо расстояния Кука, когда отмечены статистики влияния. Наблюдение, согласующееся с прямой, сохраняет почти весь вес, слегка расходящееся теряет часть веса, а сильно расходящееся отвергается, то есть не учитывается совсем, и на каждом шаге такие строки перечислены. Для кафе средний вес равен 0.91, квартили — 0.89, 0.96 и 0.99, так что основная часть выборки вошла в подгонку почти с полным весом. Наименьший вес, 0.00, у участника 136: его остаток относительно MM-прямой равен 49.4, вчетверо больше порога, и это единственный отвергнутый участник. Меньше чем на половину учтены четыре участника, среди них участник 179 с весом 0.13 при остатке −9.9. Это выброс по исходу, который критерий стьюдентизированных остатков отмечает, когда заказа кейтеринга в данных нет. Отвергнутая строка не удаляется: она остаётся в таблице, её вес показывает, как с ней обошёлся метод, и в отчёте можно привести это число, а не оправдывать удаление. Два признака предупреждают о проблеме: средний вес ниже 0.5 или больше половины отвергнутых строк. Любой из них означает, что подгонка описывает не основную массу выборки, а её меньшую часть.

Квантильная регрессия проводит прямую не через среднее исхода, а через выбранный квантиль: выше медианной прямой лежит половина наблюдений и ниже — половина, ниже прямой для 0.9 лежат девять десятых. Каждая такая прямая — линейная функция предикторов со своим свободным членом и наклоном. Тип регрессии Квантильная (quantreg::rq) подгоняет сразу набор таких прямых, по умолчанию для квартилей, и выводит матрицу коэффициентов, в первом столбце которой стоит оценка обычного метода наименьших квадратов. Если наклон предиктора меняется от квантиля к квантилю, это видно по его строке. Квантильная регрессия умеет две вещи, недоступные прямой для среднего. Во-первых, она устойчива к выбросам в исходе, поскольку наблюдение учитывается по тому, с какой стороны от прямой оно лежит, а не по тому, насколько далеко. Во-вторых, она показывает, действует ли предиктор в верхней части распределения исхода иначе, чем в нижней, а единый наклон для среднего сводит это к одному числу и скрывает. На данных кафе второе видно по тому, что прямые слегка расходятся веером. На сетке из квартилей и хвостовых квантилей наклон чека после смены по прежнему чеку равен 0.67 (SE 0.07) для 10-го процентиля, 0.81 (0.07) для медианы и 0.77 (0.11) для 90-го процентиля, а свободные члены лежат от 0.72 до 6.88. Для участника с прежним чеком 5 десятый процентиль чека после смены равен 4.05, а девяностый — 10.71, для участника с прежним чеком 12 — 8.71 и 16.07. Полоса немного расширяется с ростом прежнего чека, и это та самая гетероскедастичность, которую обнаружил критерий Бройша — Пагана. Но наклоны различаются не больше, чем позволяют их стандартные ошибки, так что прежний чек сдвигает всё распределение последующего, а не растягивает какой-то один его край.

τ (тау) — квантиль, для которого строится прямая, от 0 до 1: τ = 0.5 — медиана, 0.25 — нижний квартиль, 0.9 — 90-й процентиль. Прямую для τ находят так: остаткам по одну сторону от неё придают вес τ, по другую — вес 1 − τ, и минимизируют их сумму. Коэффициент при τ — это изменение этого квантиля исхода на единицу предиктора, а не изменение среднего. Каждый блок квантильной карточки указывает, для какого τ он рассчитан. Элемент Квантили (τ) задаёт набор квантилей, а Отображаемый квантиль — то единственное τ, для которого выводятся диагностика, таблица соответствия модели и стандартизованные коэффициенты. Убедиться, что прямая действительно соответствует своему τ, легко: на 200 участниках кафе ниже прямых для 0.1, 0.25, 0.5, 0.75 и 0.9 лежат доли 0.095, 0.245, 0.495, 0.745 и 0.900.

Медианная регрессия — квантильная регрессия при τ = 0.5. На ней проще всего увидеть, к чему устойчива квантильная прямая, в отличие от прямой для среднего. Прямая для среднего минимизирует квадраты остатков, поэтому важно, как далеко от неё лежит наблюдение, и чем дальше, тем важнее. Медианная прямая минимизирует модули остатков, и для неё важно лишь, с какой стороны лежит наблюдение. Участник 136 остаётся одним наблюдением над прямой, будь его заказ 66.53 или 666.53. Медианная прямая 2.62 + 0.805 × чек_до на 200 участниках в точности совпадает с прямой на 199 участниках без этого заказа. Не меняются и прямые для 0.1 и 0.25, а прямые для 0.75 и 0.9 немного сдвигаются (наклоны с 0.738 до 0.719 и с 0.766 до 0.721), поскольку после удаления наблюдения над ними квантилю соответствует уже другое наблюдение. Показатель R¹ в таблице соответствия модели, мера Кёнкера и Машаду (здесь 0.26 для медианы), переносит идею R² на квантильную функцию потерь вместо квадратичной. Сравнивать его нельзя ни между разными τ, ни с R². По сравнению с робастными методами медианная прямая оценивает центр распределения менее эффективно: стандартная ошибка её наклона 0.072 против 0.060 у MM-подгонки. Поэтому одна медианная прямая мало что к ним добавляет, а то, что умеет только квантильная регрессия, — это построить рядом с ней прямые для других квантилей.

Сжатие коэффициентов #

До сих пор коэффициенты подгонялись свободно: они принимали те значения, при которых остатки наименьшие, и ничто не удерживало их от этого. Регуляризованные методы оценивания добавляют такое ограничение — штраф за величину коэффициентов. В этом разделе речь о том, что даёт штраф, чем за него приходится платить и как приложение выбирает его силу. Пример — регрессия удовлетворённости оценка на шесть пунктов анкеты, вкус, свежесть, цена, приветливо, быстро и медленно, по 193 участникам с общей оценкой. Для этого набора предикторов раздел о мультиколлинеарности не нашёл проблем: VIF от 1.3 до 1.5. Подгонка без штрафа даёт 1.41 + 0.411 вкус + 0.342 свежесть + 0.202 цена + 0.487 приветливо + 0.315 быстро − 0.159 медленно, R² = 0.61, все члены значимы, наименее значимы цена (p = 0.015) и пункт «медленно» (p = 0.041).

Регуляризация — подгонка со штрафом, добавленным к функции потерь. Минимизируется остаточная сумма квадратов плюс λ, умноженная на меру величины коэффициентов, так что коэффициент остаётся большим, только если улучшение соответствия данным перевешивает штраф. Каждый коэффициент стягивается к нулю, то есть сжимается, на величину, которая зависит от формы штрафа и от λ, а свободный член не штрафуется. Поскольку штраф зависит от величины коэффициентов, перед подгонкой предикторы стандартизуются, чтобы штраф ложился на все одинаково, в каких бы единицах они ни были измерены, а коэффициенты затем пересчитываются в исходную шкалу. Ковариата от штрафа освобождена и входит в модель при любом λ. В меню метода оценивания есть три описанных ниже штрафа и групповой вариант одного из них, а обычная подгонка соответствует λ = 0.

Компромисс между смещением и дисперсией объясняет, почему намеренно искажённый коэффициент может предсказывать лучше точного. Оценка без штрафа несмещённая, то есть в среднем по выборкам верная, но каждая выборка уводит её в свою сторону. При большом числе предикторов, при коррелированных предикторах или при малом числе наблюдений на член этот разброс велик: коэффициенты подстраиваются не только под закономерность, но и под шум выборки, а это и есть описанное выше переобучение. Сжатие смещает все коэффициенты к нулю, но уменьшает их разброс, и ошибка предсказания, складывающаяся из обоих, падает, пока выигрыш в дисперсии больше добавленного смещения. На шести пунктах кафе этот обмен почти ничего не даёт: ошибка 10-блочной перекрёстной проверки у подгонки без штрафа равна 1.49, и лучший из штрафов даёт те же 1.49. Шесть хорошо различимых предикторов на 193 участниках и без того не приводили к переобучению. Сжатие окупается там, где оно нужно (две переменные визитов с VIF около 2, модель, в которой членов почти столько же, сколько наблюдений), а там, где не нужно, почти ничего не стоит. Поэтому к нему разумно обращаться заранее, а не после того, как подгонка уже подвела.

Гребневая регрессия (ridge, штраф L2) штрафует модель на λ, умноженную на сумму квадратов коэффициентов. Она уменьшает каждый коэффициент в некоторое число раз, которое растёт вместе с λ и с коллинеарностью предиктора, но ни один коэффициент не обращает точно в ноль, так что все предикторы остаются в модели. Общий эффект коррелированных предикторов она не отдаёт одному из них в ущерб другому, а делит между ними. При λ.1se = 1.56 для данных кафе коэффициенты шести пунктов сохраняют от 64% (приветливо) до 86% (цена) своей величины без штрафа, а коэффициент пункта «медленно» — даже 101%, поскольку при коллинеарности гребневая регрессия может сдвинуть коэффициент в любую сторону. R² при этом 0.57 против 0.61. Карточка Гребневая (L2) показывает сохранённую долю в столбце Сжатие, а в таблице соответствия модели то же слово означает другое.

LASSO (штраф L1) штрафует модель на λ, умноженную на сумму модулей коэффициентов, и другая форма штрафа приводит к важному следствию: коэффициент, который не окупает штрафа, становится не просто маленьким, а точно нулевым. Поэтому LASSO отбирает предикторы, и модель составляют те члены, которые остались ненулевыми. В столбце «Статус» карточки у каждого члена стоит Выбрано или Исключено (сжато до 0). На шести пунктах кафе при λ.1se = 0.215 остаются все шесть: вкус 0.360, свежесть 0.283, цена 0.089, приветливо 0.411, быстро 0.242 и медленно −0.076. Первые четыре сохраняют 77–88% величины без штрафа, цена и «медленно» — 44% и 48%, и обоим недалеко до нуля. Если увеличивать λ дальше, по траекториям коэффициентов видно, в каком порядке LASSO исключало бы пункты: цена и «медленно», вошедшие последними, при λ = 0.38 и 0.41, а вкус и приветливо, вошедшие первыми, при 0.95. Такое упорядочение можно получить, даже когда у коэффициентов нет стандартных ошибок.

Эластичная сеть сочетает оба штрафа: доля α штрафа приходится на L1, а 1 − α на L2. Поэтому она отбирает предикторы, как LASSO, и делит эффект между ними, как гребневая регрессия. Она нужна, когда предикторы образуют группы коррелированных переменных. LASSO в таком случае почти случайно выбирает из группы одну переменную и отбрасывает остальные, а эластичная сеть вводит их вместе. Долю задаёт ползунок Коэффициент смешивания эластичной сети (α), по умолчанию 0.5. На шести пунктах кафе при α = 0.5 коэффициенты лежат между значениями двух других подгонок (цена 0.108, медленно −0.096).

Групповое LASSO применяет штраф LASSO ко всем столбцам, которыми предиктор представлен в модели, как к одному блоку. Категориальный предиктор с k уровнями, то есть k − 1 фиктивными переменными, входит в модель или выходит из неё целиком, а не по одному уровню. Этот штраф отвечает на вопрос, нужен ли в модели филиал, а не нужна ли в ней «Привокзальная». Если категориальных предикторов нет, каждая группа состоит из одного столбца, и подгонка совпадает с обычным LASSO. На данных кафе показать разницу не на чем: предикторов с тремя и более уровнями нет, а филиал в любом случае представлен одним столбцом, так что групповое и обычное LASSO принимают по нему одно решение. Типичные группы — отделение у медсестры, класс у учителя, рекламный канал у маркетолога.

λ (лямбда) — сила штрафа, то есть насколько сильно коэффициенты стягиваются к нулю. При λ = 0 получается подгонка без штрафа, с ростом λ коэффициенты уменьшаются, а в LASSO ещё и выпадают один за другим, пока при достаточно большой λ не останется один свободный член. Выбирает λ не аналитик, а данные. Приложение подгоняет модель вдоль пути значений λ (для LASSO на данных кафе это 56 значений от 1.05 до 0.0063) и оценивает каждое перекрёстной проверкой, то есть по ошибке, которую модель делает на отложенных блоках. λ.min — λ с наименьшей ошибкой перекрёстной проверки, λ.1se — наибольшая λ, при которой ошибка превышает этот минимум не больше чем на одну стандартную ошибку. Важно смотреть на концы пути. Если λ.min совпадает с наименьшей λ пути, как на данных кафе (0.0063, ошибка перекрёстной проверки 1.49 ± 0.14), значит, кривая ошибки ещё снижалась, когда сетка закончилась, и лучшей оказалась подгонка без штрафа. Карточка сообщает об этом в примечании.

Правило 1-SE — выбор λ.1se вместо λ.min, принятый в приложении по умолчанию: из моделей с ошибкой перекрёстной проверки, неотличимой от наилучшей, берётся модель с самым сильным штрафом. Две ошибки различаются меньше, чем колеблется каждая из них (1.61 ± 0.13 против 1.49 ± 0.14 на данных кафе), так что правило не жертвует заметной точностью и даёт более простую и устойчивую модель. Именно ради этого к штрафу обычно и прибегают: нужна не самая точная модель, а самый короткий список предикторов, который предсказывает почти так же хорошо. λ.min выбирают, когда цель — только предсказание.

Устойчивость отбора показывает, какая часть отбора LASSO определяется данными, а какая — случайностями конкретной выборки. Модель заново подгоняется на B случайных половинах выборки при той λ, которая выбрана на полной выборке. Рядом с коэффициентом каждого члена выводится его частота отбора — доля повторных подгонок, в которых он снова оказался ненулевым. Она отчасти заменяет стандартную ошибку, которой у штрафованного коэффициента нет, хотя сама стандартной ошибкой не является. Член с частотой 100% отбирается при любом делении выборки пополам, а член с частотой 60% держится в модели благодаря тому, какие строки случайно попали в выборку. На шести пунктах кафе 50 половинных выборок по 96 участников дают частоту 100% для вкуса, свежести, приветливости и быстроты, 82% для цены и 70% для пункта «медленно». Два коэффициента, сжатые LASSO вдвое, — как раз те, по которым половины выборки расходятся.

Контроль ошибок по дополняющим парам превращает проверку устойчивости в процедуру с гарантией. На каждой из B итераций выборка делится на половину и дополняющую её половину, модель подгоняется на обеих, и член считается отобранным в половине, если он ненулевой хотя бы в одной точке пути λ вплоть до выбранной λ. По среднему числу членов, отобранных в половине, процедура ограничивает сверху ожидаемое число ложных отборов среди членов, частота которых достигает порога π (по умолчанию 0.75). Граница информативна, только если в половине отбирается меньшая часть кандидатов. На шести пунктах кафе в половине отбирается в среднем 5.6 пункта, так что порог 0.75 член может превысить и случайно. Поэтому карточка не приводит границу и указывает наименьшее π, при котором она имела бы смысл, — 0.94. Для небольшого набора предикторов без проблем это закономерный итог: отбирать тут не из чего. Граница полезна там, где кандидатов десятки, а действительно значимых — единицы.

Вывод после отбора — способ получить p-значение после отбора предикторов. Очевидный путь (подогнать отобранные члены без штрафа и взять их p-значения) некорректен: те же строки, по которым члены отбирали, теперь их проверяют, и член, отобранный за удачный вид, снова выглядит удачно. Многократное расщепление выборки разрывает этот круг. Выборка делится пополам, на одной половине LASSO отбирает члены с λ, подобранной заново по этой половине, отобранные члены подгоняются без штрафа на другой половине, и их p-значения с поправкой Бонферрони на число отобранных членов вычисляются по строкам, не участвовавшим в отборе. По B таким расщеплениям для каждого члена получается B значений, которые объединяются квантильным правилом, контролирующим групповую вероятность ошибки по всем членам. Член, который LASSO отбирает лишь в части расщеплений, в остальных получает p = 1, и итоговое значение оказывается близким к 1. Так процедура и должна работать. На данных кафе 50 расщеплений на 96 и 97 участников дают для вкуса p = 0.007, для приветливости p < 0.001, то есть эти эффекты установлены и после отбора. Для свежести p = 0.076, для быстроты 0.069, а для цены и пункта «медленно» 1.0, хотя без штрафа у них было 0.015 и 0.041. Эти два пункта отбирались в 82% и 68% расщеплений, но на второй половине оказывались значимыми слишком редко. Непенализованная оценка рядом с p — другая величина: члены, отобранные на полной выборке, один раз подгоняются заново на всей выборке без штрафа. Она показывает, насколько велики эффекты в модели без штрафа (цена 0.202, медленно −0.159), но собственной проверки у неё нет, потому что это была бы та самая некорректная проверка.

Когда прямая не подходит #

Для многих распространённых исходов прямая не годится. Ответ «да/нет» принимает только два значения, и прямая, проведённая через них, предсказывает вероятности меньше нуля и больше единицы. Если подогнать прямую для рекомендует («рекомендует» = 1) по оценка, она опускается до −0.31 при оценке 0 и поднимается до 1.04 при оценке 10. Оценка с несколькими упорядоченными уровнями или выбор из нескольких неупорядоченных вариантов — это категории, а не количества, и расстояний между уровнями, на которые могла бы опереться прямая, у них нет. Число событий (визитов, жалоб, покупок) не бывает отрицательным, его распределение скошено, а разброс растёт вместе со значением. Для всех таких исходов есть модели, которые сохраняют линейное уравнение, но пропускают его через функцию, переводящую его в собственную шкалу исхода. Порядковая, мультиномиальная и двухчастная счётная модели, описанные ниже, развивают ту же идею, добавляя несколько порогов или несколько уравнений. Разделение и нехватка событий на параметр — два случая, когда таким моделям не хватает данных. О том, как вероятности модели «да/нет» превращаются в решения и насколько эти решения хороши, рассказано в следующем разделе.

Обобщённая линейная модель (GLM) — семейство моделей, которое и объединяет эти случаи. Она состоит из линейного предиктора $b_0+b_1{x}_1+\dots$, функции связи, соединяющей его со средним исхода, и распределения исхода вокруг этого среднего: биномиального для ответов «да/нет», пуассоновского или отрицательного биномиального для числа событий, нормального для обычной прямой, которая оказывается простейшим частным случаем семейства. Коэффициенты истолковываются в шкале функции связи, а их экспоненты — как мультипликативные эффекты в шкале исхода. Меню типа регрессии в приложении — это перечень таких моделей.

Функция связи — преобразование, которое переводит линейный предиктор в среднее исхода. Для вероятности это логит, так что любое значение линейного предиктора переводится в промежуток от 0 до 1. Для числа событий это логарифм, так что результат всегда больше нуля. Для непрерывного исхода связь тождественная.

Линейный предиктор — значение уравнения до обратного преобразования функцией связи, то есть результат модели в её собственной шкале: логарифм шансов в логистической модели и логарифм ожидаемого числа событий в модели Пуассона. Для рекомендует по оценка линейный предиктор равен −5.16 + 0.848 × оценка, то есть −1.77 при оценке 4, −0.07 при 6, 1.63 при 8 и 3.32 при 10. На карточках обобщённых моделей приложение строит график остатков по линейному предиктору, а на карточке линейной регрессии — по предсказанным значениям.

Логистическая регрессия описывает исход с двумя уровнями: логарифм шансов одного из уровней (моделируемого исхода, который указан на карточке) представляется линейной функцией предикторов. У 193 участников с общей оценкой логарифм шансов порекомендовать кафе растёт на 0.848 на каждый балл. После обратного логит-преобразования это даёт вероятность рекомендации 0.15 при оценке 4, 0.48 при 6, 0.84 при 8 и 0.97 при 10, то есть S-образную кривую, которую прямая изобразить не может. В таблице коэффициентов вместо t линейной модели стоит z, а в блоке соответствия модели вместо R² — псевдо-R², девиансы и критерий отношения правдоподобия. Тип Биномиальная логистическая в приложении — это и есть такая модель, а порядковая и мультиномиальная логистические регрессии обобщают её на исходы с несколькими упорядоченными или неупорядоченными уровнями.

Логарифм шансов (логит) — шкала, в которой выражен коэффициент логистической регрессии: натуральный логарифм $p/(1-p)$. Он равен нулю при вероятности 0.5 и не ограничен ни сверху, ни снизу. Коэффициент 0.848 в этой шкале трудно себе представить, поэтому карточка выводит и его экспоненту.

Отношение шансов — экспонента логистического коэффициента, e^b, и обычный способ сообщать логистический эффект: множитель, на который умножаются шансы исхода при увеличении предиктора на единицу. Здесь e^0.848 = 2.34 [1.79, 3.04], то есть каждый дополнительный балл общей удовлетворённости увеличивает шансы рекомендации в 2.3 раза. Отношение шансов 1 означает отсутствие эффекта (интервал отношения шансов включает 1 тогда же, когда интервал коэффициента включает 0), 0.5 уменьшает шансы вдвое, 2 удваивает их. На странице о размерах эффекта та же мера описана для таблицы 2 × 2, и её значение совпадает с тем, что выдала бы логистическая модель с одним бинарным предиктором. На карточке эту величину показывают столбцы OR и OR 95% ДИ. Отношение шансов для свободного члена (0.006) — шансы рекомендации при нулевой оценке, и истолковывают его так же редко, как свободный член линейной модели.

Псевдо-R² — общее название нескольких заменителей R² для моделей без остаточной дисперсии, которую можно было бы разложить. Каждый из них сравнивает логарифм правдоподобия подогнанной модели с логарифмом правдоподобия модели с одним свободным членом, и ни один не измеряется в шкале R². Приложение выводит три таких показателя, а соответствие модели данным оценивает по градациям Мак-Фаддена.

R² Мак-Фаддена равен $1-\ell /{\ell }_0$, где ℓ — логарифм правдоподобия модели, а ℓ₀ — модели с одним свободным членом. Для рекомендует по оценка он равен 0.271 (−88.3 против −121.2). Его значения намного меньше R² обычной регрессии: по оценке самого Мак-Фаддена значения от 0.2 до 0.4 означают отличное соответствие. Поэтому градации приложения заканчиваются на 0.2, и выше Отличное соответствие оценка не поднимается. Скорректированный вариант рядом с ним штрафует за число параметров, как и скорректированный R².

R² Кокса — Снелла равен $1-\exp (2({\ell }_0-\ell )/n)$, здесь 0.289. Даже у идеальной модели он не достигает 1, и этот недостаток исправляет следующий показатель.

R² Нагелькерке — R² Кокса — Снелла, делённый на свой максимум, так что он изменяется от 0 до 1. У модели кафе он равен 0.404. Это наибольший из трёх показателей, и чаще всего его приводят так, будто это обычный R², хотя это не так. Все три показателя стоит воспринимать как ранговые (большее значение — лучшее соответствие), а не как доли дисперсии.

Девианс — аналог остаточной суммы квадратов для обобщённой модели: −2 × логарифм правдоподобия, или удвоенная разница между подогнанной моделью и насыщенной, которая точно воспроизводит каждое наблюдение. Чем меньше девианс, тем лучше, и любое сравнение обобщённых моделей сводится к разности девиансов. Нулевой девианс (242.3 при 192 степенях свободы для рекомендует по оценка) относится к модели с одним свободным членом, остаточный девианс (176.5 при 191 степени свободы) — к подогнанной модели, а их разность, 65.8, — это χ² критерия отношения правдоподобия для модели в целом. Для счётной модели отношение остаточного девианса к его степеням свободы служит ещё и критерием согласия: 782 при 192 степенях свободы для числа визитов в кафе означает, что модель не соответствует данным. Причина разобрана ниже.

Нулевой девианс — девианс модели с одним свободным членом, то есть исхода без предикторов. От него отсчитывают соответствие данным любой модели.

Остаточный девианс — девианс подогнанной модели, то есть то, что предикторы оставили необъяснённым. Его уменьшение по сравнению с нулевым девиансом — это χ² критерия отношения правдоподобия для модели.

Девиансные остатки — остатки обобщённой модели в шкале девианса: вклад каждого наблюдения в девианс, взятый со знаком. Ведут они себя как стандартизованные остатки линейной модели: распределены примерно нормально, в основном лежат в пределах ±2, и их график по линейному предиктору строят, чтобы искать закономерности. Наибольший по модулю девиансный остаток для рекомендует по оценка равен 2.26.

Остатки Пирсона — другой вид остатков, $(\text{observed}-\text{fitted})/\sqrt{\text{variance}}$, где дисперсия — та, которую модель предполагает при данном предсказанном значении. Это исходное отклонение, выраженное в единицах ожидаемого моделью разброса. Сумма их квадратов даёт χ² Пирсона на карточке соответствия модели данным, а после деления на остаточные степени свободы — описанный ниже коэффициент дисперсии.

Разделение — ситуация, когда предиктор или сочетание предикторов безошибочно предсказывает исход для части наблюдений: все по одну сторону некоторого порога ответили «да», или в какой-то категории предиктора нет ни одного «нет». Тогда у правдоподобия нет максимума (коэффициент, лучше всего описывающий эти наблюдения, бесконечен), и процедура подгонки, остановившись, возвращает огромную оценку с ещё гораздо большей стандартной ошибкой и p-значением около 1. Все 28 участников кафе, поставивших наивысшую общую оценку 10, рекомендуют кафе, а остальные 165 делятся на 62 и 103. Если добавить признак «поставил наивысшую оценку» в модель рекомендует рядом с вкус, его коэффициент окажется равным 17.3 при стандартной ошибке 1201 и p = 0.989. Такое p-значение отражает не свойства предиктора, а неудачу подгонки. При полном разделении порог безошибочно предсказывает все наблюдения, при квазиполном, как здесь, безошибочно предсказывается лишь часть, а остальные перекрываются. Чаще всего причина — категориальный предиктор, у одного из уровней которого встречается только один исход, реже — малая выборка с сильным предиктором. Карточка коэффициентов предупреждает о разделении любого вида и указывает члены, в которых оно обнаружено.

Штрафованное правдоподобие Фёрта решает эту проблему. Небольшой штраф на правдоподобие (априорное распределение Джеффриса) немного стягивает все коэффициенты к нулю и устраняет смещение метода максимального правдоподобия на малых выборках. Поскольку у штрафованного правдоподобия максимум достигается при конечных значениях, как бы ни были разделены данные, все оценки остаются конечными и при разделении. В той же модели коэффициент признака «поставил наивысшую оценку» становится равным 2.83 (SE 1.48, p = 0.055), что соответствует отношению шансов 17: у участника, поставившего наивысшую оценку, шансы порекомендовать кафе в семнадцать раз выше. Это полноценная оценка с интервалом, а не бессмысленное число. На данных без разделения поправка Фёрта почти ничего не меняет (наклон рекомендует по оценка меняется с 0.848 на 0.828), поэтому её разумно использовать по умолчанию при малых выборках и редких исходах, а не только в крайнем случае. Метод оценивания Фёрт в приложении реализует такую подгонку для биномиальных моделей.

Порядковая логистическая регрессия описывает исход с несколькими упорядоченными уровнями (оценка от 1 до 5, низкий, средний или высокий уровень) и не делает вид, что уровни — это равноотстоящие числа. Уровни располагаются на скрытой непрерывной шкале, которую пороги делят на интервалы, а шансы оказаться выше любого порога представляются линейной функцией предикторов. У каждого предиктора один наклон, общий для всех порогов, и в этом состоит допущение пропорциональных шансов. Пункт анкеты кафе «Обслуживали медленно» (1 = совершенно не согласен … 5 = полностью согласен) в зависимости от ожидания и филиала у 185 участников с известным временем ожидания даёт 0.196 на минуту (SE 0.051, p < 0.001) и 0.07 для «Привокзальной» (p = 0.79). После экспоненцирования получается отношение шансов 1.22 [1.10, 1.34]: каждая минута ожидания увеличивает шансы более высокой оценки медлительности, выше любого из порогов, в 1.22 раза. Для «Привокзальной» отношение шансов равно 1.08 [0.63, 1.84]. Если перевести результат обратно через пороги, у посетителя «Набережной», ждавшего две минуты, вероятность хоть как-то согласиться (оценка 4 или 5) равна 0.15, а полностью согласиться — 0.04, при десяти минутах ожидания — 0.46 и 0.16. Тип Порядковая логистическая в приложении — эта модель, её также называют моделью пропорциональных шансов или кумулятивного логита, и для неё нужен порядковый исход.

Пороги — точки разреза между соседними уровнями на скрытой шкале модели, у пятиуровневой оценки их четыре. На карточке они выводятся как Пороги (свободные члены), и у каждого указана пара уровней, которые он разделяет. Пороги играют ту же роль, что единственный свободный член в логистической модели, и, как свободный член, задают положение шкалы, а не отвечают на исследовательский вопрос. В модели медлительности обслуживания они равны 0.21 (1|2), 1.12 (2|3), 2.13 (3|4) и 3.59 (4|5) в шкале логарифма шансов. Значит, у посетителя «Набережной», которому вовсе не пришлось ждать, шансы оказаться выше «совершенно не согласен» равны e^−0.21 = 0.81, а выше «ни да, ни нет» — e^−2.13 = 0.12. Их p-значения проверяют, совпадает ли порог с нулём шкалы, но положение нуля — условность, а не гипотеза. Поэтому карточка сообщает, где лежит порог, и не называет его значимым.

Пропорциональные шансы — допущение о том, что предикторы сдвигают оценку одинаково на всех порогах: отношение шансов оказаться выше «совершенно не согласен» такое же, как отношение шансов оказаться выше «согласен». Один наклон на предиктор делает модель простой для истолкования, но это утверждение о данных, и оно может не выполняться, чаще всего тогда, когда предиктор не сдвигает распределение, а растягивает его. Посетители «Привокзальной» чаще выбирают и «совершенно не согласен» (33 из 90 против 25 из 95 в «Набережной»), и «полностью согласен» (12 против 3). Поэтому единый наклон 0.07 для «Привокзальной», то есть отсутствие различий, — это среднее отрицательного эффекта на нижних порогах и положительного на верхних. Если подогнать четыре кумулятивных разбиения по отдельности, наклоны для «Привокзальной» окажутся равными −0.64 выше 1, 0.06 выше 2, 1.04 выше 3 и 1.27 выше 4. Именно эту картину и скрывает одно число. Проверяют допущение критерием Бранта, а если оно не выполняется, переходят к мультиномиальной модели.

Критерий Бранта сравнивает наклоны, полученные для кумулятивных разбиений по отдельности, с единым наклоном, который задаёт модель. Он даёт по одному χ² на каждый предиктор и общий критерий по всем, и малое p означает, что эффект предиктора на разных порогах различается. В модели медлительности ожидание проходит проверку с небольшим запасом: χ²(3) = 7.6, p = 0.054. Филиал её не проходит: χ²(3) = 18.9, p < 0.001, а общий критерий даёт χ²(6) = 26.5, p < 0.001. Непройденная проверка не делает модель негодной, а показывает, для какого члена единому отношению шансов доверять нельзя. Тогда можно рассмотреть разбиения для этого предиктора по отдельности, заново подогнать оценку как мультиномиальную модель с собственными коэффициентами для каждого уровня или оставить единый наклон как обобщение и оговорить это в отчёте. Приложение выводит критерий на карточке соответствия модели данным каждой порядковой модели, у которой два порога и больше.

Мультиномиальная логистическая регрессия описывает исход с несколькими неупорядоченными уровнями (какой из трёх продуктов выбран, в какое отделение попал пациент после операции, за какого кандидата отдан голос). Для каждого уровня строится своё логистическое уравнение в сравнении с опорным исходом: при J уровнях получается J − 1 уравнений, каждое со своим свободным членом и своими коэффициентами для всех предикторов. Так, при двух предикторах и пяти уровнях нужно двенадцать чисел, а порядковой модели хватало шести. В данных кафе нет выбора между неупорядоченными вариантами, но мультиномиальная модель служит и запасным вариантом, когда упорядоченная оценка не удовлетворяет допущению пропорциональных шансов. Оценка медлительности в зависимости от ожидания и филиала с опорным уровнем «совершенно не согласен» даёт четыре уравнения, по одному на каждый из остальных уровней, и эффект филиала может быть для каждого уровня своим. Тип Мультиномиальная логистическая в приложении — эта модель, и именно поэтому он принимает числовой исход с тремя и более различными значениями.

Опорный исход — уровень, с которым сравнивается каждое уравнение мультиномиальной модели, так же как для предиктора есть опорная категория. По умолчанию это первый уровень при сортировке, а изменить его можно селектором опорного исхода. Смена опорного исхода меняет смысл всех коэффициентов, но подгонка и предсказанные вероятности остаются прежними. Опорным стоит выбирать тот уровень, с которым вопрос требует сравнивать: контрольное условие, существующее положение дел, самый обычный ответ.

Отношение относительных рисков (RRR) — экспонента коэффициента мультиномиальной модели: множитель, на который умножается вероятность данного уровня по отношению к опорному при увеличении предиктора на единицу. По сути это отношение шансов в одном из уравнений. Для оценки медлительности по сравнению с «совершенно не согласен» отношения для «Привокзальной» равны 0.31 [0.13, 0.75] для «не согласен», 0.29 [0.12, 0.69] для «ни да, ни нет», 1.23 [0.51, 3.01] для «согласен» и 2.05 [0.49, 8.58] для «полностью согласен». Посетитель «Привокзальной» втрое реже посетителя «Набережной» оказывается в середине шкалы, а не внизу, и вдвое чаще — наверху. Именно этот разброс единое отношение шансов 1.08 порядковой модели при усреднении свело на нет. Для ожидания отношения равны 1.30, 1.24, 1.22 и 1.54 на минуту, что близко к единому наклону порядковой модели. Платить за это приходится параметрами: их двенадцать против шести, хотя AIC здесь всё же предпочитает мультиномиальную модель (547.5 против 563.0). Цена выражается в событиях на параметр. На карточке эти величины показывают столбцы RRR и RRR 95% ДИ.

События на параметр — то, что на самом деле ограничивает логистическую или счётную модель, а не число строк. Информацию о коэффициенте дают наблюдения с более редким исходом (для счётной модели — подсчитанные события), и по классическому правилу их должно быть не меньше десяти на каждый оцениваемый параметр. В рекомендует 65 ответов «не рекомендует» на 200 участников, так что у модели с шестью пунктами удовлетворённости и филиалом (семь параметров) на параметр приходится 9.3 события, о чём приложение предупреждает при запуске. Самый редкий уровень оценки медлительности, «полностью согласен», выбрали 15 участников. Это 7.5 на параметр для двух наклонов порядковой модели и 1.9 для восьми наклонов мультиномиальной: данные те же, параметров вчетверо больше, и у каждого вчетверо меньше опоры. Если событий на параметр меньше порога, оценки всё равно вычисляются, но становятся всё менее устойчивыми: интервалы расширяются, коэффициенты меняются от одного-двух наблюдений, а в конце концов наступает разделение. В счётных моделях событиями считается сумма всех значений: за моделью Пуассона для визиты_после стоят 1450 визитов, так что проверка не нужна. Для регуляризованных подгонок приложение её не выполняет, поскольку они и созданы для таких условий.

Регрессия Пуассона описывает число событий: логарифм его ожидаемого значения представляется линейной функцией предикторов, а разброс вокруг ожидаемого значения — распределением Пуассона, у которого дисперсия равна среднему. Модель числа визитов за восемь недель после смены меню по филиал и возраст даёт логарифм ожидаемого числа визитов на 0.219 больше для «Привокзальной» и на 0.011 больше на каждый год возраста.

IRR (отношение интенсивностей) — экспонента коэффициента счётной модели, то есть множитель, на который умножается ожидаемое число событий при увеличении предиктора на единицу, так же как отношение шансов в логистической модели. Для «Привокзальной» e^0.219 = 1.24 [1.12, 1.38]: её посетители приходят на 24% чаще, чем посетители «Набережной» того же возраста. Для возраста IRR равно 1.011 на год. На карточке эти величины показывают столбцы IRR и IRR 95% ДИ.

Избыточная дисперсия — ситуация, когда разброс числа событий больше, чем допускает распределение Пуассона, то есть дисперсия больше среднего. В реальных данных это скорее правило, чем исключение, потому что наблюдения различаются и тем, чего предикторы не учитывают. У числа визитов после смены меню среднее 7.6, а дисперсия 39.2. Одни только завсегдатаи «Привокзальной» поднимают дисперсию в этом филиале до 57.7 при среднем 8.5, тогда как у «Набережной» дисперсия 20.0 при среднем 6.8. Модель Пуассона на таких данных оценивает коэффициенты примерно верно, но сильно занижает их стандартные ошибки, и всё кажется значимым. Нужна модель, у которой есть собственный параметр разброса.

Коэффициент дисперсии — диагностический показатель: χ² Пирсона, делённый на его степени свободы. У подходящей модели Пуассона он близок к 1. У данных кафе он равен 4.69, то есть число визитов почти в пять раз изменчивее, чем предполагает модель. Скор-тест рядом с ним (z = 3.50, p < 0.001) это подтверждает, и приложение советует попробовать модель, описанную ниже.

Отрицательная биномиальная регрессия — модель Пуассона с дополнительным параметром θ, который описывает разброс, не объяснённый предикторами. Она подгоняет то же логлинейное уравнение и выдаёт такие же отношения интенсивностей. Для числа визитов в кафе θ = 2.49 (SE 0.34), AIC снижается с 1474 до 1156, а коэффициенты почти не меняются (0.222 для «Привокзальной» против 0.219). Зато их стандартные ошибки удваиваются, с 0.053 до 0.106 для филиала и с 0.003 до 0.005 для возраста, а p меняются с < 0.001 на 0.036 и 0.039. Данные и раньше давали столь же слабые свидетельства, просто модель Пуассона их преувеличивала. Тип Отрицательная биномиальная в приложении — эта модель, а двухчастные счётные модели, описанные ниже, нужны для случая, когда избыточный разброс проявляется как скопление лишних нулей.

Избыток нулей — ситуация, когда нулей среди значений больше, чем ожидает счётная модель: участники, которые больше не приходили, пациенты без жалоб, дни без продаж. Избыточны ли нули, решает сравнение, а не простой подсчёт. Из 195 участников, указавших возраст, восемь ни разу не пришли за восемь недель после смены меню. Модель Пуассона для визиты_после по филиалу и возрасту ожидает таких участников 0.2, то есть не может объяснить нули, которые видит, а отрицательная биномиальная модель ожидает 6.7, потому что её более широкий разброс сам по себе доходит до нуля. Скопление нулей — одно из проявлений избыточной дисперсии, поэтому сначала пробуют отрицательную биномиальную модель, а двухчастные модели нужны, если её ожидаемое число нулей всё ещё заметно меньше наблюдаемого. Для двухчастной модели карточка соответствия модели данным выводит наблюдаемое число нулей рядом с ожидаемым по самой модели и по её варианту с одним уравнением, а также ΔAIC и ΔBIC, по которым видно, оправдало ли себя второе уравнение.

Двухчастная счётная модель — счётная модель со вторым, логистическим, уравнением для нулей. Один набор предикторов описывает число событий, другой (любое их подмножество или одна константа) — нули, и обе части подгоняются вместе. В приложении есть две двухчастные счётные модели, описанные ниже, и в каждой счётная часть может быть пуассоновской или отрицательной биномиальной. Различаются они тем, что описывает их уравнение для нулей.

Модель с избытком нулей исходит из того, что выборка состоит из наблюдений двух видов. Одни составляют группу структурных нулей и никаких событий не порождают, у остальных число событий подчиняется распределению Пуассона или отрицательному биномиальному, которое и само может давать нули. Ноль, таким образом, может иметь любое из двух происхождений, а уравнение для нулей описывает вероятность принадлежать к группе структурных нулей. Для числа визитов в кафе с отрицательным биномиальным распределением в счётной части и постоянной вероятностью структурного нуля доля таких участников равна 1.3%, то есть два-три человека. Отношения интенсивностей счётной части почти не отличаются от отрицательной биномиальной модели (1.26 против 1.25 для «Привокзальной», 1.010 против 1.011 для возраста), а ожидаемое число нулей растёт с 6.7 до 8.3 ценой одного параметра: AIC 1157.4 против 1156.0, BIC 1173.7 против 1169.1. По строке карточки Избыток нулей разница между 6.7 и 8 — недостача, а по строке Выбор модели уравнение, которое её устраняет, не стоит лишнего параметра. При разнице всего в 1.3 нуля верен второй вывод. Эта модель подходит, когда правдоподобно существование группы, для которой событие в принципе невозможно: например, некурящие в опросе о числе выкуриваемых за день сигарет или переехавшие участники.

Барьерная модель делит число событий по-другому. Сначала логистическое уравнение описывает, преодолевает ли наблюдение ноль вообще (хоть одно событие против ни одного), а затем для тех, кто его преодолел, счётное распределение без нуля описывает, сколько событий произошло. Все нули относятся к первому уравнению, поэтому модель в точности воспроизводит наблюдаемое число нулей (здесь 8 из 8), а её уравнение для нулей описывает участие. Барьер преодолели 95.9% участников, и если ввести в это уравнение филиал, для «Привокзальной» логарифм шансов равен −0.56 (SE 0.74, p = 0.45), то есть нет признаков того, что филиалы различаются по доле вернувшихся. Счётная часть относится к тем, кто пришёл: отношения интенсивностей 1.30 для «Привокзальной» и 1.010 на год возраста при отрицательном биномиальном распределении с θ = 2.67 и AIC 1157.1. Это снова лишний параметр без выигрыша по сравнению с обычной отрицательной биномиальной моделью. Барьерная модель подходит, когда первое событие — решение иного рода, чем последующие: обратиться к врачу вообще и то, как часто к нему ходить. Уравнения для нулей в двух моделях направлены противоположно: модель с избытком нулей описывает вероятность оказаться нулём, а барьерная — вероятность преодолеть ноль. Поэтому один и тот же знак коэффициента означает в них противоположное, и на каждой карточке указано, что описывает её уравнение.

Итак, нули в данных кафе вполне обычные, и двухчастные модели это подтверждают: они требуют лишнего параметра и ничего не дают взамен. Противоположный пример — модель Пуассона с избытком нулей, к которой часто обращаются, когда в данных заметно много нулей. На этих визитах она ожидает 8.0 нулей и получает AIC 1422. Это лучше, чем 1474 у модели Пуассона, но намного хуже, чем 1156 у отрицательной биномиальной, потому что модель исправила нули, но не избыточную дисперсию. Для числа событий порядок действий такой: сначала разобраться с дисперсией, потом с нулями, а двухчастную модель брать, если проблема с нулями осталась и после решения проблемы с дисперсией.

Классификация с помощью модели #

Логистическая модель выдаёт для каждого наблюдения вероятность, а для решения (рекомендовать или нет, лечить или нет, помечать или нет) нужен ответ «да» или «нет». Как превратить одно в другое, модель сама не решает. В этом разделе описано, как делают такой выбор и как оценивают классификатор, на примере модели кафе рекомендует по оценка. В ней 193 участника с общей оценкой, 131 из них рекомендует кафе, 62 — нет, а подогнанная вероятность рекомендации растёт от 0.01 при оценке 1 до 0.97 при оценке 10. Оценка принимает только целые значения, так что модель выдаёт всего десять различных вероятностей, и любое правило ниже сводится к тому, чтобы считать участника рекомендующим, начиная с оценки k.

Порог классификации — вероятность, выше которой модель отвечает да: наблюдение с подогнанной вероятностью выше порога относится к положительным, остальные — к отрицательным. Порог 0.5 кажется естественным, но редко бывает правильным: при нём пропущенный положительный случай и ложная тревога считаются одинаково плохими, а разумный порог зависит ещё и от того, насколько часто встречаются положительные случаи. Для кафе порог 0.5 означает «оценка 7 или выше» (по обе стороны от него лежат вероятности 0.48 при оценке 6 и 0.69 при 7). Такой порог выявляет 84% рекомендующих и отсеивает 63% остальных. Если поднять планку до оценки 8 (любой порог между 0.69 и 0.84, приложение указывает их середину, 0.76), эти доли станут 66% и 90%. Любой порог выигрывает в одном за счёт другого, поэтому ROC-анализ в приложении рассматривает все пороги и выбирает один по явно заданному правилу, по умолчанию по J Юдена, а не останавливается на 0.5.

Точность классификации — доля наблюдений, которые модель при данном пороге относит к правильному классу. У модели кафе при пороге 0.5 она равна 0.772 (149 из 193) против базовой точности 0.679. Эта мера не показывает, в какую сторону ошибается модель: на редком исходе модель может быть точна на 90%, ни разу его не предсказав. К тому же правила выбора порога точность не максимизируют. При пороге, выбранном приложением, 0.76, точность модели кафе равна 0.741, то есть она ниже, чем при 0.5: правило выбирало порог, уравновешивая ошибки двух видов, а не подсчитывая верные ответы.

Базовая точность (доля наибольшего класса) — точность лучшей догадки без всяких предикторов, то есть всегда называть самый частый класс. Здесь она равна 0.679, доле участников, рекомендующих кафе, и пока модель её не превзошла, «77% верных ответов» ничего не значат. Строка приложения Точность > базовой точности (p) — односторонний биномиальный критерий того, превосходит ли её модель.

Матрица ошибок — таблица 2 × 2, в которой предсказанный класс сопоставлен с наблюдаемым при одном пороге. При пороге 0.5 в ней 110 участников, верно предсказанных как рекомендующие (истинно положительные), 39 верно предсказанных как нерекомендующие (истинно отрицательные), 23 предсказанных как рекомендующие, но не рекомендующих (ложноположительные), и 21 предсказанный как нерекомендующий, но рекомендующий (ложноотрицательные). Все метрики ниже — отношения между её ячейками. Для порядковой или мультиномиальной модели приложение выводит матрицу со строкой и столбцом на каждый уровень, причём строка соответствует уровню, присвоенному моделью. Уровень, который модель ни разу не предсказала, остаётся в таблице пустой строкой и не пропадает.

Чувствительность (доля истинно положительных, или полнота) — доля действительно положительных случаев, которые модель выявляет: истинно положительные, делённые на все наблюдаемые «да». При пороге 0.5 она равна 110 ⁄ 131 = 0.84, при пороге приложения 0.76 — 87 ⁄ 131 = 0.66. По этому показателю оценивают скрининговые тесты: скрининг существует ради того, чтобы не пропускать случаи. От того, насколько часто встречаются положительные случаи, чувствительность не зависит.

Специфичность (доля истинно отрицательных) — доля действительно отрицательных случаев, которые модель верно отсеивает: истинно отрицательные, делённые на все наблюдаемые «нет». При пороге 0.5 она равна 39 ⁄ 62 = 0.63, при 0.76 — 56 ⁄ 62 = 0.90. При движении порога чувствительность и специфичность меняются в противоположные стороны: порог кафе на оценке 8 даёт 27 пунктов специфичности ценой 18 пунктов чувствительности. Как и чувствительность, специфичность зависит только от модели и порога, но не от распространённости.

Прогностическая ценность положительного результата (PPV), в машинном обучении точность (precision), — доля верных среди положительных предсказаний модели: истинно положительные, делённые на все предсказанные положительными. При пороге 0.5 она равна 110 ⁄ 133 = 0.83, при 0.76 — 87 ⁄ 93 = 0.94. Она отвечает на вопрос, который задаёт пользователь прогноза: модель сказала «да», насколько вероятно, что это правда? В отличие от чувствительности, она зависит от распространённости. При тех же чувствительности и специфичности PPV ниже там, где положительные случаи реже, потому что ложные тревоги тогда возникают среди большего числа отрицательных.

Прогностическая ценность отрицательного результата (NPV) — доля верных среди отрицательных предсказаний модели: истинно отрицательные, делённые на все предсказанные отрицательными. При пороге 0.5 она равна 39 ⁄ 60 = 0.65, а при 0.76 — 56 ⁄ 100 = 0.56. Это цена более высокой планки: 44 рекомендующих, которых модель теперь пропускает, оказываются среди предсказанных «нет». С распространённостью NPV меняется в сторону, противоположную PPV: чем реже положительные случаи, тем надёжнее отрицательное предсказание.

Распространённость — доля положительных случаев среди наблюдений (кафе рекомендуют 0.68 участников), и именно при ней рассчитываются PPV, NPV и точность. Приложение вычисляет все три показателя по чувствительности, специфичности и распространённости, а не по частотам в выборке, чтобы можно было ввести другую распространённость. Если бы среди всех посетителей кафе его рекомендовали 30%, а не 68%, как среди участников программы лояльности, у той же модели при том же пороге PPV была бы 0.75 вместо 0.94, а NPV — 0.86 вместо 0.56, тогда как чувствительность, специфичность и AUC остались бы прежними. Параметр распространённостей классов в популяции нужен именно для таких случаев, когда базовая частота в выборке не совпадает с популяционной, и прежде всего для исследований «случай–контроль».

ROC-кривая показывает все пороги сразу: по вертикали отложена чувствительность, по горизонтали 1 − специфичность (доля ложноположительных), по точке на каждый порог, и точки соединены линией. У модели кафе десять точек, по одной на каждую оценку. Кривая идёт от угла, где рекомендующими считаются все (чувствительность 1, специфичность 0), до угла, где не считается никто, а точка «8 или выше» ближе всех к левому верхнему углу, где находился бы идеальный классификатор. Диагональ соответствует подбрасыванию монеты, то есть модели, чьи вероятности никак не связаны с исходом. Чем сильнее кривая выгибается к левому верхнему углу, тем лучше модель разделяет два класса, какой бы порог ни был выбран в итоге.

AUC (площадь под ROC-кривой) оценивает качество классификатора независимо от порога. Это вероятность того, что случайно выбранное положительное наблюдение получит от модели более высокую вероятность, чем случайно выбранное отрицательное. Значение 0.5 соответствует подбрасыванию монеты, 1 — идеальному разделению. У модели кафе AUC равен 0.834, 95% интервал [0.78, 0.89]: если наугад взять одного рекомендующего и одного нерекомендующего, в пяти случаях из шести модель поставит рекомендующего выше. AUC измеряет различающую способность, то есть правильность упорядочения, но не показывает, верны ли сами вероятности, — это вопрос калибровки. Он совпадает с общеязыковым размером эффекта для предсказанных вероятностей в двух группах. По принятым градациям значения от 0.7 до 0.8 считаются приемлемыми, от 0.8 до 0.9 хорошими, выше 0.9 отличными. Приложение приводит AUC с интервалом Делонга или бутстрэп-интервалом, а по запросу — ещё и AUC по перекрёстной проверке.

Критерий Делонга сравнивает два AUC, вычисленных на одних и тех же наблюдениях. Два классификатора, оценённые на одной выборке, не независимы: участника, которого легко правильно упорядочить одним, обычно легко упорядочить и другим. Поэтому разность их AUC колеблется от выборки к выборке меньше, чем разность двух не связанных между собой AUC, и критерий, не учитывающий эту связь, занижал бы силу свидетельств. Метод Делонга выражает каждый AUC как среднее по наблюдениям того, насколько часто каждое положительное наблюдение опережает отрицательные. Отсюда без повторных выборок получается стандартная ошибка AUC, а для двух AUC на одних наблюдениях — и их ковариация. Разность, делённая на её стандартную ошибку, даёт z. На данных кафе сравним, насколько хорошо оценка и вкус отделяют рекомендующих от остальных на тех же 193 участниках: AUC 0.834 [0.78, 0.89] против 0.712 [0.64, 0.79], разность 0.122, z = 3.08, p = 0.002. Общая оценка упорядочивает рекомендующих лучше, чем один пункт о вкусе. Та же стандартная ошибка используется в варианте Делонга селектора Доверительный интервал AUC в регрессионном и сравнительном анализе. Сам критерий — это параметр Сравнить AUC (попарный критерий Делонга) в сравнении групп, а в сравнении моделей в регрессии — столбец p (относительно лучшей), где кривая каждой модели сравнивается с кривой лучшей. Критерию нужны все кривые на одних и тех же наблюдениях, поэтому наблюдение с пропуском хотя бы в одной из сравниваемых переменных исключается из всех кривых.

J Юдена равна сумме чувствительности и специфичности минус 1, то есть высоте точки ROC-кривой над диагональю. Это правило выбора порога, которое приложение применяет по умолчанию: при выборе порога по максимуму J пропущенный положительный случай и ложная тревога считаются одинаково дорогими. Для кафе J равна 0.57 при пороге «8 или выше» (чувствительность 0.66, специфичность 0.90) против 0.47 при пороге «7 или выше», который соответствует вероятности 0.5. Селектор Правило выбора оптимального порога предлагает ещё два варианта: ближайший к (0, 1) и взвешенный по стоимости. Каким бы правилом ни был выбран порог, его выбирают на тех же наблюдениях, на которых потом оценивают, поэтому метрики при нём оптимистичны. Чтобы это учесть, приложение при построении интервалов заново выбирает порог в каждой бутстрэп-выборке.

Ближайший к (0, 1) — правило, которое выбирает точку ROC-кривой, ближайшую по прямой к левому верхнему углу, где находится идеальный классификатор с чувствительностью 1 и долей ложноположительных 0: $\sqrt{{(1-\text{sensitivity})}^2+{(1-\text{specificity})}^2}$. J Юдена складывает две недостачи, а это правило возводит их в квадрат. Поэтому две умеренные недостачи для него лучше, чем одна малая и одна большая, и при несимметричной кривой оно может остановиться на более сбалансированной точке. На модели кафе оба правила дают один и тот же порог: оценка 8 или выше, вероятность 0.76, чувствительность 0.66 и специфичность 0.90. Так обычно и бывает, когда у кривой один выраженный изгиб. Это правило — один из вариантов селектора Правило выбора оптимального порога в обоих модулях, которые строят ROC-кривую.

Взвешенный по стоимости — правило выбора порога для случая, когда ошибки двух видов обходятся по-разному. Оно максимизирует ту же сумму, что и J Юдена, но член специфичности умножается на вес $(1-\text{prevalence})/(\text{cost}\times \text{prevalence})$. Здесь стоимость — это сколько ложных тревог стоит один пропущенный положительный случай (параметр Стоимость пропущенного положительного случая относительно ложной тревоги в регрессии, Коэффициент асимметрии стоимостей в сравнении групп), а распространённость — выборочная или введённая вручную. Дорогой и частый положительный случай сдвигает порог вниз, дорогая ложная тревога — вверх. Если пропущенный положительный случай стоит трёх ложных тревог, то при 68% рекомендующих в кафе правило придаёт специфичности примерно шестую часть веса чувствительности и опускает порог до оценки 4 или выше (вероятность 0.11). Тогда выявляется каждый рекомендующий, а отсеивается лишь один нерекомендующий из десяти. Это порог для скрининга, который не должен никого пропустить, тогда как J Юдена дала порог для диагностики. Поскольку отношение стоимостей можно понять в обе стороны, приложение выводит оба порога: для случая, когда дороже пропуск, и для случая, когда дороже ложная тревога, и второй здесь снова равен 0.76. При отношении 1 правило совпадает с правилом Юдена.

F1 — гармоническое среднее PPV и чувствительности,

При пороге кафе 0.76 она равна 0.78 (PPV 0.94, чувствительность 0.66). Эта мера оценивает только положительный класс, истинно отрицательные в неё не входят вовсе. Поэтому она подходит для редких исходов, где точность определяется в основном отрицательными случаями, которые модель угадывает без труда, и плохо подходит, когда положительных случаев большинство. На данных кафе F1 максимальна, 0.84, при пороге «6 или выше», а если считать рекомендующими всех участников, она всё ещё равна 0.81: при 68% положительных случаев щедрый порог мало теряет в прогностической ценности. В других программах максимизация F1 служит самостоятельным правилом выбора порога, а приложение приводит F1 при пороге, выбранном одним из описанных выше правил.

Оценка Брайера — среднеквадратичная ошибка предсказанных вероятностей по отношению к исходам, закодированным как 0 и 1: для каждого наблюдения вычисляется ${(\text{probability}-\text{outcome})}^2$, и результаты усредняются. Чем меньше, тем лучше. Оценку 0 получает модель, предсказывающая 1 для каждого «да» и 0 для каждого «нет», оценку 0.25 — модель, предсказывающая 0.5 для всех, а модель кафе получает 0.151. В отличие от AUC, оценка Брайера учитывает не только порядок вероятностей, но и их правильность: модель, у которой все вероятности жмутся к 0.5, может безупречно упорядочить наблюдения и всё равно получить плохую оценку. Поэтому оценка Брайера характеризует вероятности классификатора, а AUC — его упорядочение.

Относительная оценка Брайера — оценка Брайера, пересчитанная относительно прогноза, не требующего никаких усилий: всегда предсказывать базовую частоту, то есть 0.68 для каждого участника, что дало бы оценку 0.218. Здесь 1 − 0.151 ⁄ 0.218 = 0.31, то есть модель устраняет такую долю ошибки базового прогноза. Значение 0 означает модель не лучше базовой частоты, 1 — идеальную модель, а отрицательное значение — модель, вероятности которой хуже, чем сказать всем «68%». Этот показатель годится для сравнения исходов с разными базовыми частотами, потому что сама оценка Брайера уменьшается по мере того, как исход становится реже.

Калибровка — соответствие вероятностей действительности: если модель даёт группе наблюдений вероятность 0.7, окажутся ли положительными семь из десяти? Модель кафе даёт вероятность 0.69 участникам с оценкой 7, и из 40 таких участников кафе рекомендуют 23, то есть 0.58. Участникам с оценкой 8 она даёт 0.84, и из 39 рекомендуют 37, то есть 0.95. В средней части подогнанная кривая немного слишком пологая: истинная идёт круче. Модель может быть хорошо откалибрована, но плохо различать классы (прогноз по базовой частоте идеально откалиброван, но никого не упорядочивает), а может хорошо различать, но быть плохо откалиброванной (если удвоить все логарифмы шансов, упорядочение не изменится, а все вероятности сдвинутся). Поэтому оба свойства проверяют отдельно: различающую способность — по AUC, калибровку — по оценке Брайера и описанным ниже критериям.

Критерий Хосмера — Лемешова проверяет калибровку так. Наблюдения сортируются по предсказанной вероятности и делятся на g групп примерно равного размера (по умолчанию десять), и в каждой группе число наблюдаемых положительных случаев сравнивается с суммой предсказанных вероятностей. Расхождения складываются в χ² с g − 2 степенями свободы, и малое p означает, что где-то вероятности неверны. Для модели кафе десять различных вероятностей позволяют сформировать лишь шесть групп, и критерий даёт χ²(4) = 9.89, p = 0.042. Результат определяют оценки 7 и 8, где наблюдаемые частоты 0.58 и 0.95 против подогнанных 0.69 и 0.84. Известная слабость критерия в том, что вывод зависит от g: если сгруппировать те же наблюдения иначе, p может перейти через 0.05 в любую сторону. Поэтому приложение позволяет задать число групп, сообщает, сколько групп фактически использовано, и выводит рядом критерий ле Сесси — ван Хаувелингена, который учитывает те же квадраты расхождений по отдельным наблюдениям, вообще без групп. Здесь он даёт z = 0.87, p = 0.38. Если два критерия расходятся, как на данных кафе, отклонение реально, но локально, и смотреть нужно не на p того или другого критерия, а на то, где отклонение находится, — здесь на две оценки в середине шкалы.

AUC по перекрёстной проверке — AUC, вычисленный на наблюдениях, по которым модель не подгонялась, и потому объективная оценка того, как модель будет классифицировать новые наблюдения. Выборка раскладывается на k блоков с одинаковой долей положительных случаев в каждом. Модель подгоняется на всех блоках, кроме одного, и предсказывает наблюдения отложенного блока, пока каждый блок не побывает отложенным. AUC по предсказаниям для каждого отложенного блока усредняются, раскладка повторяется (по умолчанию десять блоков и десять повторений), и результаты повторений тоже усредняются. Обычный AUC вычисляется на тех наблюдениях, которые подгонка уже видела, и потому завышен, причём тем сильнее, чем больше предикторов. Модель кафе с одним предиктором получает 0.834 на обучающей выборке и 0.831 на перекрёстной проверке: единственному наклону почти не под что подстраиваться. Модель рекомендует по шести пунктам анкеты, ожиданию, возрасту и филиалу получает на своих 180 участниках с полными данными те же 0.834 на обучающей выборке, но лишь 0.790 [0.72, 0.86] вне её. Итоговое число одно и то же, а модели совсем разные. Разница между ними и есть переобучение, которое скрывает обычный AUC. Приводить нужно интервал для AUC по перекрёстной проверке, построенный по функции влияния оценки и расширенный с учётом разброса между повторениями.

Отчёт #

Регрессию описывают через её уравнение и соответствие данным. Указывают модель (исход, предикторы, тип, n и способ обработки неполных наблюдений), общее соответствие (R² и скорректированный R² вместе с F и его степенями свободы, а для обобщённой модели — псевдо-R² и χ² отношения правдоподобия) и для каждого члена коэффициент со стандартной ошибкой или интервалом и результатом проверки: «чек после смены меню рос на 0.72 на каждую единицу прежнего чека, 95% ДИ [0.61, 0.82], t(197) = 13.4, p < 0.001; R² = 0.48». Для обобщённой модели вместо исходных коэффициентов приводят отношения шансов или отношения интенсивностей. Следует назвать опорную категорию каждого категориального предиктора (и опорный исход мультиномиальной модели), смысл свободного члена, если он вообще истолковывается, и проведённую диагностику с её итогами: что показал график остатков, выводы критериев Бройша — Пагана и RESET, использовались ли робастные стандартные ошибки и почему, наибольший VIF, а также влиятельные наблюдения, если они были, и что с ними сделали. Если модель выбрана из нескольких, называют альтернативы и критерий выбора (AICc, перекрёстная проверка), а если несколько моделей оказались примерно равноценными, приводят усреднённые по моделям коэффициенты и размер доверительного набора. Для модели-классификатора указывают AUC с интервалом (по возможности — по перекрёстной проверке), порог и правило его выбора, чувствительность, специфичность, PPV и NPV с указанием распространённости, при которой они рассчитаны, а также относительную оценку Брайера и вывод о калибровке. Для логистической или счётной модели добавляют число событий на параметр и сведения о том, применялась ли поправка Фёрта и почему, для порядковой — вывод критерия Бранта, для двухчастной счётной — вид модели, распределение счётной части и состав уравнения для нулей.

Где это встречается в DataSuite #

• Регрессионный анализ — все модели этой страницы: таблицы коэффициентов и соответствия модели, таблица ANOVA, корреляции, диагностика мультиколлинеарности, остатков и влияния, соответствие модели данным; логистические, порядковые, мультиномиальные и счётные типы регрессии, в том числе двухчастные счётные модели, оценивание по Фёрту и ROC-анализ; модераторы и медиаторы; сравнение моделей по AICc и весам Акаике с усреднёнными по моделям коэффициентами и важностью переменных; робастная, квантильная и регуляризованная подгонка.
• Корреляционный анализ — диаграммы рассеяния с подогнанной прямой, диагностика МНК, в которой для каждой пары выполняются те же критерии Бройша — Пагана и RESET, и частные и получастные корреляции.
• Сравнение групп — ковариационный анализ (ANCOVA), то есть регрессия с фактором и ковариатой, изложенная в терминах сравнения групп, и проверка однородности наклонов регрессии, которая по сути является проверкой взаимодействия. Его классификационный анализ (ROC) строит кривую для каждой зависимой переменной с теми же правилами выбора порога и сравнивает AUC критерием Делонга.
• Моделирование структурными уравнениями — медиация в виде модели путей: последовательные цепочки, латентные медиаторы, общие, прямые и косвенные эффекты для каждой пары переменных с бутстрэп-интервалами.
• Анализ времени до события — регрессия Кокса, экспоненты коэффициентов которой дают отношения рисков, так же как экспоненты коэффициентов логистической модели — отношения шансов.
• Метаанализ — метарегрессия, в которой размеры эффекта исследований регрессируют на характеристики этих исследований.
• Анализ временных рядов — автокорреляция, которую ищет критерий Дарбина — Уотсона, но здесь её не проверяют, а моделируют.
• Моделирование структурными уравнениями — регрессии между латентными переменными, несколько одновременно, с такими же коэффициентами и стандартными ошибками.
• Преобразование данных — центрирование и стандартизация предикторов перед подгонкой.
• Настройки — пороги VIF, градации силы корреляции, по которым истолковывается столбец нулевого порядка, и уровень доверия всех интервалов.