Регрессионный анализ #

Модуль Регрессионный анализ строит модели, которые предсказывают исход по одному или нескольким предикторам. В нём восемь типов регрессии и шесть методов оценивания: помимо классической подгонки, это подгонка со сниженным смещением для разделённых данных и четыре регуляризованных метода. Кроме того, модуль выполняет анализ медиации и модерации, дополнительную диагностику и сравнение моделей, в котором перебираются все возможные сочетания предикторов.

Что такое регрессия? Модель, которая предсказывает одну переменную по другим и показывает вклад каждой из них при неизменных остальных. Подробнее — в разделе о регрессии: на нём основана интерпретация всех карточек модуля.

1. Выберите зависимую переменную, предикторы и, если нужно, медиаторы, модераторы или ковариаты
2. Выберите тип регрессии и метод оценивания
3. Включите нужную дополнительную статистику и диагностику
4. Нажмите Запустить регрессию или найдите лучшее сочетание предикторов в режиме сравнения моделей
5. Модель из нескольких уравнений стройте в виде диаграммы путей на вкладке Расширенный

В модуле две вкладки:

• Простой — одно уравнение, собранное из списков переменных: зависимой переменной, предикторов, медиаторов, модераторов и ковариат. Эта вкладка открывается по умолчанию, и вся страница, кроме раздела об анализе путей, описывает именно её.
• Расширенный — система уравнений: вы записываете её в редакторе формул и сразу видите в виде диаграммы. Каждая строка задаёт одно уравнение, ковариаты входят во все уравнения, а косвенные эффекты вдоль нарисованных цепочек оцениваются и проверяются (см. анализ путей).

Выбор переменных #

Слева расположены три списка переменных:

• Зависимая(е) переменная(ые) — исход, который предсказывает модель. В списке только переменные тех типов, которые допускает выбранный тип регрессии: числовые для линейной, бинарные для биномиальной логистической. Если выбрать несколько, для каждой строится отдельная регрессия. Каждая подгоняется независимо, так что сбой одной не мешает остальным, а после завершения пакета перечисляются те, что не удались.
• Предикторы — независимые переменные, эффекты которых оценивает модель. Нужен хотя бы один предиктор или ковариата. В режиме сравнения моделей ранжируются именно сочетания предикторов.
• Ковариаты — контрольные переменные, которые входят в модель всегда. В режиме сравнения моделей они остаются в каждой модели, а перебираются только предикторы. В одиночной подгонке ковариата ничем не отличается от предиктора: она так же входит в модель и так же оценивается.

Переменная, выбранная в одном списке, пропадает из остальных, поэтому ни одна переменная не окажется в обеих частях уравнения.

Медиаторы, модераторы и ковариаты #

Под списком предикторов, рядом со списком Ковариаты, есть ещё два свёрнутых списка — Медиаторы и Модераторы. Все пять списков взаимоисключающие: переменная может находиться только в одном из них.

• Медиаторы — переменные, через которые, по предположению, передаётся эффект. Если выбран хотя бы один медиатор, для каждой пары «предиктор × медиатор» выполняется анализ медиации. Медиатор должен быть числовым, поскольку его модель — линейная регрессия, и категориальный медиатор отклоняется ещё до запуска. Несколько медиаторов подгоняются параллельно: каждый косвенный эффект оценивается с поправкой на остальные медиаторы. Последовательную цепочку медиаторов рисуют на вкладке Расширенный.
• Модераторы — переменные, от которых, по предположению, зависит эффект. Если выбран хотя бы один модератор, в основную модель добавляются все взаимодействия «предиктор × модератор» и выполняется анализ модерации с простыми наклонами. При числовом модераторе в разделе Дополнительная статистика появляются список Точки оценки модератора и флажок Область значимости Джонсона — Неймана, а при одновременном выборе медиаторов и модераторов — флажок Условные косвенные эффекты.

Оба списка скрываются, а выбранные в них переменные сбрасываются, если выбран регуляризованный метод оценивания или тип мультиномиальная, счётная с избытком нулей либо барьерная счётная. Карточка сообщает об этом и предлагает взамен обычную пуассоновскую или отрицательную биномиальную модель. При порядковом исходе оба списка доступны: медиация выполняется как каузальная медиация с моделью пропорциональных шансов для исхода, модерация — как простые наклоны в модели пропорциональных шансов.

Что такое медиаторы и модераторы? Медиатор передаёт эффект (физическая нагрузка → лучший сон → меньше депрессии), а модератор меняет его силу или направление, например когда эффект есть в одной группе и отсутствует в другой. См. медиацию и модерацию.

Анализ медиации #

Анализ медиации. Для каждой пары «предиктор × медиатор» выводится отдельный подраздел, озаглавленный этой парой. Способ оценки зависит от типа исхода: для линейного исхода это произведение коэффициентов, для всех остальных семейств — каузальная медиация. Примечания над таблицами напоминают о допущении последовательной игнорируемости, на котором держатся эффекты, и о том, что несколько медиаторов моделируются параллельно. Если в настройке Повторы бутстрэпа задано меньше 1000, примечание предупреждает, что для публикации интервалов этого мало, и называет выполненную процедуру: у бутстрэп-выборок, квазибайесовских симуляций и процентильного бутстрэпа разные нижние пороги.

Для линейного исхода все медиаторы входят в одну общую модель исхода (Y ~ предикторы + M₁ + … + Mₖ + ковариаты), а в таблице пары по строке на каждую величину, со столбцами Оценка, SE и p:

• Путь a (X → M) — влияние предиктора на медиатор — путь a
• Путь b (M → Y) — влияние медиатора на исход с поправкой на предиктор и другие медиаторы — путь b
• Общий эффект (c) — суммарное влияние предиктора на исход в модели без медиатора — общий эффект. В таблице каузальной медиации эта строка называется Общий эффект, и для неё выводятся интервал и p по симуляциям
• Прямой эффект (c’) — влияние предиктора при фиксированных медиаторах — прямой эффект
• Косвенный эффект (a×b) — опосредованная часть эффекта, a × b. p-значения у неё нет: эффект значим, если его бутстрэп-интервал с коррекцией смещения не содержит нуля — косвенный эффект
• Бутстрэп-ДИ с коррекцией смещения — интервал косвенного эффекта на заданном уровне доверия. Он строится по бутстрэп-выборкам данных, и на каждой из них заново подгоняются все модели медиаторов. БС SE — разброс оценок по этим бутстрэп-выборкам. Если коррекцию вычислить не удаётся, берётся обычный процентильный интервал. Если часть бутстрэп-выборок подогнать не удалось, примечание сообщает, на скольких из запрошенных построен интервал
• Доля опосредованного эффекта — косвенный эффект как доля общего. Выводится, только если общий эффект значим на заданном уровне α, иначе примечание объясняет, почему доли нет. Отдельное примечание предупреждает, что отношение за пределами (0, 1) долей общего эффекта не является: так бывает при разных знаках эффектов или когда косвенный эффект больше общего — доля опосредованного эффекта
• Суммарный косвенный эффект — при нескольких медиаторах выводится ещё один подраздел: для каждого значения в столбце Предиктор — сумма его косвенных эффектов через все медиаторы. Эта сумма пересчитывается на бутстрэп-выборках как одна величина и получает собственный интервал с коррекцией смещения. Для линейного исхода она равна общему эффекту за вычетом прямого — суммарный косвенный эффект

Для логистического, порядкового, пуассоновского или отрицательного биномиального исхода произведение коэффициентов не годится: путь a — линейный эффект, путь b — эффект в шкале логарифма шансов или логарифма интенсивности, и произведение таких величин лишено смысла. Поэтому эффекты оцениваются методом каузальной медиации (пакет mediation) по симуляциям в шкале отклика:

• Косвенный эффект (ACME) — средний каузальный эффект медиации — ACME
• Прямой эффект (ADE) — средний прямой эффект — ADE. Строки Общий эффект и Доля опосредованного эффекта понимаются так же, как выше
• Квазибайесовский ДИ — интервал, построенный по симуляциям. Он выводится в каждой строке вместе с p-значением
• Категория исхода — для порядкового исхода таблица строится по категориям. Каждая строка — изменение вероятности этой категории Pr(Y = k) с интервалом Процентильный бутстрэп-ДИ по непараметрическому бутстрэпу, поскольку одно усреднённое число не описывает упорядоченный отклик с несколькими категориями. Доля опосредованного эффекта для такого исхода не определена
• Косвенный эффект (ACME, контроль) и Косвенный эффект (ACME, воздействие) — в порядковой таблице опосредованный эффект при предикторе, зафиксированном на нижнем и на верхнем значении. При нелинейной функции связи это разные величины
• Прямой эффект (ADE, контроль) и Прямой эффект (ADE, воздействие) — такое же разделение для прямого эффекта

Контраст воздействия. Каузальная медиация оценивает эффекты для изменения предиктора между двумя значениями, и примечание под таблицей их называет. Для числового предиктора это переход от среднего − 1 SD к среднему + 1 SD, для бинарного числового — между двумя наблюдаемыми значениями, для категориального — между первыми двумя уровнями. Все ACME, ADE и общие эффекты на карточке относятся к этому переходу, а не к изменению на единицу — контраст воздействия.

Если модель медиатора подогнать не удалось, его строка остаётся в таблице с пометкой, что эффект не вычислен, и с указанием причины, чтобы невычисленный эффект не приняли за нулевой.

Как читать результаты медиации: главный вопрос — не содержит ли нуля интервал косвенного эффекта (a × b или ACME). Если рядом с ним значим и прямой эффект, медиация частичная. См. косвенный эффект и долю опосредованного эффекта.

Анализ модерации #

Анализ модерации. Для каждой пары «предиктор × модератор» выводится подраздел с таблицей простых наклонов. Наклоны вычисляются по той же модели, что и таблица коэффициентов (все предикторы, все модераторы и все взаимодействия): рассматриваемый модератор фиксируется в точке оценки, остальные числовые модераторы — на своих средних. Подраздел есть у всех типов регрессии, кроме мультиномиальной: у номинального исхода свой контраст для каждой небазовой категории, и единого наклона у него нет. Карточка сообщает об этом и отсылает к таблицам коэффициентов по исходам.

• Уровень модератора — строка таблицы. Для числового модератора это три точки оценки (−1 SD, Среднее значение и +1 SD либо 16-й процентиль, 50-й процентиль и 84-й процентиль), каждая со своим значением в единицах данных, для категориального — его уровни. Точка вне наблюдаемого диапазона модератора помечается крестиком (†), а примечание называет диапазон, чтобы экстраполированный наклон не приняли за наблюдаемый.
• Наклон — эффект предиктора при данном значении модератора, с SE и p — простые наклоны

Точки оценки модератора. Список в разделе Дополнительная статистика, который появляется при выборе числового модератора. Он задаёт три значения модератора, в которых вычисляются простые наклоны и условные косвенные эффекты.

• Среднее и ±1 SD — по умолчанию, классический вариант
• 16-й, 50-й и 84-й процентили — три точки, которые всегда лежат внутри наблюдаемых данных. Этот вариант подходит для заметно скошенного или ограниченного модератора, у которого среднее − 1 SD может оказаться меньше наименьшего значения в выборке

Как читать результаты модерации: значимый член взаимодействия означает, что эффект предиктора зависит от модератора, а простые наклоны показывают, каков этот эффект в каждой точке оценки. См. модерацию и простые наклоны.

Область значимости Джонсона — Неймана #

Область значимости Джонсона — Неймана. Флажок в разделе Дополнительная статистика, который по умолчанию включён и появляется при выборе числового модератора. У категориального модератора нет непрерывной шкалы, на которой могла бы лежать граница, поэтому для него флажок скрыт. Простые наклоны оценивают эффект в трёх фиксированных точках, а здесь находятся те значения модератора, при которых эффект предиктора пересекает границу значимости: «значим при w выше 2.4» вместо «значим при +1 SD» — см. область значимости.

Результат выводится под каждой таблицей простых наклонов — небольшая таблица и график:

• Наблюдаемый диапазон модератора — от наименьшего до наибольшего значения модератора в данных. С этим диапазоном сопоставляется каждая граница
• Граница Джонсона — Неймана — значение модератора, при котором эффект пересекает порог значимости, по строке на каждую границу. Граница вне наблюдаемого диапазона не выводится. Если эффект значим во всём диапазоне или нигде в нём, строка области сообщает об этом вместо списка границ
• Область значимости — по какую сторону от границ эффект значим: выше, ниже, между ними или вне их, во всём наблюдаемом диапазоне либо ни при одном наблюдаемом значении
• Наблюдений в области значимости — доля реальных наблюдений (а не точек сетки графика), у которых значение модератора попадает в область, где эффект значим
• Условный эффект — график под таблицей: условный наклон на наблюдаемом диапазоне модератора с доверительной полосой, пунктирные линии на границах и зелёная заливка над областью значимости

Условные косвенные эффекты #

Условные косвенные эффекты. Флажок в разделе Дополнительная статистика, который появляется, только если выбраны и медиаторы, и модераторы. Анализ проверяет, меняется ли косвенный эффект в зависимости от модератора (модерируемая медиация), и вычисляет его в каждой точке оценки — бутстрэпом для линейного исхода и симуляцией для логистического, пуассоновского и отрицательного биномиального. Для порядкового исхода эффект по категориям не раскладывается: выводится безусловная таблица по категориям со ссылкой на модуль SEM. На вкладке Расширенный флажок скрыт, поскольку там условные косвенные эффекты выводятся для каждого нарисованного пути.

Для каждой тройки «предиктор × медиатор × модератор» на карточке выводится подраздел, где строки — точки оценки (с крестиком, как в таблице простых наклонов):

• Косвенный эффект — косвенный эффект при данном значении модератора с БС SE (при каузальной медиации — SE) и интервалом. Эффект значим, если интервал не содержит нуля
• Индекс модерируемой медиации — итоговая строка, когда условный косвенный эффект линейно зависит от модератора (модерируется один путь или у модератора два уровня). Это одно число для всего диапазона модератора, и интервал, не содержащий нуля, означает значимую модерацию медиации. В остальных случаях строка называется Изменение косвенного эффекта на единицу переменной с именем модератора, а примечание уточняет, что в ней стоит: для ACME в шкале отклика — среднее изменение между крайними точками оценки, а если модерируется больше одного пути — скорость изменения в среднем значении модератора — индекс модерируемой медиации

Чувствительность к неучтённому смешиванию #

• Чувствительность косвенного эффекта к неучтённому смешиванию — флажок в разделе Дополнительная статистика, доступный для линейного и биномиального исхода при выбранных медиаторах. Любой ACME предполагает, что у связи медиатора с исходом нет неучтённого смешивающего фактора, а проверить это по данным нельзя. Анализ чувствительности отвечает на другой вопрос: насколько сильным должно быть смешивание, чтобы полностью объяснить эффект. Для этого косвенный эффект пересчитывается на сетке значений ρ — см. чувствительность к неучтённому смешиванию. Для биномиального исхода уравнение исхода заново подгоняется как пробит-модель, о чём сообщает примечание.
• Также для путей через категориальный медиатор — вложенный флажок на вкладке Расширенный, где анализ выполняется отдельно для каждого пути на тех моделях, по которым получен эффект этого пути. Если медиатор пути категориальный, его уравнение приходится заново подгонять как пробит-модель, а это около минуты на путь. Поэтому такие пути включаются только по запросу, и для них выводятся лишь пороговое значение ρ и доли дисперсии. Три случая, в которых путь пропускается, карточка называет явно: бинарный медиатор при бинарном исходе, такой же медиатор при выключенном флажке и цепочка из нескольких медиаторов.

Этот блок выводится под таблицей медиации каждой пары: по таблице на каждый путь «предиктор × медиатор» и график.

• ACME при ρ = 0 — косвенный эффект в отсутствие смешивания, совпадающий с оценкой, приведённой выше. После подгонки пробит-модели эта строка не выводится, поскольку собственный эффект такой модели относится к другому контрасту, чем эффекты карточки
• ρ, при котором ACME = 0 — пороговое значение: корреляция ошибок двух уравнений, обращающая косвенный эффект в нуль. Оно ищется на сетке и приводится с её точностью. Если эффект сохраняется на всей сетке, таблица сообщает об этом — пороговое значение ρ
• Доля остаточной дисперсии — то же пороговое значение, выраженное как произведение долей необъяснённой дисперсии, которые пропущенный смешивающий фактор должен объяснить в обоих уравнениях — доля остаточной дисперсии
• Доля общей дисперсии — то же произведение, но относительно полной дисперсии каждой переменной. В отчёт стоит включать именно эти две доли, поскольку их можно интерпретировать, не зная, что такое ρ — доля общей дисперсии
• При воздействии и При контроле — при пробит-модели исхода в таблице по строке на каждое условие, поскольку в пробит-модели эффекты при этих условиях различаются. При линейном исходе они совпадают, и строка одна

График показывает косвенный эффект в зависимости от ρ вместе с интервалом, пунктирную линию в пороговой точке и зелёную заливку там, где интервал ещё не содержит нуля. Он строится только тогда, когда выводится и сама оценка косвенного эффекта.

Проверки перед запуском #

До подгонки выбор проверяется на совместимость с тем, что предстоит выполнить в R, и каждая проблема выводится как сообщение проверки, а не как необработанная ошибка R:

• переменная, выбранная в двух списках из пяти, отклоняется с указанием её имени
• отклоняется переменная, у которой среди полных наблюдений меньше двух различных значений
• счётные модели не принимают отрицательную зависимую переменную, а при нецелых значениях выводят предупреждение, не блокируя запуск
• запуск блокируется, если полных наблюдений не больше, чем параметров модели. Параметры считаются для каждого семейства (исход с несколькими категориями учитывается во столько параметров, сколько он действительно требует) и для каждой зависимой переменной. Для регуляризованных методов эта проверка не выполняется, поскольку они созданы именно для случая n ≤ p, но у них свои ограничения: не менее 4 полных наблюдений, а в классификационных семействах — не менее 3 наблюдений в каждой категории исхода
• для биномиальной, порядковой, мультиномиальной и счётных моделей выводится предупреждение, не блокирующее запуск, если событий на параметр меньше примерно 10. События считаются по строкам, оставшимся после построчного удаления

Настройка модели #

Тип регрессии #

Семейство, в котором моделируется исход. От него зависит, переменные каких типов попадают в список зависимых, какие настройки появляются ниже и какие карточки выводит расчёт. Выбирайте тип по характеру исхода.

• Линейная — непрерывный числовой исход, подгонка методом наименьших квадратов — см. линейную регрессию
• Робастная линейная — непрерывный исход с тяжёлыми хвостами или засорёнными строками. Подгонка MM-оцениванием не даёт немногим плохим строкам сместить коэффициенты — см. робастную линейную регрессию ниже
• Квантильная — условные квантили непрерывного исхода вместо его среднего. Подходит, когда эффект может различаться в нижней и верхней частях распределения исхода — см. квантильную регрессию ниже
• Биномиальная логистическая — исход с двумя категориями (да/нет, сдал/не сдал), поэтому в списке зависимых остаются бинарные переменные — см. логистическую регрессию
• Порядковая логистическая — упорядоченные категории (низкий/средний/высокий), подгонка моделью пропорциональных шансов — см. порядковую логистическую регрессию
• Мультиномиальная логистическая — три и более неупорядоченных категории, по уравнению на каждую категорию относительно опорного исхода. Допускается и числовой исход с тремя и более различными значениями: мультиномиальная модель — обычная замена порядковой, когда пропорциональность шансов нарушается на исходе с кодами 1, 2, 3. Модуль сам превращает такой исход в фактор, и выбор опорного исхода работает с числовыми уровнями так же, как с текстовыми — см. мультиномиальную логистическую регрессию
• Пуассона — неотрицательный счётный исход (0, 1, 2, …), дисперсия которого примерно равна среднему — см. пуассоновскую регрессию
• Отрицательная биномиальная — счётный исход с избыточной дисперсией, то есть с дисперсией больше среднего, как обычно и бывает. Когда переходить на эту модель, подсказывает строка дисперсии на карточке пуассоновской модели — см. отрицательную биномиальную регрессию
• Счётная с избытком нулей — счётный исход с гораздо большим числом нулей, чем может дать счётная модель с одним уравнением, причём часть нулей дают наблюдения, вообще не порождающие событий — см. двухчастные счётные модели ниже
• Барьерная счётная — счётный исход, у которого наличие хотя бы одного события и число событий, если они были, определяются разными процессами — см. двухчастные счётные модели ниже

Исход — время до события? Длительности, которые могут быть цензурированы (время жизни, время до отказа, время до рецидива), анализируются в модуле Анализ времени до события. Если подставить цензурированные времена как обычные числа в линейную или пуассоновскую модель, оценки окажутся смещёнными.

Исход упорядочен во времени? Продажи, показания датчиков, трафик и любые другие ряды, соседние наблюдения которых автокоррелированы, анализируются в модуле Анализ временных рядов. Регрессия на автокоррелированных данных занижает стандартные ошибки, а модели ARIMA и ETS описывают эту зависимость напрямую.

Линейная или логистическая? Линейная модель предсказывает число, логистическая — вероятность категории. Линейная модель для исхода «да/нет» может выдать вероятность меньше 0 или больше 1 — см. логистическую регрессию.

Пуассоновская или отрицательная биномиальная? Модель Пуассона предполагает, что дисперсия равна среднему, а реальные счётные данные обычно разбросаны сильнее. Если дисперсия на карточке пуассоновской модели заметно больше 1, переходите на отрицательную биномиальную — см. избыточную дисперсию. Когда лишний разброс сосредоточен в нулях, а не по всему диапазону, нужны двухчастные модели — см. избыток нулей.

Двухчастные счётные модели #

Типы Счётная с избытком нулей и Барьерная счётная подгоняют сразу два уравнения: одно для счёта и логистическое для нулей. При выборе любого из них под полем Тип регрессии появляются ещё две настройки:

• Распределение счётной части — распределение в уравнении счёта. Это отдельная ось выбора, а не ещё одно семейство: любая из двух моделей допускает любое распределение, а уравнение нулей в обоих случаях логистическое
• Пуассона — счётная часть с дисперсией, равной среднему
• Отрицательная биномиальная — счётная часть с собственным параметром дисперсии. Подходит, когда и без учёта нулей счёт разбросан сильнее, чем допускает распределение Пуассона — см. избыточную дисперсию
• Предикторы нулевой компоненты — члены уравнения нулей. Это уравнение описывает, даёт ли наблюдение нуль в принципе, а предикторы выше описывают сам счёт. На выбор предлагаются только предикторы и ковариаты счётной модели, а не весь набор данных. Если оставить список пустым, в уравнении нулей останется один свободный член, то есть вероятность нуля будет одинаковой для всей выборки

С избытком нулей или барьерная? Логиты этих моделей описывают противоположные события: у модели с избытком нулей — принадлежность к наблюдениям, которые всегда дают нуль, у барьерной — преодоление нуля. Поэтому один и тот же знак коэффициента означает в них противоположное, и под каждой таблицей примечание уточняет, о каком событии её уравнение. Модель с избытком нулей подходит, когда есть подгруппа, в принципе не подверженная событию, а барьерная — когда первое событие определяется иначе, чем последующие — см. модель с избытком нулей и барьерную модель.

Исход должен быть неотрицательным, целочисленным и содержать хотя бы один нуль. Все три условия проверяются до запуска, и нарушенное условие называется в сообщении, а не всплывает необработанной ошибкой R.

У этих семейств меньше возможностей, чем у счётных моделей с одним уравнением. Недоступны таблица ANOVA, статистики влияния, регуляризованное оценивание, сравнение моделей, медиация и модерация, а также расширенный режим (анализ путей). Доступны диагностика коллинеарности, критерий автокорреляции Бройша — Годфри, диаграмма остатков (остатки Пирсона против ожидаемого счёта) и критерии адекватности, где выводится сравнение наблюдаемого и ожидаемого числа нулей.

Робастная линейная регрессия #

Тип Робастная линейная подгоняет ту же линейную модель не методом наименьших квадратов, а MM-оцениванием (robustbase::lmrob), поэтому немногие засорённые строки не могут сместить коэффициенты — см. MM-оценивание. Выбирайте его, когда у исхода тяжёлые хвосты или когда в выборке заведомо есть плохие строки, которым лучше уменьшить вес, чем удалять их вручную.

Таблица коэффициентов устроена так же, как у линейной модели (оценка, стандартная ошибка, t, p и доверительный интервал), и столбец β означает то же, что и везде. Таблица соответствия модели другая, и пустых ячеек в ней нет:

• Робастный R² — тот же R², что у подгонки МНК, но вычисленный с весами наблюдений, а не по обычным суммам квадратов. Поэтому с R² МНК на тех же данных он несопоставим
• Скорректированный робастный R² — то же отношение с поправкой на число предикторов
• Робастный масштаб остатков — робастная оценка разброса остатков, заменяющая стандартную ошибку остатков
• χ² (критерий Вальда) — совместная проверка наклонов по ковариационной матрице самой подгонки, под ней — df и p. AIC, BIC и критерия отношения правдоподобия на карточке нет, о чём сообщает примечание. ОЛМ с робастной ковариационной матрицей выводит такую же строку, рассчитанную по скорректированной матрице, вместо χ² отношения правдоподобия

Если при робастной подгонке включить статистики влияния, вместо расстояния Кука выводится отчёт о весах наблюдений: сами веса и показывают, как оценка учла влияние каждой строки — см. вес наблюдения. Диагностика остатков даёт диаграмму рассеяния и критерий Дарбина — Уотсона, но не график Q-Q и не критерий Шапиро — Уилка, а критерии адекватности недоступны.

В расширенном режиме (анализ путей) это семейство недоступно, и сравнение моделей его не принимает. Медиация и модерация работают: при бутстрэпе косвенного эффекта заново подгоняется робастная модель, а уравнение медиатора по-прежнему оценивается МНК.

Робастная регрессия или удаление выбросов? Удаление строки — решение «да или нет», которое придётся обосновывать в статье. MM-оценивание принимает непрерывное решение и показывает его для каждой строки в весах наблюдений — см. вес наблюдения.

Квантильная регрессия #

Тип Квантильная подгоняет не условное среднее исхода, а его условные квантили (quantreg::rq) — см. квантильную регрессию. Выбирайте его, когда предиктор может действовать в верхней части распределения исхода иначе, чем в нижней: коэффициент, основанный на среднем, даёт одно число и полностью скрывает это различие.

Под полем Тип регрессии появляются две настройки:

• Квантили (τ) — сетка квантилей, для которых подгоняется модель. Подгонка всей сетки занимает примерно столько же времени, сколько подгонка одной точки — см. τ
• Только медиана (0.5) — одна медианная линия — см. медианную регрессию
• Квартили (0.25, 0.5, 0.75) — по умолчанию: три квартильные линии, наименьший набор, по которому видно, как эффект меняется вдоль распределения
• Квартили и хвосты (0.1, 0.25, 0.5, 0.75, 0.9) — квартили вместе с 10-м и 90-м процентилями, для эффекта, который может меняться только в хвостах
• Децили (от 0.1 до 0.9) — девять линий, от 10-го до 90-го процентиля
• Отображаемый квантиль — то единственное τ, для которого вычисляется всё, кроме матрицы коэффициентов и графика квантильного процесса. Стандартизованные коэффициенты, коллинеарность, диагностика и сравнительные блоки нельзя получить «сразу для всех τ», поэтому каждый из них вычисляется для этого квантиля и указывает, для какого τ он получен. Список вариантов перестраивается под выбранную сетку

Собственный вывод семейства:

• Коэффициенты по квантилям — матрица коэффициентов в журнальном формате: строки — предикторы, столбцы — сетка τ, перед которой стоит оценка МНК из этого же модуля. В каждой ячейке коэффициент, под ним стандартная ошибка, и звёздочки значимости, как во всех остальных таблицах. Главный результат этого семейства — строка, в которой оценки меняются от τ к τ
• МНК — первый столбец матрицы: оценка того же коэффициента методом наименьших квадратов, то есть линия среднего, с которой сравнивается каждая квантильная линия
• τ = {tau} — по столбцу на каждый квантиль сетки: коэффициент при этом τ и под ним стандартная ошибка. Каждый столбец — отдельная подгонка той же модели для своего квантиля
• График квантильного процесса — та же матрица в виде графика: по панели на каждый предиктор, коэффициент в зависимости от τ с доверительной полосой, нулевой линией и горизонтальной линией оценки МНК для сравнения. Наклонная линия означает, что эффект предиктора меняется вдоль распределения исхода
• Квантиль (τ) — первая строка таблицы соответствия модели: отображаемый квантиль, для которого вычислена карточка. Это же τ отложено по горизонтальной оси графика квантильного процесса
• R¹ — мера соответствия Кёнкера и Машаду для этого τ. Рядом выводится F из анализа девиансов в quantreg, где модель сравнивается с моделью только со свободным членом при том же τ. R¹ описывает соответствие модели данным для одного квантиля, не разлагает дисперсию и несопоставим ни между разными τ, ни с R² МНК. AIC, BIC и критерия отношения правдоподобия на карточке нет, о чём сообщает примечание

В расширенном режиме (анализ путей) это семейство недоступно, и сравнение моделей его не принимает. Таблица ANOVA, критерии адекватности и все регуляризованные методы оценивания для него просто отключаются, так что с настройками, где они включены, квантильный расчёт всё равно проходит без ошибок. Медиация и модерация вместо таблицы выводят примечание.

Квантильная или робастная? Обе устойчивы к выбросам, но подгонка только по медиане во многом повторяет робастную модель, а та оценивает центральную линию эффективнее. Квантильная регрессия нужна, когда эффект меняется вдоль распределения. При одном τ этого не видно, поэтому по умолчанию сетка состоит из квартилей, а не из одной медианы — см. медианную регрессию.

Опорный исход (только мультиномиальная) #

• Опорный исход — категория исхода, с которой сравниваются коэффициенты всех остальных категорий. Поле появляется под Типом регрессии при мультиномиальном типе и классическом оценивании, по умолчанию выбрана первая категория в порядке сортировки. При смене категории меняется смысл каждого числа в таблице, хотя сама подгонка и предсказания остаются прежними. Поэтому выбирайте ту категорию, которая в вашем вопросе служит точкой отсчёта: контрольное условие, статус-кво, группу «без диагноза» — см. опорный исход. В сравнении моделей таблицы усреднённых коэффициентов по исходам строятся относительно той же категории. При регуляризованном оценивании поле скрыто, поскольку у таких подгонок нет базовой категории

Что такое ОЛМ? Обобщённая линейная модель: линейный предиктор, функция связи и распределение исхода — см. обобщённую линейную модель. Под «типами ОЛМ» в настройках диагностики понимаются биномиальная логистическая, пуассоновская и отрицательная биномиальная модели. Линейная указана отдельно, поскольку у неё свои параметры вывода (β, таблица ANOVA, корреляции), а порядковая и мультиномиальная подгоняются другими процедурами.

Метод оценивания #

Способ нахождения коэффициентов: классическая подгонка, подгонка со сниженным смещением для логистических данных с разделением или один из четырёх регуляризованных методов. Регуляризованные методы сжимают коэффициенты, а три из них ещё и отбирают предикторы — см. регуляризацию.

• Классический (МНК/ММП) — метод наименьших квадратов для линейного семейства, метод максимального правдоподобия для остальных. Доступна вся диагностика
• Фёрт — пенализованное правдоподобие, при котором логистические оценки остаются конечными, даже если предиктор разделяет исход. Только для биномиальной модели, причём всё остальное на карточке работает как обычно: таблица ANOVA приводит критерии Вальда вместо критериев отношения правдоподобия, а доверительные интервалы строятся по Вальду для пенализованной подгонки — см. пенализованное правдоподобие Фёрта
• Гребневая (L2) — сжимает все коэффициенты к нулю и сохраняет все предикторы. Подходит для коррелированных предикторов, каждый из которых вносит вклад — см. гребневую регрессию
• LASSO (L1) — обращает часть коэффициентов точно в нуль, так что оставшиеся ненулевыми члены и образуют отобранную модель — см. LASSO
• Эластичная сеть (L1 + L2) — сочетание двух штрафов: отбирает предикторы, как LASSO, и распределяет вес между ними, как гребневая регрессия. Подходит для предикторов, которые образуют коррелированные группы — см. эластичную сеть
• Коэффициент смешивания эластичной сети (α) — доля штрафа L1: 0 соответствует чистой гребневой регрессии, 1 — чистому LASSO, по умолчанию 0.5
• Групповое LASSO — штраф LASSO, наложенный на фиктивные столбцы каждого предиктора как на единый блок, так что категориальный предиктор входит в модель или выходит из неё целиком. Без категориальных предикторов метод совпадает с LASSO. Доступен для линейного, биномиального и пуассоновского семейств — см. групповое LASSO

Вариант Групповое LASSO скрыт для порядковой, мультиномиальной и отрицательной биномиальной регрессии, и при выборе одной из них метод возвращается к LASSO. Фёрт показывается только для биномиальной логистической регрессии. Оба варианта появляются снова, когда вы переходите к семейству, где они доступны.

Когда нужна регуляризация? Если предикторов много по сравнению с объёмом выборки или они сильно коррелированы, классическая подгонка неустойчива или переобучается. Штраф ценой небольшого смещения заметно снижает дисперсию. LASSO подходит, когда многие предикторы, вероятно, не нужны, гребневая регрессия — когда вклад вносит большинство, эластичная сеть — для коррелированных групп — см. регуляризацию и компромисс между смещением и дисперсией.

Когда нужен метод Фёрта? Если предиктор разделяет исход, оценка максимального правдоподобия уходит в бесконечность: огромный коэффициент, ещё большая стандартная ошибка и p около 1 означают неудавшуюся подгонку, а не отсутствие эффекта. Карточка коэффициентов предупреждает о найденном разделении и предлагает метод Фёрта. На обычных данных штраф Фёрта слегка сжимает коэффициенты и вполне оправдан по умолчанию для малых выборок и редких событий — см. разделение.

Выбор лямбды (только для регуляризованных методов) #

Настройки регуляризованной подгонки находятся на карточке Одиночный регрессионный анализ:

• Выбор лямбды — сила регуляризации. Каждый метод подгоняется на сетке значений λ с перекрёстной проверкой в каждой точке, а это правило выбирает точку, которую показывает карточка — см. λ
• Правило 1 SE (lambda.1se) — по умолчанию: наибольшая λ, при которой оценка перекрёстной проверки отстоит от наилучшей не больше чем на одну стандартную ошибку. Это самая простая модель, которую данные не могут отличить от наилучшей — см. правило 1 SE
• Наилучшее качество CV (lambda.min) — λ с наилучшей оценкой перекрёстной проверки: наименьшей ошибкой или девиансом для линейной, биномиальной, мультиномиальной модели и группового LASSO, наибольшим логарифмом правдоподобия для порядковой и отрицательной биномиальной (см. Сводку перекрёстной проверки). Этот вариант выбирают ради точности предсказания, а не простоты модели
• Вручную — λ, заданная вами
• Значение лямбды — λ для подгонки. Значение задаётся в масштабе подогнанного пути, а порядок величин на этом пути у каждого метода свой. Подгоняется ближайшая точка пути, и строка λ (выбранная) показывает именно её, а не введённое значение. Допустимый интервал показывает строка Диапазон лямбды в сводке перекрёстной проверки

lambda.min или lambda.1se? lambda.min даёт наилучшую точность по перекрёстной проверке, lambda.1se — более простую модель ценой потери точности, которую перекрёстная проверка не в состоянии уловить. Здесь, как и в glmnet, по умолчанию стоит правило 1 SE: штраф обычно нужен, чтобы понять, какие предикторы важны, а правило, которое оставляет член только при явных основаниях, отвечает на этот вопрос устойчивее — см. правило 1 SE.

Допущения:

• Линейная регрессия — линейная связь, нормально распределённые остатки, постоянная дисперсия ошибок, отсутствие мультиколлинеарности и независимость наблюдений. Проверить их можно, включив диагностику — см. проверку регрессии
• Логистическая регрессия (биномиальная, порядковая, мультиномиальная) — независимость наблюдений, отсутствие мультиколлинеарности и объём выборки, достаточный для устойчивой оценки максимального правдоподобия. Нормальность не требуется, но порядковая логистическая регрессия дополнительно предполагает пропорциональность шансов
• Регрессия Пуассона — счётный исход, независимые события и дисперсия, равная среднему. Если дисперсия больше среднего, используйте отрицательную биномиальную модель — см. избыточную дисперсию
• Регуляризованные методы — ослабляют требование об отсутствии мультиколлинеарности, поскольку созданы как раз для коррелированных предикторов, но по-прежнему предполагают верную функциональную форму (линейную для линейной модели, логистическую связь для логистической)
• Все типы — отсутствие смещения из-за пропущенных переменных: неучтённый смешивающий фактор может сделать включённый предиктор значимым или незначимым вопреки действительности — см. ковариату

Дополнительные статистики #

Группы Дополнительная статистика и Диагностика на карточке Одиночный регрессионный анализ — это флажки и списки, которые добавляют к расчёту необязательный вывод. Каждый из них предлагается только для тех семейств и методов оценивания, которые могут дать такой вывод (условия указаны в каждом пункте ниже). При регуляризованном методе оценивания в обеих группах остаётся только классификационный анализ (ROC).

• Нулевые корреляции — для линейной модели при классическом оценивании. Добавляет таблицу Корреляции с простой корреляцией каждого предиктора с исходом без учёта остальных предикторов — см. корреляцию нулевого порядка
• Частные и получастные корреляции — тоже для линейной модели при классическом оценивании. Добавляет в ту же таблицу частную и получастную корреляцию каждого предиктора, то есть его связь с исходом после исключения влияния остальных предикторов из обеих переменных или только из предиктора — см. частную и получастную корреляцию
• Таблица ANOVA — по одному общему критерию на член модели, сколько бы строк контрастов он ни занимал в таблице коэффициентов, так что категориальный предиктор с тремя и более уровнями проверяется один раз. Доступна для всех классических семейств с одним уравнением (линейного, робастного линейного, трёх логистических, пуассоновского и отрицательного биномиального) и недоступна для двухчастных счётных моделей, квантильной регрессии и любой регуляризованной подгонки. Описание — в разделе Таблица ANOVA, см. также таблицу ANOVA
• Тип ANOVA — список под включённой таблицей ANOVA: с поправкой на какие члены проверяется каждая строка. Варианты — Тип I (последовательный), Тип II (по умолчанию) и Тип III, все они описаны в разделе Таблица ANOVA — см. тип сумм квадратов. Тип I раскладывает модель в порядке ввода предикторов, поэтому его таблица меняется при смене порядка. Он предлагается только там, где последовательная таблица существует: не для робастного, порядкового и мультиномиального семейств и не при робастной ковариационной матрице. Если выбранный тип становится недоступен, вместо него используется тип II
• Отношения шансов с доверительными интервалами — экспоненцированные коэффициенты с интервалом в той же шкале, добавленные в таблицу коэффициентов. По умолчанию включено для всех семейств, коэффициенты которых выражены в логарифмической шкале, и скрыто для трёх семейств с непрерывным исходом и при регуляризованном оценивании. Это один флажок, подпись которого зависит от семейства, потому что одно и то же экспоненцирование даёт в разных семействах разные величины. Для биномиальной и порядковой модели флажок называется Отношения шансов с доверительными интервалами (см. отношение шансов), для мультиномиальной — Отношения относительных рисков (RRR) с доверительными интервалами (см. отношение относительных рисков), для пуассоновской и отрицательной биномиальной — Отношения интенсивностей (IRR) с доверительными интервалами (см. IRR). У двухчастных счётных моделей он называется Отношения интенсивностей (IRR) и отношения шансов (OR) с доверительными интервалами: экспонента коэффициента в уравнении счёта — отношение интенсивностей, а в уравнении нулей — отношение шансов
• Область значимости Джонсона — Неймана — флажок, который появляется при выборе числового модератора, а на вкладке Расширенный — для всех семейств, кроме мультиномиального — см. Область значимости Джонсона — Неймана
• Условные косвенные эффекты (модерируемая медиация) — появляется, если выбраны и медиаторы, и модераторы, только на вкладке Простой — см. Условные косвенные эффекты
• Чувствительность косвенного эффекта к неучтённому смешиванию — появляется для линейного и биномиального исхода при выбранных медиаторах, а на вкладке Расширенный — для этих двух семейств при любой нарисованной модели — см. Чувствительность косвенного эффекта к неучтённому смешиванию
• Также для путей через категориальный медиатор — вложенный флажок на вкладке Расширенный для линейного исхода, около минуты на путь — см. Также для путей через категориальный медиатор
• Точки оценки модератора — список, который появляется вместе с флажком Джонсона — Неймана. В нём выбирается, в каких значениях модератора вычисляются простые наклоны и условные косвенные эффекты: Среднее и ±1 SD или 16-й, 50-й и 84-й процентили — см. Точки оценки модератора

Отношение шансов, отношение интенсивностей или отношение относительных рисков? Все три равны e^b и различаются тем, что умножается: шансы исхода, ожидаемое число событий или вероятность категории относительно опорной. Отношение, равное 1, везде означает отсутствие эффекта, поэтому интервал, накрывающий 1, соответствует интервалу коэффициента, накрывающему 0 — см. отношение шансов, IRR и отношение относительных рисков.

Стандартные ошибки #

Стандартные ошибки. Список на карточке Одиночный регрессионный анализ для классической линейной, биномиальной, пуассоновской и отрицательной биномиальной регрессии. Он исправляет то, что обнаружила диагностика остатков: иначе столбцы вывода в таблице коэффициентов не учли бы найденное нарушение. SE, статистика критерия, p и доверительный интервал пересчитываются по скорректированной ковариационной матрице. Сами коэффициенты не меняются, а в ОЛМ вместе с интервалом сдвигается и его экспоненцированная версия, поскольку это тот же интервал в шкале отношений. Список недоступен для робастной, квантильной, порядковой, мультиномиальной и двухчастных счётных моделей, для любой регуляризованной подгонки и для подгонки Фёрта.

• Модельные — по умолчанию: обычные стандартные ошибки, верные при постоянной дисперсии остатков и независимых наблюдениях
• Устойчивые к гетероскедастичности (HC3) — стандартные ошибки, вычисленные по фактическому разбросу остатков, а не в предположении постоянной дисперсии. Обычное решение, когда значим критерий Бройша — Пагана — см. робастные стандартные ошибки
• Устойчивые к гетероскедастичности и автокорреляции (Ньюи — Уэста) — то же, но с учётом корреляции между соседними строками, на случай если выявлена и автокорреляция. Текущий порядок строк принимается за порядок во времени. Примечание называет выбранную ширину окна (в числе лагов) и предварительное выбеливание остатков моделью AR(1) — см. автокорреляцию

Примечание под таблицей коэффициентов называет выбранный способ оценки, и вся остальная карточка рассчитана тем же способом. Общий критерий модели становится совместным критерием Вальда по скорректированной ковариационной матрице: F для линейной модели и χ² с пометкой «критерий Вальда» для ОЛМ вместо χ² отношения правдоподобия. Таблица ANOVA тоже приводит критерии Вальда по этой матрице, без сумм квадратов. Псевдо-R² по-прежнему вычисляются по правдоподобию, о чём сообщает примечание. Если скорректированную матрицу вычислить не удалось, в таблице остаются модельные стандартные ошибки, и карточка сообщает об этом. Если матрица не вычислилась только для отдельных членов, в их строках остаются модельные SE, статистика, p и ДИ, а примечание перечисляет эти члены.

Когда нужен HC3? Гетероскедастичность не смещает коэффициенты, но искажает их стандартные ошибки (обычно занижает). HC3 сохраняет оценки и исправляет их неопределённость, а если дисперсия на самом деле постоянна, обходится лишь небольшой потерей мощности — см. гетероскедастичность и робастные стандартные ошибки.

Метод Ньюи — Уэста предполагает, что строки образуют временной ряд. «Соседние» значит «идущие подряд в текущем порядке строк», а в опросе или регистре пациентов этот порядок случаен и зависит лишь от того, как собирался файл. То же относится и к самим критериям автокорреляции — см. автокорреляцию. Настоящие временные ряды анализируйте в модуле Анализ временных рядов.

Стандартизованные коэффициенты #

Стандартизованные коэффициенты. Список, который появляется для классической биномиальной, порядковой, мультиномиальной, пуассоновской, отрицательной биномиальной и двухчастных счётных моделей. Для β в ОЛМ в литературе есть несколько соглашений, которые дают разные числа с разным смыслом, поэтому одно из них нужно выбрать, а примечание под таблицей коэффициентов называет, по какому получен столбец. Линейная, робастная и квантильная модели выводят β без выбора, поскольку для них стандартизация определяется однозначно — см. β.

• Не выводить — столбца β нет
• Только предикторы (на 1 SD X) — по умолчанию: коэффициент, умноженный на SD предиктора, так что β — это изменение логарифма шансов или логарифма интенсивности при росте предиктора на 1 SD. Такие β сопоставимы между предикторами этой модели, но не с β линейной модели. В мультиномиальной модели стандартизация выполняется внутри каждого уравнения исхода, в двухчастной — внутри каждого из двух уравнений
• Латентная переменная (сопоставимо с β линейной модели) — дополнительно делит на SD латентного отклика, при логит-связи равное $\sqrt{\mathrm{Var}(\eta )+{\pi }^2/3}$. Это делает β сопоставимым с β линейной модели ценой допущения, что за исходом стоит пороговая модель. Только для биномиальной и порядковой модели (порядковая регрессия с пропорциональными шансами — тоже пороговая логит-модель). Для счётных семейств вариант скрыт: латентного отклика, по которому можно было бы масштабировать, у них нет

SD берутся по столбцам матрицы плана подогнанной модели, поэтому фиктивный столбец и столбец взаимодействия стандартизуются так же, как обычный числовой предиктор. В линейной модели β получается повторной подгонкой на стандартизованных данных, где категориальный контраст остаётся столбцом 0/1. Поэтому для числового предиктора β равен b × SD(x) ÷ SD(y), а для категории — b ÷ SD(y). Эти величины несопоставимы, о чём сообщает примечание под таблицей — см. β.

• Бутстрэп-интервалы для стандартизованных коэффициентов — флажок на той же карточке. Заменяет аналитический интервал β бутстрэп-интервалом с коррекцией смещения по бутстрэп-выборкам наблюдений, на каждой из которых модель заново подгоняется и стандартизуется, поэтому интервал не обязательно симметричен относительно β. У нестандартизованных коэффициентов остаётся свой интервал. Доступен для линейной, робастной, квантильной, биномиальной, пуассоновской и отрицательной биномиальной регрессии, недоступен при регуляризованном оценивании и при выключенном столбце β, действует и в расширенном режиме (анализ путей). Расчёт медленный: на каждую бутстрэп-выборку — полная повторная подгонка, число бутстрэп-выборок задаёт настройка Повторы бутстрэпа, а генератор инициализирует Зерно бутстрэпа
• ДИ для β — столбец интервала рядом с β, только при бутстрэп-интервалах. Примечания называют способ построения и число успешно подогнанных бутстрэп-выборок. Они же перечисляют строки, где удачных бутстрэп-выборок оказалось слишком мало (у них остаётся аналитический интервал), и сообщают, если так вышло со всеми строками и интервалы остались аналитическими

На графике коэффициентов линейной модели есть переключатель между двумя шкалами:

• Шкала коэффициентов — сам переключатель. По умолчанию он стоит на β везде, где стандартизованная повторная подгонка дала интервалы, и перерисовывает тот же график на месте
• Стандартизованная (β) — график по столбцу β: каждый коэффициент выражен в SD исхода на одно SD предиктора, так что числовые предикторы можно сравнивать между собой — см. β
• Нестандартизованная (B) — тот же график по исходным коэффициентам, в собственных единицах переменных — см. B

Почему приходится выбирать соглашение? У исхода линейной модели есть SD, на которое можно делить, а у исхода логистической нет: он принимает значения 0 и 1. Стандартизация только по предикторам исход не трогает, а стандартизация по латентной переменной берёт SD, которое подразумевает пороговая модель. Оба подхода обоснованы и встречаются в литературе, поэтому указывайте соглашение рядом с числами — см. β.

Диагностика #

Группа Диагностика на той же карточке. Каждый флажок выводит отдельную карточку результатов:

• Диагностика мультиколлинеарности (VIF/толерантность) — VIF и толерантность для каждого члена модели с интерпретацией. Доступна для любой классической подгонки, включая робастную, квантильную (для отображаемого квантиля) и двухчастные счётные модели, и недоступна при регуляризованном оценивании. Описание — в разделе Диагностика коллинеарности, см. также мультиколлинеарность, VIF и толерантность
• Диагностика остатков (нормальность, автокорреляция, гетероскедастичность) — для классической линейной, робастной линейной, биномиальной, пуассоновской, отрицательной биномиальной и двухчастных счётных моделей. Подпись перечисляет критерии, которые будут выполнены для выбранного семейства: все три для линейной модели и только Диагностика остатков (автокорреляция) для остальных, где критерии нормальности и гетероскедастичности неприменимы. Описание — в разделе Диагностика остатков, см. также проверку регрессии
• Статистики влияния (расстояние Кука, рычаг, выбросы) — для тех же семейств, кроме двухчастных: какие наблюдения сильнее всего влияют на подгонку. Выводятся расстояние Кука, рычаг и критерий выбросов по стьюдентизированным остаткам. При робастной подгонке подпись меняется на Статистики влияния (веса наблюдений, отвергнутые наблюдения), и карточка показывает веса наблюдений, назначенные самой оценкой. Описание — в разделе Статистики влияния, см. также влияние
• Соответствие модели данным (тест RESET) — по умолчанию включено для всех классических подгонок, кроме робастной и квантильной. Подпись называет критерий для выбранного семейства: Соответствие модели данным (тест RESET) для линейной модели, Соответствие модели данным (критерий Хосмера — Лемешова) для биномиальной, Соответствие модели данным (пропорциональные шансы/тест Бранта, точность классификации) для порядковой, Соответствие модели данным (точность классификации) для мультиномиальной, Соответствие модели данным (девианс, χ² Пирсона) для пуассоновской и отрицательной биномиальной, Соответствие модели данным (наблюдаемые и ожидаемые нули, дисперсия) для двухчастных моделей. Описание — в разделе Критерии адекватности
• Число интервалов Хосмера — Лемешова (g) — появляется, если для биномиальной модели включён блок соответствия данным: на сколько групп риска критерий Хосмера — Лемешова делит наблюдения, от 3 до 50, по умолчанию 10. Одна и та же модель может пройти критерий при одном числе групп и не пройти при другом, поэтому число задаёте вы. Таблица показывает фактическое число групп рядом с запрошенным. Если различных предсказанных значений у модели меньше, чем групп, критерий не определён и выводится только критерий ле Сесси — ван Хаувелингена — см. критерии калибровки и критерий Хосмера — Лемешова
• Критерий направленной сепарации (C Шипли) — только в расширенном режиме (анализ путей): соответствие данным самой нарисованной модели. Он объединяет проверки всех независимостей, которые диаграмма подразумевает там, где две переменные не соединены стрелкой. Описание — в разделе Соответствие модели (критерий направленной сепарации)

Флажок Классификационный анализ (ROC) и открываемые им настройки описаны в разделе Классификационный анализ (ROC). Это единственная диагностика, доступная и при регуляризованном оценивании.

Чтение результатов — классическая регрессия #

Классическая регрессия. Заголовок карточки классической подгонки состоит из типа регрессии и имени зависимой переменной, а если подгонка выполнена методом Фёрта, к нему добавляется «(Фёрт)». Разделы карточки идут в порядке, описанном ниже, а необязательные появляются, только если в группе Дополнительная статистика включён соответствующий флажок.

Если раздел был запрошен, но вычислить его не удалось, он не исчезает с карточки, а называет причину. Таблица ANOVA, тест Бранта, статистики влияния, бутстрэп-интервал, доля опосредованного эффекта, условный эффект без пригодной точки оценки — каждый сообщает, что помешало расчёту. Поэтому отсутствующий блок нельзя спутать с блоком, который выполнился и ничего не нашёл.

Информация о модели #

Карточка начинается с ролей переменных, вошедших в подгонку (Зависимая переменная, Предикторы, Модераторы, Медиаторы, Ковариаты), и N — числа наблюдений, по которым выполнена подгонка. Если построчное удаление исключило строки, рядом указано, сколько неполных строк отброшено — см. построчное удаление.

Соответствие модели #

Соответствие модели. Насколько хорошо модель в целом воспроизводит данные: по строке на каждую статистику, рядом с которой выводится её интерпретация, если та включена в настройках. Смотрите этот раздел раньше коэффициентов — см. соответствие модели.

Строки линейной модели:

• R² — доля дисперсии исхода, объяснённая моделью. Доверительный интервал получен обращением F-критерия самой модели (интервал по нецентральному F-распределению на заданном уровне), интерпретация — по шкале Коэна — см. R²
• Скорр. R² — R² с поправкой на число предикторов. Интерпретация оценивает разницу между двумя значениями как усадку — см. скорректированный R²
• f² — $R^2/(1-R^2)$, размер эффекта, для которого определены границы Коэна (0.02, 0.15, 0.35). Поэтому на карточке приводится и сама эта величина — см. f²
• F-статистика — проверка модели в целом против модели только со свободным членом. При стандартных ошибках HC3 или Ньюи — Уэста это совместный критерий Вальда по той же скорректированной ковариационной матрице, что и у коэффициентов, о чём сообщает примечание — см. F-статистику
• df (регрессия, остаток) — две степени свободы F-статистики — см. df
• p-значение (F) — p-значение F-критерия. Если оно ниже заданного уровня α, интерпретация — Модель значима — см. p-значение (F)
• Корень СКО — стандартная ошибка остатков, то есть типичная ошибка предсказания в единицах исхода — см. стандартную ошибку остатков
• AIC и BIC — информационные критерии для сравнения моделей, подогнанных на одних и тех же данных: чем меньше, тем лучше — см. AIC и BIC

Строки логистической, порядковой, мультиномиальной и счётной моделей:

• R² Мак-Фаддена — единица минус отношение логарифма правдоподобия модели к логарифму правдоподобия модели только со свободным членом. Интерпретация — по собственной шкале Мак-Фаддена, значения которой намного ниже привычных для R² МНК: от 0.2 до 0.4 — это уже отличное соответствие — см. R² Мак-Фаддена
• Скорректированный R² Мак-Фаддена — то же с поправкой на число параметров, как скорректированный R² у линейной модели. Выводится для всех нелинейных семейств независимо от флажка Соответствие модели данным
• R² Нагелькерке — R² Кокса — Снелла, перемасштабированный так, чтобы его максимум был равен 1. Поэтому его интерпретация дана по шкале Коэна для R² — см. R² Нагелькерке
• R² Кокса — Снелла — R² на основе правдоподобия, который не может достичь 1 — см. R² Кокса — Снелла
• Нулевой девианс — насколько плохо данные описывает модель только со свободным членом, вместе с её степенями свободы — см. нулевой девианс
• Остаточный девианс — насколько плохо данные описывает подогнанная модель, вместе с её степенями свободы. Разница между нулевым и остаточным девиансом показывает вклад предикторов — см. остаточный девианс
• χ² (критерий LR) — критерий отношения правдоподобия для модели в целом против модели только со свободным членом, под ним — df. При робастной ковариационной матрице строка становится совместным критерием Вальда по скорректированной матрице и называется χ² (критерий Вальда), как на карточке робастной модели, о чём сообщает примечание — см. критерий отношения правдоподобия
• p-значение (χ²) — p-значение этого критерия с интерпретацией Модель значима. На карточке робастной модели та же строка относится к χ² Вальда
• Логарифм правдоподобия — исходная мера соответствия, из которой получены значения псевдо-R² и строки AIC и BIC — см. логарифм правдоподобия

Робастная модель выводит Робастный R², Скорректированный робастный R², Робастный масштаб остатков и χ² (критерий Вальда), квантильная — Квантиль (τ) и R¹. Эти строки описаны в разделах своих семейств. Для всех семейств с итерационной подгонкой (биномиального, порядкового, мультиномиального, пуассоновского и отрицательного биномиального) под таблицей появляется предупреждение, если алгоритм подгонки не сошёлся, в том числе если предел итераций исчерпала оценка θ отрицательной биномиальной модели. Несошедшаяся подгонка даёт коэффициенты, стандартные ошибки и статистики соответствия, которые выглядят обычно, но ничего не значат. Обычные причины — малочисленные категории исхода и почти коллинеарные предикторы.

R² или псевдо-R²? R² линейной модели — это доля дисперсии. У логистической или счётной модели такой доли нет, поэтому псевдо-R² — заменители на основе правдоподобия, и оценивать их нужно по собственным шкалам — см. R² и псевдо-R².

Коэффициенты #

Коэффициенты. По строке на каждый член модели, первой идёт константа, столбцы описаны ниже. Та же таблица выводится для порогов порядковой модели, для каждого уровня исхода мультиномиальной модели и для каждого уравнения двухчастной — см. коэффициенты.

• Предиктор — член модели: переменная, уровень категориального предиктора относительно его опорной категории ({predictor}: {level}), взаимодействие или (Константа) — см. член и константу
• B — нестандартизованная оценка: в единицах исхода для линейной модели и в шкале связи (логарифм шансов, логарифм интенсивности) для ОЛМ — см. B
• SE — стандартная ошибка оценки, вычисленная способом, выбранным в списке Стандартные ошибки — см. стандартную ошибку коэффициента
• β — стандартизованная оценка, пустая для константы. У линейной, робастной и квантильной моделей выводится всегда, а у семейств ОЛМ — если в списке Стандартизованные коэффициенты выбрано что-либо кроме Не выводить, и тогда примечание называет соглашение. При бутстрэпе за β следует столбец ДИ для β — см. β
• t или z — статистика критерия B ⁄ SE со звёздочками значимости. Заголовок называет статистику, по которой получено p-значение: t с остаточными степенями свободы для линейной модели, z для критериев Вальда в ОЛМ, порядковой и мультиномиальной моделях — см. t и z
• p — p-значение строки при нулевой гипотезе о равенстве её коэффициента нулю, то есть о том, что предиктор ничего не добавляет к остальным. Большое p у члена, указанного в предупреждении о разделении, не свидетельствует об отсутствии эффекта — см. p
• ДИ — доверительный интервал для B на заданном уровне, вычисленный тем же способом, что и SE — см. доверительный интервал
• OR — экспоненцированный коэффициент с собственным столбцом интервала OR ДИ, если включён флажок экспоненцированных коэффициентов. Для биномиальной и порядковой моделей это отношение шансов, для мультиномиальной — RRR, для счётных семейств — IRR — см. отношение шансов, отношение относительных рисков и IRR

Для биномиальной и порядковой моделей примечание над таблицей указывает, какой исход моделируется («Моделируемый исход: да против опорного уровня нет» или категории по возрастанию), и в какую сторону сдвигает его положительный коэффициент. От этого выбора зависят все коэффициенты, отношения и ROC-кривая на карточке. Делаете его не вы, а правило кодирования, поэтому карточка называет его явно.

Под таблицей называются три обстоятельства, о которых иначе ничего не было бы видно:

• Разделение. Если часть наблюдений предсказывается безошибочно (полное или квазиполное разделение в биномиальной, порядковой или мультиномиальной модели), предупреждение над таблицей перечисляет члены, оценки которых разошлись. Их коэффициенты, стандартные ошибки, интервалы и p-значения интерпретировать нельзя, а для биномиальной модели вторая строка предлагает метод Фёрта — см. разделение
• Неоцениваемые члены. Член, который точно выражается линейной комбинацией остальных, оценить нельзя, и строки в таблице у него нет. Примечание называет такой член и напоминает, что все остальные коэффициенты получены при его исключении. В таблицу корреляций он тоже не попадает — см. мультиколлинеарность
• Нецентрированные модераторы. Если выбраны модераторы, примечание напоминает, что коэффициент каждого предиктора — это его эффект при нулевом значении модератора (или на опорном уровне модератора), а не среднее по диапазону модератора. Эффект при значениях модератора, действительно встречающихся в данных, показывают простые наклоны, к которым и отсылает примечание. Такая же оговорка стоит у строк прямого и общего эффекта в разложении эффектов на вкладке Расширенный

При категориальных предикторах примечание Опорные категории перечисляет уровень, с которым сравнивается каждый из них — см. опорную категорию.

Форест-график коэффициентов. Выводится под таблицей: по строке на каждый член с оценкой и доверительным интервалом. Если включён флажок экспоненцированных коэффициентов, график строится в шкале отношений семейства (OR ⁄ RRR ⁄ IRR, по логарифмической оси), иначе — в исходной шкале. Опорная линия проходит через значение, означающее отсутствие эффекта (1 в шкале отношений, 0 в исходной), и члены, интервал которых её не пересекает, выделены цветом. Значимость определяется по самому нарисованному интервалу, поэтому цвет никогда не расходится с усами. У линейной модели над графиком есть переключатель Шкала коэффициентов, который по умолчанию стоит на β везде, где стандартизованная повторная подгонка дала интервалы, а под графиком выводится уравнение подогнанной модели.

Пороги (свободные члены). Вторая таблица порядковой модели — точки разреза между соседними категориями на латентной шкале. Столбец Порог называет пару категорий, которые разделяет строка (low | medium), а столбцы оценки, SE, z, p и ДИ понимаются так же, как в таблице коэффициентов. Столбец интерпретации лишь сообщает, лежит ли точка разреза ниже начала латентной шкалы или на нём и выше, и о значимости ничего не утверждает — см. пороги.

p-значение точки разреза — не результат. Нуль латентной шкалы выбран по соглашению, чтобы модель была идентифицируема, поэтому «отличается от нуля» описывает соглашение, а не переменную — см. пороги.

Коэффициенты по уровням исхода. Коэффициенты мультиномиальной модели, по таблице на каждый уровень исхода. Заголовок каждой таблицы — Исход (этот уровень) vs. опорный исход, названный над таблицами. Если включён флажок экспоненцированных коэффициентов, добавляются RRR и его интервал — см. мультиномиальную логистическую регрессию.

Коэффициенты счётного уравнения. Первая таблица двухчастной модели — уравнение счёта. Экспоненцированные коэффициенты в ней — отношения интенсивностей (IRR) — см. двухчастные счётные модели.

Коэффициенты нулевого уравнения. Вторая таблица — логистическое уравнение нулей. Экспоненцированные коэффициенты в ней — отношения шансов (OR), а знак в двух семействах означает противоположное. Примечание над таблицей уточняет, о каком событии это уравнение — см. двухчастные счётные модели.

Таблица ANOVA #

ANOVA. Таблица по членам модели, которую добавляет флажок Таблица ANOVA: по одному общему критерию на член, сколько бы строк контрастов он ни занимал в таблице коэффициентов, а у линейной модели ещё и строка Остаток — см. таблицу ANOVA.

Список Тип ANOVA под флажком определяет, с поправкой на какие члены проверяется каждая строка:

• Тип I (последовательный) — каждый член проверяется с поправкой только на члены, введённые до него. Поэтому таблица меняется при смене порядка ввода, а вклады членов в сумме дают вклад всей модели
• Тип II (каждый член при учёте тех, которые его не содержат) — по умолчанию: главный эффект проверяется без учёта содержащих его взаимодействий
• Тип III (каждый член при учёте всех остальных) — с учётом и тех взаимодействий, в которые входит член, поэтому главный эффект оценивается там, где взаимодействующие с ним члены равны нулю. Для этой таблицы модель заново подгоняется с контрастами, сумма которых равна нулю. Благодаря этому главный эффект фактора становится средним по его уровням, а не эффектом на опорном уровне. У числового предиктора нуль остаётся его собственным нулём, который может лежать вне наблюдаемого диапазона

Столбцы:

• Член — член модели в этой строке либо Остаток в последней строке таблицы линейной модели: вариация, не объяснённая ни одним членом, с её df и средним квадратом, который служит знаменателем каждого F — см. член и остаток
• SS, df и MS — суммы квадратов линейной модели, их степени свободы и средние квадраты SS ⁄ df. При робастной ковариационной матрице столбцы SS и MS не выводятся, поскольку разложение для неё не определено, а у семейств ОЛМ их нет никогда — см. сумму квадратов
• F или χ² — критерий для члена: F по суммам квадратов для линейной модели, χ² отношения правдоподобия для ОЛМ, порядковой и мультиномиальной моделей, χ² Вальда при методе Фёрта, F или χ² Вальда по скорректированной матрице при робастной ковариационной матрице. Примечание под таблицей называет тип и использованный способ оценки
• p — p-значение члена. Для категориального предиктора это единственная проверка предиктора в целом
• η²p — частная эта-квадрат, только для линейной модели: вклад члена как доля той вариации, которую не объяснили остальные члены, $\text{SS}/(\text{SS}+{\text{SS}}_{\text{residual}})$. Это размер эффекта для члена с несколькими степенями свободы, которого по β отдельного коэффициента не оценить — см. частную эта-квадрат

Какой тип выбрать? Если в модели нет взаимодействий, типы II и III совпадают и вопрос не возникает. Если взаимодействие есть, тип II мощнее, когда оно пренебрежимо мало, а тип III позволяет интерпретировать главные эффекты и при наличии взаимодействия. Тип I отвечает на другой вопрос: что добавляет каждый член в порядке ввода — см. тип сумм квадратов.

Корреляции (только линейная) #

Корреляции. Таблица, которую у линейной модели добавляют флажки Нулевые корреляции и Частные и получастные корреляции, по строке на каждый член, кроме константы и неоцениваемых членов — см. несколько предикторов.

• Нулевого порядка (r) — простая корреляция предиктора с исходом без учёта остальных предикторов — см. корреляцию нулевого порядка
• Частная — корреляция исхода и предиктора, когда влияние остальных предикторов исключено из обеих переменных — см. частную корреляцию
• Получастная (sr) — влияние остальных предикторов исключено только из предиктора, поэтому её квадрат — уникальная доля предиктора в R² — см. получастную корреляцию
• Интерпретация (нулевого порядка) — сила связи по шкале корреляций. Если есть столбец нулевого порядка, интерпретация дана по нему, иначе столбец называется Интерпретация (частная) и опирается на частную корреляцию. Если конечного значения нет, в строке стоит Оценить невозможно

Диагностика коллинеарности #

Диагностика мультиколлинеарности. VIF и толерантность для каждого члена подогнанной модели, у каждого — интерпретация по порогам VIF (по умолчанию умеренная коллинеарность от 5, высокая от 10) — см. мультиколлинеарность.

• VIF — коэффициент увеличения дисперсии: во сколько раз дисперсия коэффициента больше, чем была бы при некоррелированном предикторе. Уровни категориального предиктора сводятся в одну строку GVIF, масштабированную так, чтобы её можно было оценивать по тем же порогам, что и обычный VIF — см. VIF
• Толерантность — 1 ⁄ VIF, доля дисперсии члена, которую не объясняют остальные члены — см. толерантность

VIF вычисляются по матрице плана, перестроенной из центрированных числовых предикторов, поэтому член взаимодействия не наследует коллинеарность со своими исходными переменными. Для нелинейных семейств VIF берутся из ковариационной матрицы самой модели, а не из плана МНК, кроме мультиномиальной и двухчастных моделей. Если член нельзя отделить от остальных (пустая категория, неоцениваемый член), VIF у него нет, и в строке стоит Оценить невозможно, а не максимальная коллинеарность.

Высокий VIF — что делать? Коэффициенты несмещены, но их стандартные ошибки завышены: модель не ошибочна, просто отдельные эффекты трудно разделить. Удалите или объедините коррелированные предикторы, центрируйте переменные, входящие во взаимодействие, или интерпретируйте члены совместно — см. мультиколлинеарность.

Диагностика остатков #

Диагностика остатков. По строке на каждый критерий со статистикой, p-значением и интерпретацией, затем графики остатков. Критерии проверяются на уровне значимости для проверки допущений, а не на основном. Набор критериев зависит от семейства, как и указывает подпись флажка — см. проверку регрессии.

• Шапиро — Уилк (нормальность) — для линейной модели: W по исходным остаткам. Если остатков больше 5000, критерий выполняется на случайной подвыборке из 5000, и примечание сообщает, по скольким остаткам получен вывод — см. нормальность остатков
• Дарбин — Уотсон (автокорреляция) — для линейной модели: двусторонний критерий, так что значение DW больше 2 тоже может указывать на отрицательную автокорреляцию. Если критерий значим, направление определяется по статистике: ниже 2 — положительная, выше 2 — отрицательная — см. критерий Дарбина — Уотсона
• Бройш — Годфри (автокорреляция) — для семейств ОЛМ и двухчастных моделей: LM-статистика первого порядка по остаткам Пирсона самой модели, сравниваемая с распределением χ² с 1 df — см. автокорреляцию
• Бройш — Паган (гетероскедастичность) — для линейной модели: растут или убывают квадраты остатков вместе с предикторами. Если критерий значим, помогает список Стандартные ошибки — см. критерий Бройша — Пагана
• Статистика — статистика критерия в этой строке (W, DW, LM или BP) со звёздочками на уровне значимости для проверки допущений
• p — p-значение критерия, выделенное относительно уровня значимости для проверки допущений. Здесь желателен незначимый результат

Примечание под таблицей напоминает, что критерий автокорреляции сравнивает каждый остаток с остатком предыдущей строки. Поэтому он информативен только там, где порядок строк задаёт последовательность (время, место, порядок измерений), а на неупорядоченных данных отражает случайный порядок строк в файле. В разделе Стандартные ошибки то же сказано о методе Ньюи — Уэста.

График Q-Q остатков. Упорядоченные внутренне стьюдентизированные остатки против квантилей нормального распределения, с опорной линией и доверительной полосой. Если точки лежат вдоль линии, остатки распределены нормально, а систематический изгиб на концах указывает на асимметрию или тяжёлые хвосты. Подпись к графику напоминает, что критерий выше проверяет исходные остатки, а на графике показаны стьюдентизированные — см. график Q-Q и стандартизованный остаток.

Остатки против предсказанных значений. Диаграмма рассеяния рядом с ним, по исходным остаткам: остатки против предсказанных значений со сглаживанием LOWESS и пунктирной линией на нуле, вокруг которой остатки правильно заданной модели разбросаны равномерно. Изгиб означает нелинейность, о которой сообщает значимый тест RESET, и показывает, где именно она возникает. Расширяющийся или сужающийся клин означает гетероскедастичность, которую проверяет критерий Бройша — Пагана, и тоже показывает её место. Нелинейные семейства строят диаграмму, которая соответствует их подгонке: Девиансные остатки против линейного предиктора для биномиальной, пуассоновской и отрицательной биномиальной модели (эту пару использует диагностика ОЛМ в R) и Остатки Пирсона против ожидаемого числа для двухчастных моделей (это единственная шкала, общая для обоих их уравнений) — см. график остатков.

Если остатков больше 5000, оба графика показывают подвыборку, прореженную по рангам (каждая точка стоит на месте своего ранга в полной выборке), и сообщают об этом. При таком объёме примечание также предупреждает, что критерии Шапиро — Уилка и Бройша — Пагана отвергают гипотезу из-за отклонений, слишком малых, чтобы повлиять на коэффициенты, и что судить о допущениях нужно по графикам. Если модель воспроизводит отклик почти точно, остатки состоят из погрешности округления, и критерии, статистики влияния и графики сообщают об этом вместо того, чтобы выносить заключения по ошибкам округления.

Смотрите на график, а не только на критерий. Мощность критерия нормальности растёт с объёмом выборки, поэтому на нескольких тысячах строк он замечает отклонения, слишком малые, чтобы иметь значение. График Q-Q показывает, как именно и насколько остатки отклоняются от нормальности, а это и есть главный вопрос — см. критерий Шапиро — Уилка.

Статистики влияния #

Статистики влияния. Какие наблюдения сильнее всего влияют на подгонку. Для каждой меры выводятся её крайнее значение и номер наблюдения, а затем число наблюдений за общепринятым порогом этой меры (сам порог указан в строке и вычислен по рангу модели p и объёму выборки n, на которой она подогнана) с номерами до десяти наблюдений — см. влияние.

• D Кука (макс.) — наибольшее расстояние Кука: насколько сдвигаются все предсказанные значения, если удалить это наблюдение — см. расстояние Кука
• D Кука > 1 (n) — число наблюдений за классическим порогом и их номера
• D Кука > 4/(n−p) (n) — наблюдения за порогом, зависящим от объёма выборки и числа параметров. Этот порог срабатывает и на больших выборках, где D > 1 не бывает никогда. Если за ним нет ни одного наблюдения, это действительно обнадёживает. Если за ним много наблюдений, но ни одного за 1, влияние распределено между многими наблюдениями и ни одно не доминирует
• Рычаг (макс.) — наибольшее диагональное значение матрицы проекции: насколько необычно наблюдение по значениям предикторов — см. рычаг
• Рычаг > 2p/n (n) — наблюдения выше общепринятого порога рычага
• |DFFITS| (макс.) — наибольшее изменение предсказанного значения наблюдения при его удалении, в единицах стандартной ошибки, с интерпретацией: достигает ли оно порога — см. DFFITS
• |DFFITS| > 2·√(p/n) (n) — наблюдения за этим порогом
• COVRATIO (диапазон) — наименьшее и наибольшее значения COVRATIO: насколько наблюдение повышает или снижает точность оценки коэффициентов, с интерпретацией: выходит ли диапазон за допустимые границы — см. COVRATIO
• COVRATIO вне 1 ± 3p/n (n) — наблюдения за этими границами
• Наибольший |стьюдентизированный остаток| — статистика критерия выбросов: наибольший внешне стьюдентизированный остаток и номер его наблюдения. В ОЛМ строка называется Наибольший |джекнайф-девиансный остаток| — см. стьюдентизированный остаток
• p выброса с поправкой Бонферрони — p-значение этого остатка, умноженное на число наблюдений, поскольку выбран наибольший из n остатков. Интерпретация на уровне значимости для проверки допущений различает два вывода: «наблюдение экстремальнее, чем допускает подогнанная модель» и «ни одно наблюдение не экстремальнее, чем допускает объём выборки» — см. поправку Бонферрони
• Критерий выбросов — так называется строка, если критерий выполнить не удалось (слишком мало остаточных степеней свободы или нет ни одного конечного стьюдентизированного остатка). В ней стоит Не вычислено

В ОЛМ эти меры — одношаговые приближения по весам IRLS подгонки, а критерий выбросов сравнивает приближённые джекнайф-девиансные остатки с нормальным распределением, а не с t, о чём сообщает примечание под таблицей. Строки DFFITS и COVRATIO выводятся только для семейств, где эти меры определены.

Веса наблюдений. Этот раздел робастная модель выводит при том же флажке. У MM-подгонки нет мер с исключением по одному наблюдению, а веса наблюдений показывают, какой вклад позволено внести каждой строке: 1 — полный вес, а строка считается отвергнутой, как только её вес падает ниже порога выбросов самой подгонки. Каждая строка таблицы сравнивается с сигнальными границами пакета robustbase — см. вес наблюдения.

• Средний вес наблюдения — средний вес. Если он ниже границы, заданной для оценки, выводится предупреждение: подгонка, уменьшившая вес почти всей выборки, может не описывать её основную часть
• Квартили весов наблюдений — первый квартиль, медиана и третий квартиль весов
• Наименьший вес наблюдения — строка с наименьшим весом и её номер
• Отвергнуто (вес ≈ 0) (n) — строки, которые подгонка исключила полностью. Если их доля превышает границу, заданную для оценки, выводится предупреждение: подгонка в этом случае описывает меньшинство выборки
• Вес ниже 0.5 (n) — строки, учтённые с весом меньше половины

Какая диагностика что показывает? У выброса необычен исход, у точки с высоким рычагом — значения предикторов, а D Кука, DFFITS и COVRATIO по-разному измеряют, как то и другое вместе сказывается на подгонке. Опасные наблюдения обычно отмечены сразу несколькими мерами — см. влиятельные точки.

Удалять ли влиятельное наблюдение? Не автоматически. Выясните, почему оно влиятельно (ошибка ввода или действительно крайнее значение), и подгоните модель без него, чтобы увидеть, насколько это меняет результат — см. выбросы в модели.

Критерии адекватности #

Соответствие модели данным. Воспроизводит ли модель данные, на которых она подогнана. Это одна таблица «показатель — значение», строки которой зависят от семейства: критерий спецификации для линейной модели, два критерия калибровки для биномиальной, точность классификации для порядковой и мультиномиальной и тест Бранта для порядковой, критерии дисперсии для счётных семейств, сравнение числа нулей для двухчастных моделей. Если интерпретация включена, под каждым критерием есть строка с ней. Нулевая гипотеза каждого критерия здесь — сама модель, поэтому обнадёживает незначимый результат, и оценивается он на уровне значимости для проверки допущений. Исключение — критерий точности классификации: его значимый результат свидетельствует в пользу модели, поэтому он оценивается на основном уровне. Если критерий выполнить не удалось, под таблицей указана причина, а сам он не исчезает. Для робастной и квантильной моделей и при регуляризованном оценивании карточка не выводится, а в расширенном режиме (анализ путей) она называется Соответствие модели зависимой переменной данным.

Критерий спецификации (линейная) #

• Тест RESET — критерий ошибки спецификации Рамсея: модель подгоняется заново с добавленными квадратами и кубами предсказанных значений, а F-статистика RESET с df RESET и p-значением RESET показывает, объясняют ли они что-то сверх линейных членов. Если объясняют, в модели есть изгиб, и где он проходит, видно на графике остатков против предсказанных значений. Интерпретация в этом случае — Модель может быть неверно специфицирована (рассмотрите нелинейные члены) — см. тест RESET

Критерии калибровки (биномиальная) #

Два критерия, отвечающие на один вопрос: совпадают ли предсказанные вероятности с наблюдаемыми частотами? Они выводятся рядом, а примечание сообщает, согласуются ли их выводы на уровне значимости для проверки допущений, и если нет, к чему чувствителен каждый — см. калибровку.

• Критерий Хосмера — Лемешова — наблюдения упорядочиваются по предсказанному риску и делятся на g групп, и в каждой группе наблюдаемое число положительных исходов сравнивается с суммой предсказанных вероятностей. Выводятся χ² Хосмера — Лемешова, df Хосмера — Лемешова (число групп минус 2) и p-значение Хосмера — Лемешова с интерпретацией. Если R пришлось уменьшить число групп, строка Число интервалов Хосмера — Лемешова (g) показывает фактическое число рядом с запрошенным, поскольку вывод критерия зависит от этого числа — см. критерий Хосмера — Лемешова
• Критерий ле Сесси — ван Хаувелингена — тот же вопрос, но по отдельным наблюдениям, без групп и без настраиваемых параметров. Сумма квадратов остатков (наблюдаемая / ожидаемая) сопоставляет сумму квадратов расхождений между исходами и вероятностями с её ожидаемым значением при верной модели, z ле Сесси — ван Хаувелингена — стандартизованная разность, а p-значение ле Сесси — ван Хаувелингена — её двустороннее p с интерпретацией

Любой из критериев может оказаться не незначимым, а неопределённым, и карточка называет причину. Если у модели мало предикторов и все они категориальные, различных предсказанных вероятностей может быть меньше трёх, и группы нельзя образовать ни при каком g. У насыщенной модели, где параметров столько же, сколько различных вероятностей, не остаётся остаточной вариации, которую мог бы оценить критерий ле Сесси.

Точность классификации (порядковая и мультиномиальная) #

Для категориального исхода карточка оценивает модель как классификатор: каждому наблюдению приписывается уровень с наибольшей предсказанной вероятностью, и эти предсказания сравниваются с наблюдаемыми уровнями. Все расчёты ведутся на обучающей выборке, то есть модель проверяется на тех же наблюдениях, на которых подогнана, о чём сообщает примечание под блоком. Оценку вне выборки даёт AUC по перекрёстной проверке.

• Точность классификации — доля наблюдений, которым приписан их наблюдаемый уровень — см. точность классификации
• Базовая точность (доля наибольшего класса) — точность предсказания, которое всегда называет самый частый уровень. Модель должна превзойти этот порог, чтобы её собственная точность что-то значила — см. базовую точность
• Точность > базовой точности (p) — односторонний точный биномиальный критерий, сравнивающий число верных предсказаний с этим порогом. Интерпретация в строке Интерпретация точности — Точность выше, чем при постоянном предсказании наибольшей категории либо не выше
• Матрица ошибок — таблица сопряжённости под строками: в столбцах наблюдаемые уровни, в строках уровень, приписанный моделью (Предсказано). Каждый уровень есть и в строках, и в столбцах, даже если модель его ни разу не предсказала, поэтому уровень, от которого модель фактически отказалась, виден как пустая строка, а не пропадает — см. матрицу ошибок
• Качество классификации по категориям — под матрицей по три числа на каждый наблюдаемый уровень (столбец Категория). Уровень, приписываемый моделью слишком часто, и уровень, хорошо ею распознаваемый, могут иметь одинаковую общую точность, и примечание под таблицей объясняет, как их различить
• Полнота (верно классифицировано) — доля наблюдений уровня, которые модель распознала, то есть чувствительность для этого уровня
• Точность (PPV) — доля наблюдений, отнесённых моделью к уровню, которые действительно ему принадлежат, то есть его положительная прогностическая ценность
• F1 — среднее гармоническое полноты и точности (PPV), так же как F1 в таблицах ROC — среднее гармоническое PPV и чувствительности — см. F1

Почему общей точности недостаточно: при несбалансированном исходе модель получает высокую точность, всегда предсказывая частый уровень, и это обнаруживает сравнение с базовой точностью. Полнота и точность (PPV) по категориям показывают, какие уровни модель приписывает слишком часто, а матрица — какими уровнями названы ошибочно классифицированные наблюдения — см. матрицу ошибок.

Допущение пропорциональности шансов (тест Бранта) #

• Допущение пропорциональности шансов (тест Бранта) — проверка того, что эффект каждого предиктора в порядковой модели одинаков на всех границах между соседними уровнями. Модель заново подгоняется как набор бинарных кумулятивных разбиений, который она подразумевает, и для каждого предиктора χ² Вальда с df проверяет, совпадают ли наклоны в этих разбиениях. Строка Все предикторы даёт общий критерий по всему набору. Строка, значимая на уровне значимости для проверки допущений, указывает член, единому отношению шансов которого нельзя доверять, а общая строка показывает, затронута ли модель в целом. Ни то ни другое не делает подгонку недействительной. Критерию нужны три уровня исхода и хотя бы один предиктор, а если какое-либо разбиение не сошлось, причина указывается под таблицей — см. пропорциональность шансов и тест Бранта

Что делать при нарушении? Нарушение по одному предиктору из нескольких встречается часто и нередко допустимо, а близкие значения AUC по точкам отсечения в разделе Классификационный анализ (ROC) показывают, что вред от него невелик. Если нарушение существенно, мультиномиальная модель обходится без этого допущения, но ценой гораздо большего числа параметров — см. тест Бранта.

Критерии дисперсии (пуассоновская и отрицательная биномиальная) #

Два критерия χ², проверяющих, разбросаны ли наблюдаемые значения счёта вокруг предсказанных значений так, как предполагает семейство, каждый со своей строкой df, и отношение, по которому выбирают между двумя семействами — см. дисперсию.

• Ожидаемые частоты меньше 5 — доля предсказанных значений счёта меньше 5 и наименьшее из них. Оба критерия ниже сравниваются с распределением, к которому статистика приближается по мере роста предсказанных значений. Поэтому, если малых значений больше пятой части, карточка не выводит интерпретацию критериев, а примечание предупреждает, что ни одно p-значение нельзя считать выводом о соответствии модели данным
• Девианс — остаточный девианс с его степенями свободы (df девианса), p-значением девианса и интерпретацией — см. девианс
• χ² Пирсона — сумма квадратов остатков Пирсона с теми же степенями свободы (df χ² Пирсона), p-значением χ² Пирсона и интерпретацией — см. остатки Пирсона
• Дисперсия по Пирсону (χ²/df) — χ² Пирсона, делённый на число степеней свободы. Если разброс в модели задан верно, отношение близко к 1. Интерпретация в строке Интерпретация дисперсии: ниже 0.8 — недостаточная дисперсия, выше 1.2 — избыточная — см. дисперсию
• Скор-тест на избыточную дисперсию — только для модели Пуассона: регрессионный критерий Камерона и Триведи, сравнивающий пуассоновскую дисперсию с отрицательной биномиальной. Выводятся z скор-теста на избыточную дисперсию и двустороннее p-значение скор-теста на избыточную дисперсию. Значимое положительное z — повод перейти к отрицательной биномиальной модели или, если избыток сосредоточен в нулях, к двухчастной модели. Значимое отрицательное z означает, что значения счёта разбросаны меньше, чем предполагает распределение Пуассона, и тогда p-значения консервативны, но не ошибочны — см. избыточную дисперсию
• θ отрицательного биномиального распределения — только для отрицательной биномиальной модели: оценка параметра формы с SE для θ. Чем меньше θ, тем больше разброс сверх пуассоновского. Это не то же число, что отношение дисперсии строкой выше: у отрицательной биномиальной модели, хорошо соответствующей данным, отношение близко к 1 именно потому, что избыток поглощён параметром θ. Поэтому θ = 4.1 рядом с дисперсией 1.0 — нормальная картина, а не противоречие — см. отрицательную биномиальную регрессию

Сравнение по нулям (двухчастные семейства) #

Двухчастные модели нужны, чтобы ответить на вопрос, помогает ли отдельное моделирование нулей. Ответ даёт сравнение с аналогичной моделью из одного уравнения: та же формула счёта и то же распределение, но без уравнения нулей — см. избыток нулей.

• Наблюдено нулей — у скольких наблюдений счёт равен нулю
• Нулей предсказано этой моделью — ожидаемое число нулей по подогнанной модели, то есть сумма вероятностей нуля по всем наблюдениям
• Нулей предсказано без нулевого уравнения — ожидаемое число нулей по модели из одного уравнения. У барьерной модели смотреть нужно именно эту строку: барьерная модель воспроизводит наблюдаемое число нулей по построению, поэтому первые две строки совпадают, как бы хорошо модель ни соответствовала данным, о чём сообщает примечание под таблицей
• Избыток нулей — интерпретация: Модель из одного уравнения недооценивает число нулей, если ожидаемое ею число нулей меньше наблюдаемого на десятую часть и более, иначе — уже воспроизводит число нулей — см. избыток нулей
• ΔAIC относительно модели из одного уравнения и ΔBIC относительно модели из одного уравнения — критерий модели из одного уравнения минус критерий этой модели, так что положительное значение свидетельствует в пользу этой модели — см. AIC и BIC
• Выбор модели — интерпретация по ΔAIC: при значении больше 2 — Двухчастная модель соответствует данным лучше, чем модель из одного уравнения, меньше −2 — Предпочтительна модель из одного уравнения, в промежутке — Ни одна из моделей не имеет явного преимущества. p-значения здесь нет, и примечание под таблицей объясняет почему. Модель из одного уравнения — это та же модель на границе пространства параметров, где ни критерий отношения правдоподобия, ни критерий Вуонга не имеют заявленного нулевого распределения. Поэтому информационные критерии упорядочивают две модели, не утверждая значимости различия
• Сравнение с моделью из одного уравнения — так называется блок под таблицей, если модель из одного уравнения подогнать не удалось. Рядом приводится причина, названная R

Далее следуют строки Дисперсия по Пирсону (χ²/df) и θ отрицательного биномиального распределения, как у счётных моделей, но по остаткам Пирсона и распределению счёта самой двухчастной модели.

Классификационный анализ (ROC) #

Классификационный анализ (ROC). Оценивает биномиальную, мультиномиальную или порядковую модель как классификатор, одинаково при классическом и регуляризованном оценивании. Сначала проверяется, насколько хорошо предсказанные вероятности разделяют наблюдаемые исходы сразу при всех возможных порогах. Затем по заданному правилу выбирается порог, и качество модели при нём сводится в таблицу. Вид результата зависит от семейства: одна кривая для биномиального исхода, K кривых «один против остальных» для мультиномиального, K−1 кривых по точкам отсечения для порядкового (в том числе для порядкового исхода с двумя уровнями). Анализ работает и в расширенном режиме (анализ путей) — см. классификацию с помощью модели.

Почему не фиксированный порог 0.5? При пороге 0.5 пропущенный положительный случай и ложная тревога считаются одинаково плохими, а частота положительных исходов не учитывается. Поэтому модуль перебирает все пороги и выбирает один по правилу — см. порог классификации.

Настройки #

В группе Диагностика раздела Дополнительные статистики, если выбран биномиальный, мультиномиальный или порядковый тип регрессии:

• Классификационный анализ (ROC) — флажок, который добавляет на карточку этот раздел. Настройки ниже появляются после его включения
• Правило выбора оптимального порога — как на кривой выбирается порог:
  • J Юдена (макс. чувств. + специф. − 1) — по умолчанию: порог, при котором сумма чувствительности и специфичности минус 1 максимальна. Обе ошибки считаются одинаково дорогими — см. J Юдена
  • Ближайший к (0, 1) — точка кривой, ближайшая к углу идеального классификатора
  • Взвешенный по стоимости — J Юдена, в котором две ошибки взвешены заданным ниже отношением стоимостей и используемой распространённостью, так что чем реже положительный класс, тем строже порог. Только для биномиального и порядкового исхода, поскольку у K кривых «один против остальных» нет общего отношения стоимостей. В порядковой модели одно и то же отношение применяется во всех точках отсечения, о чём сообщает примечание
• Стоимость пропущенного положительного случая относительно ложной тревоги — отношение стоимостей для взвешенного правила, не меньше 1 (3 означает, что пропустить положительный случай втрое дороже, чем поднять ложную тревогу). В таблице тогда по строке на каждое направление асимметрии, чтобы их можно было сравнить, а при значении ровно 1, когда направления совпадают, строка одна
• Метрики классификации при оптимальном пороге — добавляет таблицу чувствительности, специфичности, PPV, NPV, точности и F1 при выбранном пороге, каждый показатель с бутстрэп-интервалом, и открывает флажок распространённостей
• Распространённости классов в популяции — по полю на каждый уровень исхода, заранее заполненному долями в выборке. Эти поля нужны, чтобы PPV, NPV и точность вычислялись по частотам в популяции, а не в выборке, прежде всего для выборки «случай — контроль». Поля, которые вы не меняли, пересчитываются так, чтобы сумма была равна 1, а введённые вами остаются как есть. Можно вводить и численности классов — они будут нормированы. Доля, равная 0 или 1, отклоняется с указанием уровня. Каждое семейство берёт из этого набора то, что ему нужно: биномиальная модель — долю положительного уровня, мультиномиальная кривая «один против остальных» — долю своего класса, порядковая точка отсечения — сумму долей выше неё. Каждая таблица, где используется распространённость, указывает, на какой основе она вычислена — см. распространённость
• Доверительный интервал AUC — интервал для каждого AUC:
  • Делонга — аналитический интервал, быстрый. Используется для биномиальной кривой и каждой точки отсечения порядковой модели и скрыт для мультиномиальной, агрегатам которой нужны бутстрэп-выборки
  • Бутстрэп — тот же интервал по бутстрэп-выборкам наблюдений, число которых задаёт настройка Повторы бутстрэпа — см. бутстрэп
• ROC-кривая — строит кривую под таблицами
• AUC по перекрёстной проверке (вне выборки) — добавляет в сводную таблицу столбцы с оценками вне выборки: модель заново подгоняется без каждого блока по очереди, и оцениваются предсказания для отложенного блока. В регуляризованной подгонке λ заново подбирается внутри каждого обучающего блока, если не задана вручную, поэтому это самый медленный вариант на карточке — см. AUC по перекрёстной проверке
• Число блоков (k) — на сколько блоков делятся наблюдения в каждом повторении, со стратификацией по уровню исхода, по умолчанию 10. В каждом уровне должно быть не меньше k наблюдений
• Повторения — сколько раз наблюдения заново делятся на блоки, по умолчанию 10. Каждое повторение даёт одну оценку модели, и в отчёт идёт их среднее

Когда задавать распространённости в популяции? Чувствительность и специфичность не зависят от того, насколько часто встречается исход, а PPV, NPV и точность зависят. Поэтому, если базовая частота в выборке не такая, как в популяции (например, 200 случаев и 200 контролей для заболевания, которое встречается у 2% людей), эти три показателя непригодны для практического применения, пока не введены реальные частоты. На AUC это не влияет — см. распространённость.

Биномиальный вывод #

Сводная строка, примечание о происхождении чисел, таблица порогов (если включён её флажок) и кривая:

• AUC — площадь под ROC-кривой, то есть вероятность того, что случайный положительный случай получит более высокую оценку, чем случайный отрицательный: 0.5 соответствует угадыванию, 1 — идеальному разделению. Интервал, выбранный в списке Доверительный интервал AUC, приводится в столбце {level}% ДИ — см. AUC
• Оценка Брайера — среднеквадратическая ошибка предсказанных вероятностей относительно исходов 0/1. Чем она меньше, тем лучше. AUC оценивает ранжирование, а оценка Брайера — сами вероятности — см. оценку Брайера
• Относительная оценка Брайера — оценка Брайера, пересчитанная относительно предсказания, которое всегда равно базовой частоте в выборке: 0 — не лучше этого предсказания, 1 — идеальная модель, ниже 0 — хуже базовой частоты. Именно её стоит сравнивать между исходами разной редкости, поскольку сама оценка Брайера уменьшается по мере того, как положительные исходы становятся реже, о чём сообщает примечание под таблицей — см. относительную оценку Брайера
• N (положительные / отрицательные) — число оценённых наблюдений и сколько наблюдений каждого класса стоит за кривой
• CV AUC — при включённой перекрёстной проверке: среднее значение AUC по отложенным блокам, усреднённое по повторениям. Это корректная оценка качества, а её отставание от AUC на обучающей выборке и есть переобучение — см. AUC по перекрёстной проверке
• Доверительный интервал CV — столбец CV {level}% ДИ: настоящий доверительный интервал для AUC по перекрёстной проверке, построенный по функции влияния этой оценки и расширенный на разброс между повторениями. Он описывает выборочную неопределённость, то есть насколько изменился бы результат на другой выборке того же объёма. Такой интервал есть у каждого AUC на карточке и у каждого простого среднего из AUC: у AUC биномиальной модели, у AUC по классам мультиномиальной модели и их макро-среднего, у AUC по точкам отсечения порядковой модели и их среднего
• Оценка Брайера CV — оценка Брайера по перекрёстной проверке, среднее по всем объединённым предсказаниям для отложенных блоков
• Точность Монте-Карло для оценки Брайера — интервал для неё. Такой же столбец Точность Монте-Карло есть у всех остальных строк перекрёстной проверки, кроме AUC: у микро-среднего, M Хэнда — Тилла, D Сомерса и тау-c Кендалла. Он показывает, насколько значение меняется между повторениями разбиения на блоки на одном и том же наборе данных. С ростом числа Повторений он сужается и никак не отражает выборочную изменчивость данных, поэтому доверительным интервалом не является и выводится в отдельном столбце

Примечание под таблицей сообщает, откуда взялись числа. Столбцы по обучающей выборке оптимистичны и остаются такими и при включённой перекрёстной проверке, поскольку по-прежнему вычислены на тех же данных. Примечание называет также метод построения интервала AUC и напоминает, что нарисованная кривая и AUC в её легенде тоже получены на обучающей выборке. При включённой перекрёстной проверке указываются число блоков, число выполненных повторений и число наблюдений, оценённых вне выборки.

На обучающей выборке или с перекрёстной проверкой? В качестве оценки приводите CV AUC с его доверительным интервалом CV, а точность Монте-Карло понимайте только как ответ на вопрос «насколько результат зависел от случайного разбиения на блоки?» — см. AUC по перекрёстной проверке.

В таблице порогов (если включён её флажок) по строке на каждый порог, найденный правилом: один для J Юдена и ближайшей к углу точки, два для взвешенного правила. В каждой ячейке оценка и в скобках процентильный бутстрэп-интервал. Порог выбирается заново в каждой стратифицированной бутстрэп-выборке, поэтому интервал учитывает неопределённость и выбора порога, и самого показателя. Эти показатели остаются внутривыборочными, даже если AUC выше получен перекрёстной проверкой, о чём сообщает примечание под таблицей. Оно же называет правило выбора порога и распространённость, по которой вычислены частоты.

• Более тяжёлая ошибка — при взвешенном правиле: ошибка, которой старается избежать порог этой строки, Пропуск положительного или Ложная тревога, по строке на каждое направление
• Порог — вероятность, выше которой модель относит наблюдение к положительным, выбранная правилом
• Чувствительность — доля наблюдаемых положительных случаев, которые модель распознаёт при этом пороге — см. чувствительность
• Специфичность — доля наблюдаемых отрицательных случаев, которые модель верно относит к отрицательным — см. специфичность
• Распространённость — частота, по которой вычислены следующие три столбца: выборочная или заданная вами. Так основа расчёта видна прямо в строке, а не только в примечании — см. распространённость
• PPV — положительная прогностическая ценность: как часто модель права, когда называет случай положительным — см. PPV
• NPV — отрицательная прогностическая ценность: как часто модель права, когда называет случай отрицательным — см. NPV
• Точность — доля верно классифицированных наблюдений при этом пороге и этой распространённости — см. точность классификации
• F1 — среднее гармоническое PPV и чувствительности. Это показатель для несбалансированного исхода, где точность определяется в основном преобладающим классом — см. F1

ROC-кривая. По оси X — доля ложноположительных, по оси Y — доля истинно положительных исходов, диагональ соответствует случайному угадыванию. Чем сильнее кривая выгнута к левому верхнему углу, тем лучше модель различает исходы. Порог, выбранный правилом, отмечен на кривой точкой: при наведении на неё видны порог, чувствительность, специфичность, PPV, NPV, точность, а при взвешенном правиле ещё и ошибка, которой порог избегает. В легенде приводится AUC на обучающей выборке — см. ROC-кривую.

Мультиномиальный вывод #

Мультиномиальная модель даёт каждому наблюдению вектор вероятностей классов, поэтому кривая строится для каждого класса отдельно (этот класс против всех остальных), а три агрегированных показателя описывают модель в целом. При предсказании наблюдение относится к классу с наибольшей вероятностью, и результат такой классификации показывает матрица ошибок на карточке соответствия модели данным. Этот же раздел показывает, насколько каждый класс отделим от остальных, — вопрос близкий, но другой, о чём сообщает примечание под таблицей.

• Класс / агрегат — первый столбец сводной таблицы: по строке на каждый класс исхода, затем три агрегированных показателя. Если класс пришлось пропустить (нет положительных или отрицательных наблюдений), причина указывается в сноске, а класс не входит ни в кривые, ни в агрегированные показатели
• Макро-среднее — невзвешенное среднее AUC по классам: каждый класс учитывается одинаково независимо от размера, так что редкие классы весят столько же, сколько частые. Если какой-то класс выпал, подпись выглядит как Макро-среднее (X/K классов), а при перекрёстной проверке в ней оба числа, поскольку класс может сохраниться в полной подгонке, но выпасть в одном из блоков
• Микро-среднее — предсказания и метки всех классов объединяются в одну бинарную кривую. Классы взвешиваются по размеру, поэтому результат определяют самые крупные классы
• M Хэнда — Тилла (многоклассовый AUC) — среднее попарных AUC по всем парам классов, многоклассовое обобщение AUC, нечувствительное к несбалансированности классов. Это главное число для отчёта, а если важны редкие классы, рядом стоит привести макро-среднее

Столбцы AUC и {level}% ДИ понимаются так же, как в биномиальной таблице, но строятся по классам с бутстрэп-интервалом. Интервалы агрегированных показателей получены одним общим бутстрэпом наблюдений. N (положительные / отрицательные) показывает, сколько наблюдений стоит за кривой каждого класса: AUC 0.95 по 3 положительным случаям и по 300 — совсем разные утверждения. Столбцы перекрёстной проверки устроены так же, как в биномиальной таблице: у строк по классам и у макро-среднего доверительный интервал CV, у микро-среднего и M Хэнда — Тилла — точность Монте-Карло.

Многоклассовая оценка Брайера. Строка под таблицей: квадрат ошибки, просуммированный по K вероятностям классов каждого наблюдения относительно его наблюдаемого класса и усреднённый по наблюдениям. Рядом приводится относительная оценка по сравнению с предсказанием по наблюдаемым частотам классов. Чем меньше оценка Брайера, тем лучше, а относительная оценка принимает значения от 1 через 0 (не лучше базовых частот) до отрицательных. При перекрёстной проверке далее следуют оценка Брайера по перекрёстной проверке и её точность Монте-Карло — см. оценку Брайера и относительную оценку Брайера.

• Класс — первый столбец таблицы порогов по классам, с теми же столбцами порога, что и в биномиальной таблице. Правило применяется к каждому классу по отдельности, и распространённость в каждой строке — доля этого класса, выборочная или заданная вами

ROC-кривые («один против остальных»). K цветных кривых на одном графике, по одной на класс, каждая со своим AUC в легенде и маркером порога того же цвета.

Порядковый вывод #

Порядковая модель даёт кумулятивные вероятности, поэтому кривая строится для каждой из K−1 точек отсечения между соседними уровнями: «выше уровня k» против «на уровне k или ниже». Так сохраняется упорядоченность уровней, которую подход «один против остальных» потерял бы. При предсказании наблюдение по-прежнему относится к уровню с наибольшей вероятностью, что показывает матрица ошибок. Этот же раздел показывает, насколько чётко модель разделяет исходы на каждой границе между уровнями, о чём сообщает примечание под таблицей.

• Точка отсечения / сводка — первый столбец сводной таблицы: по строке на каждую точку отсечения с подписью {outcome} > {level}, затем три сводные строки. Если все наблюдения оказались по одну сторону от точки отсечения, причина указывается в сноске, а точка не входит ни в кривые, ни в среднее. Примечание под таблицей напоминает, что две группы строк измерены в разных шкалах: AUC по точкам отсечения и их среднее — от 0.5 до 1, D Сомерса и тау-c — от −1 до 1, где 0 означает отсутствие связи
• AUC / значение — AUC для точки отсечения с интервалом Делонга или бутстрэп-интервалом в зависимости от выбранного способа либо собственная статистика сводной строки. CV AUC / значение — то же вне выборки: у строк по точкам отсечения и у среднего доверительный интервал CV, у строк согласованности — точность Монте-Карло, как в биномиальной таблице
• Средний AUC по точкам отсечения — невзвешенное среднее AUC по точкам отсечения с бутстрэп-интервалом. На каждой бутстрэп-выборке наблюдений пересчитываются сразу все K−1 кривых, поэтому интервал учитывает корреляцию между точками отсечения, построенными по одним и тем же строкам. Эта строка использует бутстрэп, даже если выбран метод Делонга, о чём сообщает примечание
• D Сомерса — ранговая согласованность между ранжирующим баллом модели и упорядоченным исходом в варианте D_xy: разность числа согласованных и несогласованных пар, делённая на число пар, различающихся по исходу. Поэтому $D=2\text{AUC}-1$, и значение сопоставимо со строками AUC. Интервал получен тем же бутстрэпом наблюдений, что и для среднего
• тау-c Кендалла — ранговая корреляция с поправкой на совпадения в порядковом исходе. Она менее чувствительна, чем тау-b, к несоответствию между непрерывным баллом и небольшим числом уровней. Интервал — бутстрэп, как выше

Ранжирующий балл для обеих строк согласованности вычисляется по предсказанным вероятностям классов, а не по латентному предиктору какого-либо пакета, поэтому классическая и регуляризованная порядковые модели дают результаты в одной шкале и одном направлении. Строка Многоклассовая оценка Брайера устроена так же, как в мультиномиальном выводе, и вычисляется по полной матрице вероятностей K классов.

Расхождение по точкам отсечения. При пропорциональных шансах AUC по точкам отсечения близки. Если они расходятся (0.85 выше одного уровня и 0.62 выше другого), модель различает уровни неодинаково по всей шкале — это тот же вывод, что даёт тест Бранта, только с другой стороны — см. пропорциональность шансов.

• Точка отсечения — первый столбец таблицы порогов по точкам отсечения, с теми же столбцами порога для каждой точки. Распространённость в каждой строке своя для точки отсечения: её выборочная частота или P(Y > level), сложенная из заданных вами долей. Взвешенное правило действует и здесь: во всех точках отсечения с одним и тем же отношением стоимостей и с обоими направлениями в каждой строке

ROC-кривые (по точкам отсечения). K−1 цветных кривых на одном графике, по одной на точку отсечения, каждая со своим AUC в легенде.

Чтение результатов — регуляризованная регрессия #

Регуляризованная регрессия. Заголовок карточки пенализованной подгонки состоит из названия метода (гребневая регрессия, LASSO, эластичная сеть или групповое LASSO) и типа регрессии, а разделы карточки идут в порядке, описанном ниже. Стандартных ошибок, p-значений и интервалов у коэффициентов нет: штраф делает классические выводы некорректными, и вместо них служат две необязательные процедуры, описанные в конце раздела — см. регуляризацию.

К ролям переменных и N в блоке информации о модели добавляются три строки:

• Члены модели — столбцы матрицы плана, по которым шла подгонка: по одному на каждый числовой предиктор и k − 1 на категориальный предиктор с k уровнями. Одноимённый столбец таблицы групп показывает, сколько из них приходится на каждый предиктор
• Ненулевые коэффициенты — сколько из этих столбцов сохранили ненулевой коэффициент при выбранной λ, то есть размер отобранной модели. Мультиномиальная модель выводит Ненулевые коэффициенты (в среднем на исход), поскольку каждое уравнение исхода отбирает свой набор, а в сводке перекрёстной проверки строка степеней свободы называет то же число Ненулевые члены (любой исход). Для гребневой регрессии строка не выводится, поскольку та ничего не отбрасывает
• Выбрано групп предикторов — для группового LASSO: предикторы, которые сохранил групповой штраф. Принудительно включённые ковариаты не учитываются, поскольку кандидатами на отбор они не были

Параметры регуляризации #

Параметры регуляризации. Штраф, с которым выполнена подгонка: в каждой строке значение и примечание о его смысле. Каждое значение λ выводится с четырьмя значащими цифрами, так что малое значение выглядит как 0.0004217, а не < 0.001, и его можно ввести обратно в поле Значение лямбды — см. λ.

• α (параметр смешивания) — доля L1 в штрафе эластичной сети и соответствующее ей соотношение (30% L1 / 70% L2). Для методов без смешивания строка называется α (гребневая) с пометкой Чистая гребневая (L2), α (LASSO) с пометкой Чистая LASSO (L1) и α (групповое LASSO) с пометкой Чистый групповой штраф — см. эластичную сеть
• λ (выбранная) — сила штрафа, при которой получены результаты карточки, и правило её выбора: Минимальная ошибка CV или Максимальный логарифм правдоподобия CV для lambda.min, Правило 1 SE (больше регуляризации) для lambda.1se, Задан пользователем для λ, заданной вручную. На графиках ниже это маркер Выбранная λ. Если λ оказалась на краю подогнанного пути, а не во внутреннем оптимуме, об этом сообщает примечание — см. Выбор лямбды
• λ (запрошенная) — при ручном выборе λ: введённое значение и рядом точка пути, по которой фактически выполнена подгонка, с пометкой, что значение привязано к ближайшей точке подогнанного пути, к его краю или лежит вне подогнанного пути, и вместо него подогнан ближайший край
• λ.min (оптимальная по CV) — λ с наилучшей оценкой перекрёстной проверки. В зависимости от семейства примечание уточняет, что она минимизирует ошибку перекрёстной проверки или максимизирует логарифм правдоподобия перекрёстной проверки. Если кривая всё ещё улучшалась, когда сетка закончилась, появляется пометка на краю подогнанного пути, а не во внутреннем оптимуме — см. λ
• λ.1se — наибольшая λ, оценка которой отстоит от наилучшей не больше чем на одну стандартную ошибку: от минимума, если оценка — ошибка, и от максимума, если это логарифм правдоподобия — см. правило 1 SE
• Ошибка CV (при выбранной λ) — оценка перекрёстной проверки при выбранной λ, среднее ± SE по блокам, и примечание с названием критерия. Для линейной модели это среднеквадратическая ошибка, для подгонок glmnet и группового LASSO — биномиальный, мультиномиальный или пуассоновский девианс, для порядковой и отрицательной биномиальной модели — логарифм правдоподобия вне выборки. В последнем случае строка называется Логарифм правдоподобия CV (при выбранной λ), и чем больше значение, тем лучше — см. перекрёстную проверку

Соответствие регуляризованной модели #

Раздел Соответствие модели состоит из одной строки, поскольку все движки сообщают одну и ту же величину под названием, принятым для семейства. Если включена интерпретация, рядом выводится и она, а если движок это позволяет, выводится также Нулевой девианс — см. соответствие модели.

• R² (отношение девиансов) — доля объяснённой дисперсии для линейной модели, интерпретация по шкале Коэна. У биномиальной, мультиномиальной и порядковой моделей строка называется R² Мак-Фаддена (отношение девиансов) — это та же величина, но с интерпретацией по шкале Мак-Фаддена. У счётных моделей строка называется просто Отношение девиансов (псевдо-R²) — см. псевдо-R² и R² Мак-Фаддена

Коэффициенты порядковой модели приводятся в соглашении о знаках MASS::polr, как и на классической карточке, так что в обоих случаях положительный коэффициент повышает шансы более высокой категории, и карточка содержит то же поясняющее примечание. Пороги выводятся в отдельной таблице Пороги (свободные члены), где есть только оценка.

Устойчивость отбора #

Устойчивость отбора. Необязательная повторная подгонка модели на случайных половинах выборки, показывающая, как часто каждый член остаётся в модели. Результат выводится в столбце Частота отбора таблицы коэффициентов, а при групповом LASSO — и таблицы групп, где штраф принимает решение по предикторам. Процедура доступна для всех методов, которые могут исключить член, то есть не для гребневой регрессии и не для эластичной сети с α = 0. По умолчанию она выключена, поскольку добавляет B (или 2B) подгонок к самому медленному расчёту модуля. Ход расчёта показывается по каждой подвыборке, а кнопка Отмена срабатывает между подгонками — см. устойчивость отбора.

• Устойчивость отбора (подвыборки) — флажок на карточке Одиночный регрессионный анализ рядом с настройками лямбды
• Подвыборки — какая из двух схем выполняется:
  • Половины выборки — подвыборки по Майнсхаузену и Бюльману: B случайных половин, на каждой модель заново подгоняется при λ, выбранной на полной выборке, и член засчитывается, если его коэффициент снова ненулевой. Так измеряется воспроизводимость отбора, и стоит это B подгонок. Для классификационных семейств выборка стратифицируется по категориям исхода, так что ни одна половина не теряет класс
  • Дополняющие пары (контроль ошибок) — уточнение Шаха и Сэмворта: B разбиений выборки на половину и её дополнение, обе части подгоняются заново, а член засчитывается, если он ненулевой хотя бы в одной точке пути λ вплоть до выбранной λ. Подгонок вдвое больше, зато есть оценка того, сколько членов выше порога можно считать шумом — см. контроль ошибок по дополняющим парам
• Число подвыборок (B) — сколько половин или пар строится, от 10 до 500, по умолчанию 50
• Порог (π) — только для дополняющих пар, от 0.55 до 0.99, по умолчанию 0.75: частота отбора, начиная с которой член считается отобранным процедурой. Именно для этого множества строится оценка
• Частота отбора — столбец, добавляемый обеими схемами: доля успешных повторных подгонок, в которых коэффициент в этой строке остался ненулевым, в целых процентах. При схеме пар строки с частотой не ниже π выделены цветом. У константы, порога порядковой модели и принудительно включённой ковариаты стоит «–», поскольку исключить их не могли. Примечание сообщает, сколько подвыборок или пар подогнать не удалось (в долю они не входят)

При дополняющих парах над таблицами выводится блок Устойчивость отбора с параметрами расчёта и оценкой:

• Дополняющие пары — сколько пар подогнано полностью. Примечание указывает число повторных подгонок и размер каждой половины
• Члены-кандидаты — члены, которые штраф действительно мог исключить: группа предикторов при групповом LASSO (без принудительно включённых групп ковариат), член одного уравнения исхода в мультиномиальной модели, столбец матрицы плана в остальных случаях
• Отобрано на половину выборки (в среднем) — ожидаемый размер отобранного множества в области значений λ. От него и зависит оценка
• Порог (π) — заданное вами π и число членов, которые его достигают
• Ожидаемое число ложных отборов — верхняя граница числа шумовых членов среди членов выше π, не требующая допущений, в виде «≤ значение»
• Ожидаемое число ложных отборов (r-вогнутость) — более точная граница при допущении о форме распределения вероятностей отбора. Результат процедуры обычно приводят именно по ней

Если оценку получить нельзя, строки не остаются пустыми, а называется причина. Таких причин четыре: порог не выше доли кандидатов, отбираемой средней половиной выборки и без того (тогда указывается наименьшее π, при котором оценка возможна); насыщенный отбор, когда отобраны все кандидаты; пакет, который не удалось загрузить; собственное ограничение r-вогнутой оценки при данном пороге и размере множества (оно затрагивает только более точную строку).

Какую схему выбрать? Половины выборки отвечают на вопрос «остался бы этот предиктор на другой половине моих данных?», а дополняющие пары — ещё и на вопрос «сколько членов выше π, скорее всего, шум?». Поэтому выбирайте пары, если отобранное множество будет представлено как результат исследования — см. контроль ошибок по дополняющим парам.

Частота отбора — это значимость? Нет. Она показывает, насколько воспроизводим отбор, а не есть ли эффект, и у пенализованного коэффициента по-прежнему нет ни стандартной ошибки, ни p-значения, ни интервала — см. устойчивость отбора.

Отбор групп (только групповое LASSO) #

Отбор групп. Таблица, возможная только при групповом штрафе: по строке на предиктор, а не на столбец матрицы плана, и решение штрафа о переменной в целом. Если категориальных предикторов нет, каждая группа состоит из одного столбца, и примечание сообщает, что таблица лишь иначе представляет коэффициенты — см. групповое LASSO.

• Предиктор — переменная, а рядом столбец Члены модели: сколько столбцов матрицы плана она занимает
• Стандартизованная норма — L2-норма коэффициентов группы, масштабированных на SD: насколько велик совокупный эффект переменной в той шкале, в которой действует штраф. Из всего, что даёт метод, она ближе всего к размеру эффекта, поэтому отобранные переменные ранжируют по ней: исходная норма ранжировала бы их по единицам измерения
• Столбцы Статус и Частота отбора понимаются так же, как в таблице коэффициентов, но относятся к предикторам, а не к столбцам

Регуляризованные коэффициенты #

Регуляризованные коэффициенты. Раздел Коэффициенты (для мультиномиальной модели — по таблице на каждый уровень исхода под заголовком Коэффициенты по уровням исхода, у каждой таблицы заголовок Исход) со столбцами, описанными ниже. Исключённые члены показаны бледнее. У константы во всех столбцах с интерпретацией стоит «–», поскольку ни один движок её не штрафует — см. коэффициенты.

• Член — столбец матрицы плана: переменная, уровень категориального предиктора относительно опорного или (Константа) — см. член
• Оценка — пенализованный коэффициент в исходной шкале переменной, «0» для исключённого члена — см. B
• Сжатие — только для гребневой регрессии: какую долю непенализованной оценки сохранил штраф. Зелёным выделены значения от 90% сохранено, жёлтым — от 50%, красным — ниже. Если коэффициент сменил знак по сравнению с непенализованной подгонкой (при коллинеарности гребневая регрессия действительно может так сделать), вместо процента стоит Знак изменён. Если непенализованную подгонку нельзя однозначно оценить (параметров не меньше, чем полных наблюдений, то есть именно в той ситуации, ради которой выбирают гребневую регрессию), столбец пуст, и примечание объясняет почему — см. гребневую регрессию
• Статус — для LASSO, эластичной сети и группового LASSO: Выбрано для ненулевого члена, Исключено (сжато до 0) или Всегда включено для ковариаты, которая не штрафуется и остаётся в модели при любой λ — см. LASSO
• Если включён вывод после отбора, далее следуют столбцы Непенализованная оценка и p, описанные в том разделе
• Частота отбора — столбец устойчивости отбора, если эта процедура включена

Примечания под таблицей сообщают следующее. Перед подгонкой предикторы стандартизованы внутри расчёта, так что штраф действует на все переменные одинаково независимо от единиц измерения, а коэффициенты возвращены в исходной шкале. Ковариаты не штрафуются: если штраф должен решать судьбу переменной, поместите её в Предикторы. Если в модели есть категориальный предиктор, примечание указывает, как штрафовались его уровни:

• Гребневая, LASSO, эластичная сеть — каждый фиктивный уровень штрафуется отдельно, так что один уровень переменной может быть отобран, а другой исключён
• Групповое LASSO — уровни штрафуются единым блоком и отбираются или исключаются вместе

Вывод после отбора #

Вывод после отбора (многократное расщепление выборки) — необязательный флажок рядом с настройками лямбды, по умолчанию выключенный. Это единственный способ получить p-значение для пенализованной подгонки, и он добавляет в таблицу коэффициентов два столбца. Процедура недоступна для гребневой регрессии, поскольку та ничего не отбирает, и для мультиномиальной модели: у её симметричной подгонки в glmnet нет непенализованного аналога в той же параметризации — см. вывод после отбора.

• Расщепления выборки (B) — сколько раз выборка делится пополам, от 20 до 200, по умолчанию 50
• Непенализованная оценка — одна подгонка без штрафа по всей выборке для членов, отобранных в показанной модели. Она показывает, насколько велики эффекты в отобранной модели, когда штраф перестаёт их сжимать (предельный случай релаксированного LASSO с нулевым сжатием). Собственных стандартной ошибки и p-значения у неё нет, поскольку они вычислялись бы на той же выборке, по которой отобраны члены. У исключённого члена стоит «–», а если отобранных членов слишком много для выборки, столбец не заполняется
• p — p-значение, контролирующее групповую вероятность ошибки по всему набору членов. В каждом расщеплении члены отбираются заново на одной половине, где λ подбирается по выбранному вами правилу, и подгоняются без штрафа на другой. Так половина, по которой вычисляется p-значение, в отборе не участвовала, а p-значения B расщеплений затем объединяются в одно. У члена, отобранного лишь в немногих расщеплениях, p близко к 1 — так и должна работать процедура. Константа не проверяется никогда

Примечание под таблицей приводит расчётные данные: сколько расщеплений выполнено, размер каждой половины и сколько расщеплений подогнать не удалось. Такие расщепления не отбрасываются, а засчитываются как не свидетельствующие о значимости, и p-значения становятся соответственно консервативнее. Если отобранная модель слишком велика, чтобы её можно было подогнать на другой половине, расщепление заранее заменяется новым. Если не удалось ни одно расщепление, столбцы не заполняются, и об этом сообщается. Каждое расщепление — это новый подбор λ и две подгонки, поэтому процедура медленная.

Оценка — для размера эффекта, p — для доказательности. Два столбца намеренно опираются на разные подгонки, и интервала нет: его пришлось бы получать обращением объединённого p-значения, и он не накрывал бы стоящую рядом оценку — см. вывод после отбора.

Сводка перекрёстной проверки #

Сводка перекрёстной проверки. Как проводился поиск по сетке λ. Наблюдения случайно распределяются по блокам (для классификационных семейств — со стратификацией по категориям исхода, так что в каждой обучающей выборке есть все категории), модель заново подгоняется без каждого блока по очереди и оценивается на нём. Средняя оценка по блокам и есть показатель CV, который выводится в разделе Параметры регуляризации — см. перекрёстную проверку.

• Проверено значений лямбды — число значений λ на подогнанном пути
• Диапазон лямбды — от наименьшего до наибольшего значения на пути. Заданная вручную λ должна лежать в этом интервале, чтобы быть подогнанной, а не привязанной к ближайшей точке, поэтому посмотрите на него, прежде чем вводить значение
• Наилучшая ошибка CV — наилучшая оценка перекрёстной проверки на пути с её SE и значение λ, при котором она достигнута. Для порядковой и отрицательной биномиальной моделей строка называется Наилучший логарифм правдоподобия CV, и чем значение больше, тем лучше
• Степени свободы (при выбранной λ) — величина, которую подсчитывает программа подгонки при выбранной λ, названная в примечании: ненулевые коэффициенты для подгонок glmnet, Ненулевые члены (любой исход) для мультиномиальной модели и Эффективное число параметров для группового LASSO, где это действительно такое число. Для гребневой регрессии строка не выводится, поскольку там это число при любой λ равно числу предикторов

Число блоков — до 10, на малой выборке меньше, но не меньше 3. Для классификационных семейств их не больше, чем может заполнить самая редкая категория, так что категория исхода с тремя наблюдениями распределяется по трём блокам и не останавливает расчёт. Стандартная ошибка вычисляется по тем блокам, которые действительно дали оценку, поэтому, если какой-то блок выпал, полоса для правила 1 SE не искажается.

Путь регуляризации #

Путь регуляризации. Два графика подгонки по сетке штрафа с маркерами λ.min, λ.1se и Выбранная λ — см. λ.

• Кривая перекрёстной проверки — оценка перекрёстной проверки в зависимости от log(λ), закрашенная полоса ±1 стандартная ошибка, а для отбирающих штрафов вверху — число ненулевых членов. Строится для всех семейств. Пологий участок около выбранной λ означает, что выбор некритичен, а крутой — что критичен, и это стоит знать, прежде чем представлять набор коэффициентов как «ту самую» отобранную модель
• Траектории коэффициентов — по линии на каждый член вдоль сетки, в исходной шкале каждой переменной. Для отбирающих штрафов λ, при которой линия отходит от нуля, — это момент входа члена в модель. Член, который отходит от нуля рано и больше не возвращается, сохраняется в широком диапазоне штрафов, а член, появляющийся лишь в конце сетки, отобран на грани. На карточке гребневой регрессии подпись вместо этого сообщает, что члены не входят в модель и не выходят из неё. Для мультиномиальной модели график не строится: у неё по матрице коэффициентов на каждый уровень исхода и единой траектории нет

Сравнение моделей #

В режиме сравнения моделей каждое сочетание выбранных предикторов подгоняется как отдельная модель (полный перебор подмножеств, при котором ковариаты и главные эффекты модераторов входят в каждую модель-кандидат), и кандидаты ранжируются по AICc. Режим работает только при классическом оценивании: каждый кандидат подгоняется методом оценивания, выбранным для одиночной модели, и если это метод Фёрта, карточка его называет. Для робастной и квантильной моделей, у которых нет правдоподобия для ранжирования, и для двухчастных счётных моделей сравнение недоступно. Карточка начинается с ролей переменных, вошедших в перебор, N с числом строк, отброшенных как неполные, числа сравнённых моделей и размера доверительного множества. Если кандидатов больше одного, выводится и неопределённость выбора — энтропия весов Акаике относительно её максимума — вместе с соответствующим ей эффективным числом моделей. Далее идут разделы, описанные ниже — см. сравнение моделей.

Когда нужно сравнение моделей? Когда несколько предикторов-кандидатов конкурируют между собой и нужно понять, какое их сочетание объясняет исход без переобучения. Это разведочный инструмент: он порождает гипотезы, а не подтверждает их — см. AIC и переобучение.

Настройки сравнения моделей #

• Максимальное количество отображаемых моделей — сколько строк показывают таблица рейтинга и диаграмма весов, по умолчанию 25. При 0 или пустом поле показываются все модели. Веса, усреднённые коэффициенты и доверительное множество вычисляются по всем подогнанным моделям независимо от того, сколько показано, и если таблица короче перебора, примечание называет оба числа
• Минимальное число предикторов — наименьшее число предикторов в модели-кандидате, по умолчанию 0. При этом в перебор входит и базовая модель без перебираемых предикторов
• Максимальное число предикторов — наибольшее число, пустое поле — без ограничения. Вместе с минимумом оно задаёт диапазон перебора, по которому вычисляются число моделей в окне подтверждения и априорная доля включения каждого предиктора

Диапазон проверяется до запуска. Отклоняются отрицательное значение, минимум больше максимума или больше числа выбранных предикторов, а также перебор, в котором у наименьшего кандидата (константа, ковариаты, главные эффекты модераторов и минимальное число предикторов) параметров уже не меньше, чем полных наблюдений. Проверки перед запуском выполняются так же, как для одиночной подгонки, включая предупреждение о числе событий на параметр.

Если кандидатов больше 100, появляется окно подтверждения с числом моделей, которые действительно будут подогнаны (это число моделей в диапазоне перебора, а не два в степени числа предикторов), а свыше 1000 и свыше 100 000 моделей в нём указано и ожидаемое время. Если выбраны модераторы, окно также предупреждает, что взаимодействия увеличивают число моделей. Верхнего предела у размера перебора нет: расчёт любого размера можно прервать с панели хода выполнения.

Опции вывода #

• Усреднённые по моделям коэффициенты — по умолчанию включено: добавляет таблицу усреднённых по моделям коэффициентов
• Расширенная статистика модели — добавляет в рейтинг столбцы Лог-правд., BIC, ΔBIC и Вес BIC. Эти столбцы строятся в любом случае, так что флажок можно переключить и после расчёта, не запуская его заново

Сравнить модели. Запускает перебор отдельно для каждой выбранной зависимой переменной, по карточке на каждую. Если перебор для одной переменной не удался, остальные карточки сохраняются, а эта переменная называется в сообщении об ошибке.

Рейтинг моделей #

Рейтинг моделей. По строке на каждого кандидата, начиная с лучшего. Над таблицей примечание напоминает, что каждая модель ранжирована на тех же данных, по которым отобрана: показатели соответствия лидирующей модели оптимистичны, а при коррелированных предикторах порядок неустойчив, поэтому рейтинг носит разведочный характер. Под таблицей выводится диаграмма Ранжирование моделей — см. вес Акаике.

• Ранг — место модели по AICc, на котором построены разности и веса. Если примечание сообщает, что все кандидаты содержат слишком много параметров для выборки, ранжирование идёт по AIC
• Предикторы — перебираемые члены модели, причём взаимодействие поглощает главный эффект своего предиктора ({predictor} × {moderator}, а не {predictor}, {predictor} × {moderator}). В базовой строке стоит Только константа или, если в модели есть ковариаты или модераторы, Без дополнительных предикторов. Ячейка работает как кнопка: нажмите на неё, чтобы перенести этот набор предикторов в список выбора и подогнать модель оттуда. Если строка содержит лишь часть возможных взаимодействий «предиктор × модератор», появится предупреждение: подгонка в обычном режиме добавляет их все, так что подогнанная модель будет не той, на которую вы нажали
• Взаимодействия — при выбранных модераторах: члены «предиктор × модератор», которые входят в модель-кандидат
• K — число параметров, оценённых моделью, включая константу, остаточную дисперсию линейной модели и пороги порядковой. Это k в поправке AICc
• R² или R² Мак-Фаддена — мера соответствия, доступная для семейства: R² для линейной модели, псевдо-R² Мак-Фаддена для остальных — см. R² и R² Мак-Фаддена
• Скорр. R² или R² Нагелькерке — скорректированный R² для линейной модели, R² Нагелькерке для остальных — см. скорректированный R² и R² Нагелькерке
• AUC — только для биномиальной модели: различающая способность каждого кандидата. Интервал приводится в столбце AUC {level}% ДИ и строится способом, выбранным в списке Доверительный интервал AUC, а примечание под таблицей называет и то и другое — см. AUC
• p (относительно лучшей) — парный критерий, сравнивающий кривую каждого кандидата с кривой лучшей по рейтингу модели на тех же наблюдениях: критерий Делонга при интервале Делонга и бутстрэп-критерий при бутстрэп-интервале. У самой лучшей модели стоит «–». Настройка поправки на множественные сравнения корректирует M − 1 сравнений и выводит p (скорр., относительно лучшей) рядом с исходным столбцом или вместо него. Эталоном служит модель, первая по AICc и выбранная на тех же данных, поэтому эти p-значения получены после отбора и носят разведочный характер. AIC и AUC не обязаны согласовываться, поскольку AUC никак не штрафует сложность модели
• AIC, AICc и ΔAICc — критерий, его поправка на малую выборку и отставание каждого кандидата от лучшего. У кандидата, в котором слишком много параметров для выборки (n − k − 1 ≤ 0), стоит «∞», он оказывается в конце списка и получает нулевой вес. Если так обстоит дело со всеми кандидатами, ранжирование переходит на AIC, столбец называется ΔAIC, и об этом сообщает примечание — см. AIC и AICc
• Вес — вес Акаике, вероятность того, что именно эта модель лучшая в наборе — см. вес Акаике
• Накопленный вес — сумма весов от начала рейтинга до этой строки — см. доверительное множество
• Отн. свидетельств — вес лучшей модели, делённый на вес этой, при значениях больше ста — «> 100» — см. отношение свидетельств
• Дов. множество — отметка у каждой модели, входящей в доверительное множество на заданном уровне доверия, то есть у моделей, которые нельзя исключить. Множество определяется по всем подогнанным моделям, поэтому в усечённой таблице отметок меньше, чем указано над ней, о чём сообщает примечание — см. доверительное множество
• Лог-правд., BIC, ΔBIC и Вес BIC — при включённой расширенной статистике модели: логарифм правдоподобия, BIC, отставание каждого кандидата по BIC от наименьшего значения и вес, который дало бы кандидату ранжирование по BIC — см. логарифм правдоподобия и BIC
• Ранжирование моделей — диаграмма: веса Акаике показанных моделей в виде столбцов, у каждого подписано его ΔAICc, а столбцы вне доверительного множества окрашены серым

Большие переборы хранят в памяти только конкурентоспособных кандидатов. Каждый кандидат подгоняется и учитывается, но после первых 2000 сохраняются лишь те, что отстоят от текущего лучшего не больше чем на 20 единиц информационного критерия (AICc, AIC или BIC). Веса, усреднённые коэффициенты и доверительное множество вычисляются по сохранённому набору, а число подогнанных моделей и счётчики по предикторам — по всему перебору. Если такое ограничение сработало, об этом сообщает примечание.

Если не удалось подогнать ни одного кандидата, карточка сообщает об этом и вместо пустого рейтинга перечисляет ошибки.

Усреднённые по моделям коэффициенты #

Усреднённые по моделям коэффициенты. Если флажок включён, выводится по строке на каждый член со столбцами, описанными ниже. Примечание над таблицей напоминает, что такое два вида среднего и что обе стандартные ошибки безусловные. Для мультиномиальной модели выводится по таблице на каждый уровень исхода под заголовком Усреднённые по моделям коэффициенты (по исходам), и заголовок каждой таблицы — Исход (этот уровень) vs. опорный — см. усреднение моделей.

• Член — член модели, к которому относится коэффициент, как в таблице коэффициентов. Взаимодействие записано как «предиктор × модератор»
• Полн. среднее — коэффициент, усреднённый по всем кандидатам с весами Акаике, причём в моделях без этого члена он считается равным нулю — см. полное среднее
• SE и {level}% ДИ — безусловная стандартная ошибка и интервал для полного среднего. Они учитывают не только неопределённость самой оценки, но и неопределённость того, какая модель верна — см. усреднение моделей
• OR и OR {level}% ДИ — для биномиальной и порядковой моделей при включённом флажке экспоненцированных коэффициентов: полное среднее и его интервал, экспоненцированные для вывода. Само усреднение выполняется в шкале связи. Для мультиномиальной модели столбец называется RRR, для счётных семейств — IRR — см. отношение шансов
• Усл. среднее, Усл. SE и Усл. {level}% ДИ — те же три величины, но только по моделям, в которые входит член. Для константы не заполняются — см. условное среднее
• Важность — важность члена, то есть суммарный вес моделей, в которые он входит

Полное или условное среднее? Полное среднее показывает, чего стоит предиктор с учётом того, что он может вовсе не входить в модель, а условное — чего он стоит в моделях, где он есть — см. полное среднее и условное среднее.

Важность переменных #

Важность переменных. По строке на каждый предиктор в порядке убывания суммарного веса Акаике моделей, в которые он входит. Примечание над таблицей предупреждает, что коррелированные предикторы делят этот вес между собой. Диаграмма Важность переменных под таблицей показывает важность каждого предиктора столбцом с красной отметкой на уровне его априорной доли включения, и свидетельством служит только превышение над этой отметкой — см. важность переменных.

• Переменная — предиктор
• Важность — сумма весов Акаике моделей, в которые входит предиктор, от 0 до 1 — см. важность переменных
• N моделей — сколько подогнанных кандидатов содержат член (здесь предиктор, а в таблице важности взаимодействий — взаимодействие), по всему перебору
• N+ и N− — в скольких из этих моделей собственный коэффициент предиктора получился положительным или отрицательным. Категориальный предиктор учитывается по любому из своих уровней, а его взаимодействия относятся к таблице взаимодействий
• Интерпретация — при включённой интерпретации: важность относительно априорной доли включения предиктора, то есть превышение над этой долей, отнесённое к остающемуся над ней запасу. От 0.9 этого запаса — Очень высокая, от 0.7 — Высокая, от 0.5 — Умеренная, от 0.3 — Низкая, ниже — Очень низкая. Если при заданном диапазоне перебора предиктор входит в каждого кандидата, стоит Во всех моделях — различить невозможно, а если предиктора нет ни в одном подогнанном кандидате — Ни в одной модели — различить невозможно. Примечание напоминает, что эти градации описательные, а не опубликованный критерий

Важность и коррелированные предикторы? Два предиктора с одной и той же информацией делят вес между собой, поэтому низкую важность понимайте как «выбирается непостоянно», а не как «не имеет отношения к исходу». Прежде чем делать выводы, проверьте корреляцию между предикторами — см. важность переменных и мультиколлинеарность.

Сравнение моделей с модераторами #

Если выбраны модераторы, их главные эффекты входят в каждого кандидата, как ковариаты, а перебираются взаимодействия «предиктор × модератор». Каждый включённый предиктор может нести любое их подмножество, то есть на предиктор приходится два в степени числа модераторов вариантов, и именно поэтому число моделей так растёт. В рейтинге появляется столбец Взаимодействия, а после таблицы важности переменных выводится таблица важности взаимодействий.

Важность взаимодействий. По строке на каждую пару «предиктор × модератор» в порядке убывания суммарного веса кандидатов, в которые входит это взаимодействие, с числом таких моделей. Эта таблица отделена от важности главных эффектов, поскольку коэффициент взаимодействия — величина иная, чем коэффициент его предиктора — см. взаимодействие.

• Взаимодействие — член «предиктор × модератор» со столбцами Важность и N моделей, как в таблице важности переменных

Сравнение моделей с медиаторами #

Медиаторы в формулы кандидатов не входят. Для каждого кандидата хотя бы с одним предиктором пути подгоняются как отдельные подмодели. Путь a — регрессия медиатора на предикторы, ковариаты и модераторы кандидата, пути b и c′ — собственный набор членов кандидата с добавленным медиатором. Косвенный эффект каждой пары «предиктор × медиатор» проверяется не бутстрэпом, а критерием Собела и затем усредняется по кандидатам в таблицу ниже.

Пути медиации. По строке на каждую пару «предиктор → медиатор» в порядке убывания полного среднего косвенного эффекта. Примечание над таблицей напоминает, что оценки усреднены по моделям и проверены критерием Собела — см. косвенный эффект.

• Путь — пара «предиктор → медиатор»
• Полн. ср. косвенный и Усл. ср. косвенный — косвенный эффект, усреднённый по всем кандидатам (в моделях без предиктора он равен нулю) и только по кандидатам с этим предиктором. Это то же различие, что и в усреднённых по моделям коэффициентах
• Σ весов и N моделей — суммарный вес Акаике кандидатов, в которых оценивался путь (важность пары), и число таких кандидатов
• z Собела и p Собела — отношение полного среднего к его безусловной стандартной ошибке, рассматриваемое как нормальное отклонение, и соответствующее двустороннее p-значение — см. критерий Собела

Нужна подтверждающая медиация? Критерий Собела основан на нормальном приближении и на малых выборках или при асимметричном распределении косвенного эффекта слишком либерален. Для подтверждающего анализа выполните отдельный анализ медиации с набором предикторов лучшей модели и опирайтесь на его бутстрэп-интервал — см. критерий Собела.

Неподогнанные модели #

Неподогнанные модели. Свёрнутый список кандидатов, которые не удалось подогнать, с их числом в заголовке. Для каждого указан набор членов (с теми же подписями Только константа и Без дополнительных предикторов, что и в рейтинге) и причина: Ошибка подгонки с сообщением R, Сингулярность с перечнем отброшенных линейно зависимых членов или Неконечный AIC (насыщенная модель) для кандидата, AIC которого вычислить не удалось, — обычно это идеальное соответствие данным при n ≤ k. В списке не больше 100 записей и строка «… и ещё N», а в заголовке всегда указано полное число.

Анализ путей (продвинутый режим) #

Анализ путей подгоняет систему регрессий, которую вы рисуете сами, а не одно уравнение, заданное списками ролей. На вкладке Расширенный списки зависимой переменной, предикторов, медиаторов и модераторов заменяются редактором формул и диаграммой, которая обновляется на ходу. Каждая строка — одно уравнение, при запуске каждое уравнение подгоняется отдельно, а затем оцениваются и проверяются косвенные эффекты вдоль нарисованных цепочек. Список ковариат остаётся, и ковариаты входят в правую часть каждого уравнения, а тип регрессии относится к уравнению исхода. На каждый исход, который задаёт модель, выводится отдельная карточка с типом регрессии и исходом в заголовке — см. анализ путей и медиацию.

Редактор формул #

Редактор Формулы под диаграммой использует формульную нотацию R:

Y ~ A + B*C
M ~ A

Каждая строка задаёт одно уравнение исход ~ предикторы и записывается операторами формул R: + добавляет член, - убирает его, * скрещивает две переменные (их главные эффекты и взаимодействие), : даёт одно взаимодействие, скобки группируют члены, ^n раскрывает группу во все взаимодействия до n-го порядка, а - 1 или + 0 убирает свободный член. Символ # начинает комментарий в любом месте строки, не только в её начале. Отдельное имя переменной (без ~) создаёт на диаграмме изолированный узел. По мере ввода автодополнение предлагает выбранные вами переменные, и выделенный вариант принимается клавишей Tab. Введённый символ = автоматически заменяется на ~, но лишь в только что набранном тексте: имена в обратных кавычках не затрагиваются, а переменная, в имени которой есть =, берётся в кавычки автоматически.

Правки через диаграмму переносятся в этот текст, не нарушая его: комментарии, пустые строки и порядок членов сохраняются.

Имена переменных с символами операторов, пробелами, начальным # или совпадающие с литералами свободного члена 0 и 1 можно записывать в обратных кавычках (`моё странное имя`), а обратная кавычка внутри такого имени записывается дважды. При правке через диаграмму редактор сам расставляет такие кавычки, так что имена при переносе туда и обратно не теряются.

Синтаксические ошибки подчёркиваются по мере ввода, а сообщение о них появляется в слое подсказок. Некоторые из них не просто вызывают предупреждение, а блокируют запуск:

• Уравнение без предикторов в правой части, если его зависимая переменная используется в другом уравнении
• Два уравнения с одинаковой левой частью. На диаграмме рисуются связи из обеих строк, но подогнать можно только одну, так что предикторы другой незаметно выпали бы из анализа. Объедините правые части в одной строке
• Переменная, предсказывающая саму себя (Y ~ X*Y). R отбрасывает собственный главный эффект, но сохраняет произведение X:Y, так что исход оказался бы в регрессии на член, содержащий его самого
• Имя, которого нет среди выбранных переменных. В модель могут войти только переменные из текущего выбора, поэтому опечатка или столбец, с которого снят выбор, отклоняется с указанием имени, а не вызывает ошибку позже в R
• Правая часть, которая раскрывается в пустоту, — Y ~ 1 или Y ~ A - A. Оценивать в таком уравнении нечего, поэтому оно помечается как ошибка, а не подгоняется как модель только со свободным членом, которую вы не задавали

Слишком большие раскрытия не выполняются: если степень ^ или цепочка операторов * порождает больше 256 членов, выводится сообщение, и редактор не зависает.

Диаграмма путей #

SVG-диаграмма, которая строится по тексту формулы в реальном времени с послойной укладкой Сугиямы. Узлы окрашены по ролям:

• Предиктор — переменные, которые стоят только в правой части уравнений
• Медиатор — переменные, которые стоят в обеих частях (предсказываются в одном уравнении и служат предиктором в другом)
• Исход — переменные в левой части
• Изолированная — отдельные переменные без связей

Члены взаимодействия изображаются ромбовидными узлами-произведениями. Направление связей показано стрелками-шевронами.

Визуальное редактирование #

Все действия на диаграмме переносятся в текст формулы: щелчок по диаграмме меняет формулу, а по ней заново строится диаграмма.

• Щёлкните по подписи узла, чтобы выбрать другую переменную в выпадающем списке
• Наведите указатель на узел, чтобы по его сторонам появились кнопки удаления (×) и добавления связи (+)
• Щёлкните по связи, чтобы открыть меню с командами Вставить медиатор, Добавить взаимодействие и Удалить связь
• Нажмите × на узле-произведении, чтобы удалить член взаимодействия (главные эффекты сохраняются)

У каждого из этих элементов есть всплывающая подсказка, называющая его действие. Она же служит доступным именем для программ экранного доступа и голосового управления. Любую правку, доступную на диаграмме, можно сделать и в редакторе формул, с которым полностью можно работать с клавиатуры.

При удалении узла или связи оставшиеся без связей переменные сохраняются как изолированные узлы, а не удаляются, и их можно заново подключить или убрать вручную. В выпадающих списках переменных нет вариантов, которые создали бы цикл или повторили уже существующую связь. Если переименовать узел в переменную, у которой уже есть своё уравнение, эти два уравнения объединяются, а не остаются двумя уравнениями для одной переменной.

Неполные формулы. Запись Y ~ (пустая правая часть) допустима во время редактирования: переменная отображается как изолированный узел с подчёркиванием-предупреждением, а пустое уравнение автоматически удаляется, когда переменная снова оказывается подключена. Пока такое уравнение не дописано или не удалено, запуск заблокирован.

Запуск анализа путей #

В расширенном режиме доступно только классическое оценивание (пенализованной подгонки системы путей нет), поэтому, пока открыта эта вкладка, список Метод оценивания скрыт, а выбранный регуляризованный метод заменяется классическим. Робастный и квантильный типы и двухчастные счётные модели не принимаются, и для каждого случая выводится сообщение с причиной.

Запустить регрессию. Нарисованная модель разбивается на отдельную систему для каждого исхода, и каждое уравнение подгоняется на одном и том же наборе наблюдений, полных по всем переменным системы. Уравнение исхода подгоняется МНК или ОЛМ, соответствующей типу регрессии, порядковый исход — моделью пропорциональных шансов, двухуровневый медиатор — бинарной логистической регрессией, остальные медиаторы — МНК. Для линейного исхода косвенный эффект вдоль каждой цепочки равен произведению коэффициентов её связей, а его бутстрэп-интервал с коррекцией смещения строится по бутстрэп-выборкам, на каждой из которых заново подгоняется вся система. Карточка приводит полное разложение эффектов (прямые, косвенные и общие) как для экзогенных переменных, так и для медиаторов: в цепочке X → M₁ → M₂ → Y косвенный эффект M₁ на Y через M₂ выводится отдельной строкой. Для нелинейного исхода у произведения коэффициентов нет общей шкалы. Поэтому путь с одним медиатором (X → M → Y) оценивается методом каузальной медиации в шкале отклика (ACME и ADE, для порядкового исхода — по каждой категории), а последовательный путь (X → M₁ → M₂ → Y) приводится как приближённый косвенный эффект, то есть произведение величин в разных шкалах. Примечание к нему советует для строгой путевой модели с категориальными или порядковыми переменными перейти в модуль SEM. Путь из двух связей через бинарный медиатор оценивается каузальной медиацией и при линейном исходе.

Каждый путь каузальной медиации оценивается по модели исхода, построенной специально для этого пути, и она не всегда совпадает с нарисованным уравнением. Второй медиатор, лежащий на пути после воздействия, исключается из неё вместе со всеми содержащими его взаимодействиями. Воздействие добавляется, если в нарисованной модели нет прямой связи от него к исходу. Модератор связи, ведущей в медиатор, добавляется, если его нет в уравнении исхода. Карточка называет каждое такое отличие, а таблица коэффициентов этой модели выводится в разделе пути, так что модель, по которой получен прямой эффект, всегда видна. С таблицей коэффициентов исхода на карточке она не совпадёт, и это следствие расчёта, а не ошибка.

Модерируемая связь обрабатывается так же, как на вкладке Простой: Y ~ X*W даёт простые наклоны для условного эффекта в разделе Анализ модерации, а для числового модератора ещё и область значимости Джонсона — Неймана с графиком. Конструктор не назначает ролей, поэтому парное взаимодействие рассматривается в обе стороны (X, модерируемый W, и W, модерируемый X), и выводятся оба варианта. Для пути через модерируемую связь условные косвенные эффекты в точках оценки модератора выводятся в отдельном разделе.

До подгонки модель проверяется так же, как в простом режиме, и о каждой ошибке сообщается с указанием её места. Проверяются синтаксические ошибки и циклы; имена, отсутствующие среди выбранных переменных; уравнения с пустой правой частью; модель без исхода; исход, несовместимый с типом регрессии; медиатор, не являющийся ни числовым, ни двухуровневым; последовательный путь, продолжающийся после бинарного медиатора (его коэффициенты в логит-шкале несоизмеримы с линейной связью); мультиномиальная система с косвенными путями (у номинального исхода нет единой шкалы отклика для них); система с более чем 100 косвенными путями или столь густыми связями, что перечислить пути нельзя; уравнение, где полных наблюдений не больше, чем параметров, с учётом входящих в него ковариат. Предупреждение о числе событий на параметр выводится для уравнения исхода, как и в простом режиме, а долгий расчёт можно прервать с панели хода выполнения.

Если в нарисованной модели ковариата оказывается следствием зависимой переменной какого-то уравнения, в это уравнение она не включается, и карточка называет такие ковариаты и уравнения.

Категориальные переменные в цепочке представляются своими фиктивными коэффициентами. Узел с двумя уровнями — это один контраст, и он перемножается вдоль пути, а у узла с тремя и более уровнями единого коэффициента для перемножения нет. Поэтому такой путь выводится с пометкой Не вычислено и причиной, а не выпадает из итога незаметно.

Вывод анализа путей #

Карточка начинается со строки Ковариаты, на которые сделана поправка, и N — числа наблюдений, полных по всем переменным системы, вместе с числом строк, отброшенных как неполные. Далее идут разделы, описанные ниже, причём каждый диагностический раздел для уравнения исхода озаглавлен так, чтобы было понятно, к какой модели он относится:

• Диаграмма путей — нарисованная система, где каждая связь подписана нестандартизованным коэффициентом, толщина и цвет связи показывают знак и примерную величину, а незначимые связи показаны пунктиром. Члены взаимодействия изображаются отдельными узлами, в которые входят их компоненты, как на диаграмме редактора. Связь, члену которой соответствует несколько коэффициентов (категориальная переменная с тремя и более уровнями), рисуется без подписи, чтобы не выбирать одну из них произвольно. Ковариаты учитываются в модели, но на диаграмме не показаны, о чём сообщает примечание под ней
• Ковариаты — перечислены вверху карточки, поскольку входят в правую часть каждого уравнения, но на нарисованной модели не видны. Примечание называет уравнения, из которых ковариата исключена
• N — число наблюдений, полных по всем переменным системы, включая ковариаты, и число отброшенных строк. Все уравнения системы подогнаны на одном и том же наборе наблюдений, но каждое по отдельности, а не совместно. Примечание под этой строкой сообщает об этом и отсылает к модулю SEM, где уравнения оцениваются одновременно
• Соответствие модели зависимой переменной, Коэффициенты модели зависимой переменной, ANOVA модели зависимой переменной, Корреляции модели зависимой переменной, Диагностика мультиколлинеарности модели зависимой переменной, Диагностика остатков модели зависимой переменной, Статистики влияния модели зависимой переменной, Веса наблюдений модели зависимой переменной и Соответствие модели зависимой переменной данным — разделы уравнения исхода: соответствие модели, коэффициенты, ANOVA, корреляции, коллинеарность, остатки, влияние, веса наблюдений и соответствие модели данным, как на карточке одиночной модели. Заголовки нужны, чтобы на карточке с несколькими уравнениями было видно, к какой модели относится каждый раздел. После таблицы коэффициентов линейного исхода выводится уравнение регрессии
• Уравнение для {variable} — по разделу на каждое уравнение медиатора: статистики соответствия, примечание о моделируемом уровне для бинарного медиатора и таблица коэффициентов со столбцами Член, B, SE, β (при линейном исходе), t или z, p и интервалом, которые понимаются так же, как в таблице коэффициентов. Если уравнение записано с - 1 или + 0, примечание предупреждает, что R² вычислен относительно нуля, поэтому обычно завышен и несопоставим с обычным R²
• Декомпозиция эффектов — для линейного исхода по строке на каждый эффект со столбцами, описанными ниже. Строки, интервал которых не содержит нуля, выделены. У пути через модерируемую связь есть сноска с именем модератора и напоминанием, что безусловное произведение взято при нулевом значении модератора (или на его опорном уровне), а это обычно вне наблюдаемого диапазона нецентрированного модератора. Если интервал построен по меньшему числу бутстрэп-выборок, чем запрошено, к нему добавлено то же примечание, что и на вкладке Простой
  • Путь — цепочка «источник → … → исход». Строка прямого или общего эффекта записана как «источник → исход»
  • Тип — Прямой эффект: коэффициент источника в уравнении исхода, по одному на каждый член без взаимодействия, включая медиаторы. Косвенный эффект: произведение коэффициентов вдоль одной цепочки. Общий эффект: прямой эффект плюс все косвенные пути от этого источника, собранные на каждой бутстрэп-выборке из тех же повторов, что и составляющие. Общий эффект выводится только для источников, у которых есть косвенный путь
  • Эффект — оценка, а рядом, если все участвующие уравнения линейны, стандартизованная оценка β
  • БС SE и Бутстрэп-ДИ с коррекцией смещения — разброс оценок по бутстрэп-выборкам и интервал с коррекцией смещения, как в анализе медиации. Интервал, построенный по десяти или меньшему числу бутстрэп-выборок, не выводится, а вместо него указывается причина
• Приближённые последовательные косвенные эффекты — для нелинейного исхода: произведения вдоль последовательных путей с оценкой Косвенный, БС SE и интервалом с коррекцией смещения. Примечание над таблицей предупреждает, что произведение величин в разных шкалах — лишь приближение
• Модель зависимой переменной для этого пути — путь, оценённый каузальной медиацией, получает отдельный раздел с цепочкой в заголовке. В нём строки ACME, ADE, общего эффекта и доли опосредованного эффекта и примечания, как в таблице медиации на вкладке Простой, примечание о контрасте воздействия, а если модель исхода для этого пути отличается от нарисованного уравнения, то перечень отличий и таблица коэффициентов этой модели. При включённом флажке чувствительности далее следует кривая чувствительности для пути (для пути-произведения — в разделе с тем же заголовком), а примечание в разделе Чувствительность к неучтённому смешиванию напоминает, что анализ охватывает только пути с одним медиатором
• Взаимодействия высших порядков — если связь содержит член взаимодействия третьего или более высокого порядка, он указывается здесь и не учитывается при расчёте условных эффектов, которые оцениваются только по коэффициентам парных взаимодействий

Условные косвенные эффекты по путям. Для пути через модерируемую связь выводится раздел на каждую пару «путь × модератор» с обоими названиями в заголовке. В нём по строке на каждую точку оценки: Значение модератора, эффект Косвенный, его БС SE (при каузальной медиации — SE) и интервал с коррекцией смещения или квазибайесовский. Ниже идёт строка индекса модерируемой медиации со столбцом Оценка и примечания о диапазоне точек оценки, контрасте воздействия и числе бутстрэп-выборок, как на вкладке Простой. Если в модель исхода для пути добавлен модератор, это указывается. Для порядкового исхода вместо таблицы выводится примечание: разложение модерируемой медиации по категориям исхода здесь не выполняется.

• Значение — значение модератора в этой точке оценки в единицах данных, то есть чему на его шкале соответствуют −1 SD, Среднее значение и +1 SD или процентили. Точка вне наблюдаемого диапазона отмечена крестиком (†) в первом столбце, как в столбце Уровень модератора

Соответствие модели (критерий направленной сепарации) #

Соответствие модели (критерий направленной сепарации). Выводится при включённом флажке Критерий направленной сепарации (C Шипли). Каждая пара переменных, не соединённых связью на нарисованной модели, — это утверждаемая моделью условная независимость. Каждое такое утверждение проверяется регрессией, а p-значения утверждений объединяются в одну общую статистику соответствия — см. критерий направленной сепарации. Насыщенная модель, в которой соединены все пары, не утверждает ни одной независимости, и вместо пустой таблицы раздел сообщает об этом.

• C Фишера — первая строка сводки: $-2\sum \ln p$ по всем утверждениям. Если все они верны, статистика распределена как χ² с числом степеней свободы, вдвое большим числа утверждений
• df — для C удвоенное число утверждений, для отдельного утверждения — число параметров, которое добавляет проверяемый член
• p-значение — p-значение C. Поскольку это проверка модели, оно оценивается на уровне значимости для проверки допущений, а при включённой интерпретации рядом выводится строка Интерпретация. Значимый результат означает, что данные противоречат хотя бы одной независимости, которую предполагает модель, незначимый — что свидетельств против них нет. p отдельного утверждения — p-значение его собственного критерия на том же уровне
• Утверждение о независимости — пара, записанная как «предиктор ⊥ отклик». Откликом считается та переменная, которая стоит в модели позже, и критерий проверяется в её уравнении
• При условии — множество переменных, при условии которых утверждается независимость: родители обеих переменных в нарисованной модели
• Критерий и Статистика — точный F-критерий, если уравнение отклика линейное, иначе χ² отношения правдоподобия (LR χ²). Так многоуровневый предиктор проверяется как один член, а не по отдельным контрастам

К результату могут прилагаться два примечания. Пары переменных, которые модель не объясняет, исключаются, и указывается их число: конструктор рисует только направленные эффекты, и модель ничего не утверждает о ковариации своих экзогенных переменных. Если какое-то утверждение проверить не удалось (его уравнение не подогналось или добавленная переменная не дала оцениваемого члена), C не выводится вовсе, а не пересчитывается с меньшим числом степеней свободы.

Что означает значимое C? Не то, что какой-то коэффициент неверен, а то, что в модели не хватает связи, которую вы не нарисовали, а между какими переменными — подсказывает утверждение с наибольшим вкладом в статистику. Только эта проверка отличает анализ путей от набора отдельных регрессий, и это единственный общий критерий соответствия на этой вкладке — см. критерий направленной сепарации.

Доступны все обычные параметры вывода (дополнительная статистика, ANOVA, корреляции, коллинеарность, диагностика остатков, статистики влияния, соответствие модели данным), а также классификационный анализ (ROC) для порядкового и мультиномиального исхода наравне с биномиальным, с теми же таблицами по точкам отсечения или классам, кривыми и перекрёстной проверкой, что и на вкладке Простой. Сравнение моделей в расширенном режиме недоступно.

Пропущенные данные #

Пропущенные значения обрабатываются согласно общей настройке пропущенных данных, но уравнение регрессии не может использовать строку с пропуском. Поэтому при любой настройке каждая подгонка выполняется на наблюдениях, полных по всем вошедшим в неё переменным: зависимой, предикторам, ковариатам, медиаторам и модераторам. При попарном удалении (по умолчанию) других исключений нет. При построчном удалении сначала исключаются строки с пропусками в любой переменной, выбранной на панели данных, входит она в модель или нет. Импутированные значения используются как обычные данные. В информации о модели карточка выводит N и рядом число строк, отброшенных как неполные — см. полные наблюдения.

Двадцать предикторов и разрозненные пропуски? Строка с пропуском хотя бы в одном из них отбрасывается, так что модель с большим числом предикторов может из-за одних только пропусков потерять значительную часть выборки. Это ещё один довод оставлять в модели только те предикторы, которые нужны для ответа на вопрос — см. построчное удаление.

Пороги интерпретации #

Если интерпретация включена, рядом с каждой строкой, для которой есть шкала оценки, выводится интерпретация, а описание этой строки называет шкалу и ссылается на соответствующее понятие. R² и R² Нагелькерке оцениваются по шкале Коэна, R² Мак-Фаддена — по собственной шкале Мак-Фаддена, скорректированный R² — по разнице с R², VIF — по порогам VIF (единственные пороги, которые можно изменить), D Кука — по двум порогам, указанным в его таблице, Дарбин — Уотсон и Бройш — Годфри — по своим p-значениям с направлением по статистике, важность переменных — по превышению над априорной долей включения, а сжатие в гребневой регрессии — по сохранённой доле непенализованной оценки.

Контрольный список для отчёта #

Что указать при описании результатов регрессионного анализа:

Метод:

• Тип регрессии (линейная, логистическая и т. д.) и метод оценивания, в том числе метод Фёрта, если он применялся, и причина (разделение, редкие события, малая выборка)
• Для двухчастных счётных моделей: какая из них (с избытком нулей или барьерная), распределение счётной части и какие предикторы вошли в уравнение нулей
• Включённые предикторы и ковариаты с обоснованием
• Какой тип ANOVA использован в таблице по членам модели, если в модели есть взаимодействия
• Для регуляризации: метод (гребневая регрессия, LASSO, эластичная сеть, групповое LASSO), правило выбора лямбды, значение α, применялась ли стратификация при разбиении на блоки, а если оценивалась устойчивость отбора — схема (половины выборки или дополняющие пары), число подвыборок или пар и порог π
• Для вывода после отбора: число расщеплений выборки и то, что лямбда подбиралась заново внутри каждого из них
• На каких стандартных ошибках основаны выводы (модельные, HC3 или Ньюи — Уэста), а при робастной ковариационной матрице — что общий критерий модели является критерием Вальда, а не отношения правдоподобия
• Для робастной линейной регрессии: что подгонка выполнена MM-оцениванием, а R² и масштаб остатков — робастные варианты, несопоставимые со своими аналогами в МНК
• Для квантильной регрессии: сетку τ, отображаемый квантиль, для которого вычислены все остальные блоки, и то, что R¹ — мера для одного квантиля, а не R²
• Если интервалы стандартизованных коэффициентов получены бутстрэпом: что это процентильные интервалы с коррекцией смещения по бутстрэп-выборкам наблюдений с повторной подгонкой и стандартизацией модели на каждой, и число бутстрэп-выборок
• Способ обработки пропущенных данных
• Объём выборки (общий и число полных наблюдений, если они различаются), для логистических и счётных моделей — число событий на параметр
• Для мультиномиальной модели: какая категория исхода была опорной и почему
• Для стандартизованных коэффициентов в ОЛМ: какое соглашение о стандартизации использовано (только по предикторам или по латентной переменной)
• Для сравнения моделей: число моделей-кандидатов, критерий отбора (AICc)
• Для медиации: метод оценки (произведение коэффициентов с бутстрэп-ДИ с коррекцией смещения для линейного исхода, каузальная медиация с квазибайесовскими ДИ для логистического, порядкового, пуассоновского и отрицательного биномиального исхода), число бутстрэп-выборок или симуляций, а для каузальной медиации — контраст воздействия, к которому относятся эффекты
• Для модерации: в каких точках оценки вычислены простые наклоны и условные эффекты (среднее ±1 SD или 16-й, 50-й и 84-й процентили)
• Для метрик ROC: использовались ли частоты в выборке или заданные распространённости классов в популяции, и какими они были

Результаты:

• Соответствие модели данным (для линейной модели R² с доверительным интервалом, скорректированный R² и f², для логистической — псевдо-R², в том числе скорректированный R² Мак-Фаддена, девиансы со степенями свободы и критерий хи-квадрат)
• Таблицу коэффициентов с B, SE, статистикой критерия (t или z), p-значениями и доверительными интервалами
• Стандартизованные коэффициенты (β) с указанием соглашения для семейств ОЛМ
• Отношения шансов для логистической регрессии, отношения интенсивностей (IRR) для счётных моделей
• Таблицу ANOVA для моделей с многоуровневыми категориальными предикторами (p-значения отдельных фиктивных переменных не отвечают на вопрос, важна ли переменная в целом) с указанием типа и частной эта-квадрат для каждого критерия
• Для биномиальной логистической регрессии: AUC с доверительным интервалом, оценку Брайера и относительную оценку Брайера, правило выбора порога и метрики при оптимальном пороге (чувствительность, специфичность, PPV, NPV, F1) с интервалами и распространённостью, по которой они вычислены. Если приводится AUC по перекрёстной проверке, укажите k, число повторений и его доверительный интервал CV (а не точность Монте-Карло, которая описывает другое), иначе отметьте, что оценка получена на обучающей выборке. Приведите также выводы о калибровке по обоим критериям: Хосмера — Лемешова (с использованным числом групп) и ле Сесси — ван Хаувелингена
• Для мультиномиальной логистической регрессии: AUC по классам с их N, M Хэнда — Тилла (многоклассовый AUC) с бутстрэп-ДИ, многоклассовую оценку Брайера, матрицу ошибок и точность по классам. Отметьте, что при предсказании наблюдение относится к классу с наибольшей вероятностью
• Для порядковой логистической регрессии: AUC по точкам отсечения с их N, D Сомерса, тау-c Кендалла, многоклассовую оценку Брайера и тест Бранта для пропорциональности шансов. Сопоставьте расхождение AUC по точкам отсечения с этим тестом
• Размер эффекта для модели в целом
• Диагностику: коллинеарность (VIF), нормальность остатков (критерий и график Q-Q), влиятельные наблюдения. Как минимум укажите, проверялись ли допущения. Автокорреляцию приводите, только если порядок строк имеет смысл
• Для медиации: косвенный эффект (a × b для линейного исхода, ACME для нелинейного) с доверительным интервалом, прямой и общий эффекты и долю опосредованного эффекта. Для порядкового исхода приведите разложение по категориям. Отметьте бутстрэп-выборки, которые не удалось подогнать
• Для модерации: член взаимодействия, простые наклоны в точках оценки и, если приводятся, границы Джонсона — Неймана с долей наблюдений в области значимости
• Для сравнения моделей: лучшую модель (или модели), веса Акаике, важность переменных, для биномиального исхода — AUC и p-значения критерия Делонга. Укажите число перебранных моделей и представьте рейтинг как разведочный результат
• Для регуляризации: выбранную лямбду, число ненулевых коэффициентов (для мультиномиальной модели — в среднем на исход), показатель перекрёстной проверки с указанием критерия, для группового LASSO — решения об отборе групп, а если применялись, то частоты отбора с числом подвыборок, верхнюю границу ожидаемого числа ложных отборов при дополняющих парах и непенализованные оценки с p-значениями после отбора
• Для счётных моделей: результаты проверки дисперсии (дисперсия по Пирсону, для модели Пуассона — скор-тест на избыточную дисперсию), для отрицательной биномиальной — θ с его SE
• Для двухчастных счётных моделей: наблюдаемое и ожидаемое число нулей в сравнении с моделью из одного уравнения, ΔAIC и ΔBIC, обе таблицы коэффициентов с пояснением, какое событие описывает логит каждого уравнения
• Для анализа чувствительности медиации: пороговое значение ρ и обе доли дисперсии, а также подгонялось ли для этого уравнение исхода заново как пробит-модель
• Для анализа путей: N системы, разложение эффектов, то, что уравнения оценивались по отдельности, и для каждого пути каузальной медиации — отличалась ли его модель исхода от нарисованного уравнения. Если в модели опущены связи, приведите C Фишера с его df и p и число проверенных утверждений о независимости

Воспроизводимость #

Каждый анализ выводит свой R-код в консоль R, где команды можно просмотреть, скопировать или выполнить заново. Регрессионный анализ использует базовый R (lm, glm) для линейной и биномиальной моделей, MASS для порядковой логистической и отрицательной биномиальной, nnet для мультиномиальной логистической, robustbase для робастной линейной и quantreg для квантильной регрессии, pscl для моделей с избытком нулей и барьерных, brglm2 для метода Фёрта, glmnet, ordinalNet, mpath или grpreg для регуляризованного оценивания и stabs для границы по дополняющим парам, car для диагностики коллинеарности и таблиц ANOVA типов II и III, lmtest для диагностики остатков и теста RESET, sandwich для ковариационных матриц HC3 и Ньюи — Уэста, ResourceSelection для критерия Хосмера — Лемешова, pROC для ROC-кривых, их AUC и интервалов, критерия Делонга и M Хэнда — Тилла, mediation для каузальной медиации и анализа её чувствительности. Тест Бранта, область Джонсона — Неймана, D Сомерса и тау-c, статистика ле Сесси — ван Хаувелингена, скор-тест на избыточную дисперсию, интервал AUC по перекрёстной проверке и критерий направленной сепарации вычисляются собственным R-кодом модуля без дополнительных пакетов. Все бутстрэп-процедуры (бутстрэп-выборки для медиации, стандартизованных коэффициентов, ROC, сравнения моделей и анализа путей) используют Зерно бутстрэпа, а все разбиения на блоки, половины выборки и расщепления, а также подвыборка для критерия Шапиро — Уилка — Зерно воспроизводимости. Если это зерно не задано, перекрёстная проверка ROC выбирает его случайно и сохраняет в сеансе R как cv_seed: введите cv_seed в консоли, чтобы узнать его и точно повторить расчёт. Шаг с заданным зерном по завершении возвращает сеансу прежний поток случайных чисел, так что последующий анализ без зерна от него не зависит. Обоснование решений модуля (всех оценок, интервалов, порогов, запасных вариантов и отказов, от проверок перед подгонкой до критерия направленной сепарации) изложено в методических заметках.

Ссылки охватывают методы, а не только пакеты. Каждый метод, результат которого карточка действительно выводит, указан в начале раздела вывода: семейства регрессии и их псевдо-R², диагностические критерии и статистики влияния, робастные ковариационные матрицы, типы сумм квадратов, штрафы регуляризации, выбор лямбды и перекрёстная проверка, устойчивость отбора и её граница ошибок, вывод после отбора, каузальная медиация и анализ её чувствительности, простые наклоны и область Джонсона — Неймана, информационные критерии, веса Акаике и усреднение моделей, метрики классификации и все способы построения интервалов AUC, критерий направленной сепарации. Рядом приводятся статьи о пакетах R, которые выполнили расчёты. Указывается только то, что применялось в этом анализе.

Типичные ошибки #

Путать предсказание с объяснением. Модель с высоким R² хорошо предсказывает, но это не значит, что её коэффициенты описывают причинные механизмы. Предиктор может коррелировать с исходом потому, что оба зависят от чего-то неизмеренного, а регрессия на данных наблюдения оценивает связи — см. смешивающий фактор. Для причинного утверждения нужен план исследования (эксперимент или явно сформулированные допущения каузальной медиации), а не коэффициент.

Слишком много предикторов при малой выборке. При 50 участниках и 20 предикторах модель подстраивается под случайный шум выборки и не воспроизведётся. Для логистических и счётных моделей карточка предупреждает, если событий на параметр меньше 10, а для линейной модели действует эмпирическое правило 10–15 наблюдений на предиктор — см. переобучение и события на параметр. Более экономную модель помогут найти сравнение моделей или регуляризованный метод оценивания.

Игнорировать коллинеарность. При сильной корреляции предикторов отдельные коэффициенты ненадёжны: небольшие изменения данных могут сменить их знак или резко изменить величину. Общее соответствие модели данным при этом остаётся хорошим, так что предсказанию доверять можно, а отдельным эффектам — нет. Проверьте столбец VIF и подумайте, не удалить ли или не объединить коррелированные предикторы — см. мультиколлинеарность.

Считать пошаговый отбор подтверждающим. Автоматический отбор, в том числе сравнение моделей, носит разведочный характер: «лучшая» модель лучшая только для этого набора данных, и прежде чем считать её подтверждённым результатом, её нужно проверить на новых данных или отложенной выборке. Представляйте её как разведочную и указывайте число перебранных моделей. Что даёт такая проверка, объясняет раздел о перекрёстной проверке.

Считать незначимый предиктор доказательством отсутствия эффекта. Незначимый коэффициент означает, что эффект не удалось отличить от нуля на этой выборке и в этой модели. На большей выборке он может оказаться важным, а может быть замаскирован коллинеарностью с другим предиктором. Посмотрите на доверительный интервал, чтобы увидеть диапазон значений, совместимых с данными, и не делайте вывод «X не влияет на Y» по одному незначимому коэффициенту — см. статистическую значимость.