Корреляционный анализ #

Модуль Корреляционный анализ измеряет силу связи между парами переменных, а если у меры есть знак, то и направление. Сопоставьте каждую переменную с каждой или задайте два списка, выберите меру из большой библиотеки (классические корреляции, латентно-нормальное семейство, ранговые меры и меры согласованности пар, меры для таблиц сопряжённости, информационные меры и меры общей зависимости) или поручите выбор для каждой пары одному из двух автоматических пресетов. Результат выводится матрицей, длинной таблицей или сетью.

Что такое коэффициент корреляции? Это одно число, описывающее, как две переменные меняются вместе: у классических мер оно меняется от −1 (переменные движутся строго в противоположные стороны) до +1, а 0 означает, что связи нет. Подробнее — в статье о r, а все меры модуля по семействам разобраны на странице корреляция и связь.

Знаковые и беззнаковые меры. Знаковая мера показывает направление связи на шкале от −1 до +1, беззнаковая — только силу на шкале от 0 до 1: у категории направления нет, а направление кривой одним знаком не передать. См. знаковую и беззнаковую меру.

1. Выберите переменные (или оставьте оба списка пустыми, и корреляции будут рассчитаны для всех доступных переменных)
2. Выберите метод корреляции
3. При необходимости исключите влияние ковариат (частная или получастная корреляция) или проверьте различия между ячейками
4. Настройте параметры отображения
5. Нажмите Рассчитать корреляции

Настройка #

Под заголовком Выбор переменных (необязательно) рядом стоят два списка переменных:

• Левые переменные (строки) — переменные, которые образуют строки матрицы
• Правые переменные (столбцы) — переменные, которые образуют её столбцы

Оба списка можно не заполнять. Если пусты оба, каждая переменная сопоставляется с каждой, а если заполнен один, второй по умолчанию включает все переменные, подходящие для метода. Щелчок выбирает переменную, протягивание мышью — несколько подряд.

В списках видны только переменные тех типов, которые принимает выбранный метод, и при смене метода списки обновляются. Если подходящих переменных нет, появляется предупреждение. Третий список, Контролировать (только Пирсон/Спирмен/Кендалл), превращает расчёт в частную или получастную корреляцию.

Выбор метода #

Метод корреляции. В списке все меры собраны в три группы: знаковые корреляции, беззнаковые меры зависимости и два автоматических пресета. При выборе меры списки переменных сокращаются до подходящих ей. Для каждой меры в таблицах ниже есть строка (что ей нужно и что она измеряет) и пункт о том, как модуль её вычисляет и выводит. Семейства мер объяснены с азов на странице понятий.

Какой метод выбрать? r Пирсона — для двух непрерывных переменных с прямолинейной связью; ρ Спирмена или τ Кендалла — для порядковых данных, выбросов или криволинейного, но монотонного тренда; латентно-нормальные меры — когда упорядоченные ответы отражают континуум, с которым затем будет работать факторная модель; V Крамера или информационные меры — когда одна из переменных категориальная; ξ Чаттерджи или Дистанционная корреляция — когда на диаграмме рассеяния видна структура, которую не улавливают ни Пирсон, ни Спирмен; пресет Смешанная/авто — для одной матрицы по переменным разных типов. Каждый выбор подробнее разобран в путеводителе и каталоге мер.

Знаковые корреляции (−1…+1) #

• r Пирсона — метод по умолчанию. Подходит для двух непрерывных переменных с прямолинейной связью, распределённых примерно нормально и без выбросов, которые оттягивают линию на себя (см. r). Для каждой пары Пирсона карточка допущений проверяет линию и её остатки.
• ρ Спирмена — r Пирсона, вычисленный по рангам. Улавливает любую монотонную связь, прямолинейную или криволинейную, а выброс влияет на него лишь через свой ранг (см. ρ Спирмена). Обилие совпадений, то есть одинаковых значений, искажает p-значение, но не сам коэффициент: такие переменные отмечает проверка совпадений, а корректное p-значение даёт перестановочный метод.
• τ Кендалла — доля согласованных (конкордантных) пар минус доля несогласованных, в форме τ-b с поправкой на связанные ранги в любой из переменных (см. τ Кендалла). На тех же данных τ, как правило, меньше ρ и лучше ведёт себя на малых выборках. Проверка совпадений оценивает его так же, как ρ.
• β Бломквиста — медианная корреляция: доля наблюдений в совпадающих медианных квадрантах минус доля в противоположных, поэтому ни одно отдельное значение не может её сдвинуть (см. β Бломквиста). Только для непрерывных переменных: у бинарной переменной или при скоплении значений на медиане квадранты определены плохо. Полезна для проверки r Пирсона, если кажется, что он держится на нескольких точках.
• Полихорическая корреляция — корреляция латентных нормальных континуумов, стоящих за двумя упорядоченными переменными (бинарная считается переменной с двумя уровнями), см. полихорическую корреляцию. Опирается на латентную двумерную нормальность, которую карточка допущений проверяет для каждой пары. Пара, где хотя бы у одной переменной больше 20 уровней, оценивается медленно, и модуль предупреждает об этом до запуска.
• Тетрахорическая корреляция — полихорическая корреляция для двух бинарных переменных. Она уместна, когда каждая бинарная переменная получена разрезанием континуума, и неуместна для подлинной категории: там она по построению больше φ (см. тетрахорическую корреляцию).
• Полисериальная корреляция — корреляция непрерывной переменной с латентным континуумом, стоящим за упорядоченной (см. полисериальную корреляцию). Латентный пресет выбирает её для каждой пары «непрерывная × порядковая».
• D Сомерса — направленная мера согласованности пар. Пары с совпадающими значениями предиктора отбрасываются, а пары с совпадающими значениями исхода входят в знаменатель и уменьшают значение, поэтому D(строка → столбец) и D(столбец → строка) различаются (см. D Сомерса). Мера создана для порядковых данных с совпадениями, и проверка совпадений её не отмечает.
• γ Гудмана и Краскела — разность согласованных и несогласованных пар, отнесённая только к парам без совпадений. Поэтому на тех же данных γ больше τ и достигает ±1, как только все пары без совпадений согласованы (см. γ Гудмана и Краскела). Как и D Сомерса, учитывает совпадения по построению.
• Точечно-бисериальный — r Пирсона между непрерывной переменной и бинарной, закодированной 0/1. Алгебраически это двухвыборочный t-критерий, записанный в виде корреляции (см. точечно-бисериальный r). Его p-значение и интервал наследуют допущения t-критерия, и их проверяет карточка допущений.
• Бисериальный — латентный родственник точечно-бисериального коэффициента: корреляция с континуумом, стоящим за искусственной бинарной переменной (например, баллом, разрезанным по порогу). По построению он больше точечно-бисериального и не имеет смысла для настоящей категории (см. бисериальную корреляцию).
• Коэффициент фи — r Пирсона для двух переменных 0/1 и знаковый вариант V Крамера для таблицы 2×2, p-значение для него даёт критерий χ² (см. коэффициент фи). Знак зависит от порядка кодирования, а разреженные таблицы отмечает проверка частот ячеек.

Беззнаковые меры зависимости (0…1) #

• V Крамера — мера на основе χ² для двух категориальных переменных с любым числом уровней. Выводится с поправкой Бергсмы на смещение, поэтому при независимости может равняться 0 (см. V Крамера). К ней же переходит расчёт ε², если в паре обе переменные группирующие. Разреженные таблицы отмечает проверка частот ячеек, а для таких таблиц предусмотрено p-значение методом Монте-Карло.
• Корреляционное отношение (ε²) — доля дисперсии непрерывной переменной, объяснённая группами категориальной. Выводится как ε² с поправкой на смещение, а не как η² без поправки, и проверяется однофакторным F-критерием (см. корреляционное отношение). Группирующей может быть категориальная переменная или числовая не более чем с 10 различными значениями, в каком бы списке она ни стояла, поэтому список Левые переменные (строки) предлагает только такие. Если в паре обе переменные группирующие, расчёт переходит к V Крамера, а пару без группирующей переменной составить нельзя.
• Нормализованная взаимная информация — взаимная информация, делённая на среднее двух энтропий, со значениями от 0 до 1. Это мера общего назначения в информационном семействе (см. нормализованную взаимную информацию). Подходит для любой пары переменных: непрерывная переменная сначала разбивается на равнонаполненные интервалы по правилу дискретизации, а у категориальной каждый уровень становится отдельной категорией.
• Скорректированная взаимная информация — взаимная информация за вычетом её ожидаемого при случайности значения, делённая на большую из двух энтропий. На любой паре она ниже NMI, и её стоит предпочесть, когда пары сильно различаются числом категорий (см. скорректированную взаимную информацию). При независимости она может оказаться чуть ниже 0: таблица показывает значение как есть, а беззнаковые графики обрезают его до 0.
• Коэффициент когерентности Райского — взаимная информация, делённая на совместную энтропию. Это самая строгая нормировка: 1 получается только у двух переменных, совпадающих с точностью до переименования уровней (см. коэффициент когерентности Райского).
• U Тейла — взаимная информация как доля энтропии одной из переменных, то есть направленная мера семейства. В ячейке «строка → столбец» стоит доля неопределённости переменной-столбца, которую снимает переменная-строка (см. U Тейла).
• D Хёффдинга — классический критерий независимости против любой альтернативы, с собственной узкой шкалой и градациями силы (см. D Хёффдинга). Он предполагает непрерывные данные: совпадения занижают коэффициент и делают критерий консервативным. Поэтому на порядковых данных его отмечает проверка совпадений, а значение следует понимать как нижнюю границу. При независимости выборочное D может быть чуть ниже 0: таблица это значение показывает, беззнаковые графики обрезают его до 0.
• ξ Чаттерджи — насколько переменная-столбец является функцией переменной-строки, причём любой функцией: 1 при строгой функциональной зависимости, 0 при независимости. Мера направленная, и градации силы для неё заданы отдельно (см. ξ Чаттерджи). Совпадения в переменной-строке упорядочиваются случайно, но при фиксированном зерне, поэтому ячейка с таким предиктором содержит одно воспроизводимое значение из небольшого набора возможных. Если такие ячейки есть, об этом сообщает примечание под таблицей.
• Дистанционная корреляция — равна 0 тогда и только тогда, когда переменные независимы, и лежит на привычной для корреляций шкале от 0 до 1 (см. дистанционную корреляцию). Нужны две числовые переменные, разбиение на интервалы не используется. Значение — квадратный корень из оценки с поправкой на смещение, ограниченной снизу нулём. Если полных наблюдений больше 3 000, расчёт идёт на подвыборке такого объёма с фиксированным зерном, и в N выводится её объём.

Особые #

• Смешанная/авто · наблюдаемые оценки — метод выбирается для каждой пары по типам двух переменных из мер, которые работают с наблюдаемыми значениями как они есть: Пирсон, Спирмен, точечно-бисериальная корреляция, φ, V Крамера, ε². Пресет подходит для разведочного анализа и для отчёта о том, что действительно измерено. Все типы пар перечислены в таблице выбора, а столбец Метод в карточке результатов показывает, какая мера досталась каждой ячейке.
• Смешанная/авто · латентные переменные — тот же выбор, но для упорядоченных и бинарных переменных берутся меры латентно-нормального семейства: полихорическая, полисериальная, бисериальная, тетрахорическая. Так получается согласованная матрица для факторного анализа или SEM, где каждая ячейка должна оценивать корреляцию стоящих за переменными континуумов. Пресет опирается на латентную двумерную нормальность, а в заголовке карточки называется латентные · hetcor.

Направленные (асимметричные) методы #

Три меры — D Сомерса, U Тейла и ξ Чаттерджи — отвечают на вопрос, насколько хорошо переменная-строка предсказывает переменную-столбец, поэтому матрица несимметрична: число на пересечении строки A и столбца B отличается от числа на пересечении строки B и столбца A (см. направленную меру). Каждая ячейка показывает направление строка → столбец (в длинной таблице — переменная 1 → переменная 2). Пока выбрана одна из этих мер, под таблицей стоит подпись о направлении, а флажок Скрыть избыточные значения скрыт, поскольку в двух треугольниках матрицы разные сведения.

Логика выбора в режиме Смешанная/авто #

Оба пресета выбирают метод для каждой пары по типам двух переменных (непрерывная, порядковая, бинарная или категориальная) и расходятся только там, где участвует упорядоченная или бинарная переменная:

Наблюдаемые или латентные? Наблюдаемые оценки описывают те данные, которые у вас есть, и не требуют нормального континуума за каждой категорией. Латентные переменные оценивают корреляцию континуумов, с которыми работает факторная модель, но ценой допущения о латентной нормальности, проверяемого карточкой допущений. Когда уместен каждый из подходов, объяснено в разделе о латентно-нормальном семействе.

Для категориальных сочетаний оба пресета выбирают одно и то же, и ни один из них не выбирает направленный метод: D Сомерса, U Тейла и ξ Чаттерджи нужно выбрать явно. Если в расчёт попадёт полихорическая пара, где хотя бы у одной переменной больше 20 уровней (при методе Полихорическая корреляция или латентном пресете), перед запуском появится предупреждение с числом таких пар и ожидаемым временем. Это лишь предупреждение, а не запрет, и расчёт можно отменить.

Проверка допущений #

Нажмите Проверить допущения, чтобы выполнить для каждой пары выбранных переменных все применимые к ней проверки, а не только те, что относятся к выбранному методу. Результат выводится в карточке Допущения корреляции. Проверка носит рекомендательный характер: она не меняет коэффициентов, рассчитываемых кнопкой Рассчитать корреляции, и выполняется без них, так что диагностику можно изучить ещё до построения матрицы. Проверки одинаковы и при явно выбранном методе, и при пресете «Смешанная/авто»: выбор определяет лишь, какой метод в паре помечен как основной.

Допущения есть у любого метода. r Пирсона опирается на прямую линию и равномерный разброс, ранговые методы — на небольшое число совпадений, латентные методы — на латентную двумерную нормальность. Карточка проверяет каждое допущение на тех парах, к которым оно относится (см. что такое допущение).

Если активна групповая структура сравнения (Между группами или Равенство между группами) и задана переменная Сравнить по, все проверки выполняются отдельно внутри каждой группы, на тех же подмножествах строк, что и погрупповой анализ. Карточка показывает по разделу Группа: … на каждую группу и примечание сверху, а объединённые данные не проверяются. Переменная сравнения в проверяемые пары не входит, а то, какие проверки относятся к какой паре, определяется по полным данным, поэтому во всех разделах групп одинаковые строки и столбцы.

Матрица применимости методов по парам #

Применимость методов по парам. Карточка открывается матрицей: по строке на пару переменных, по столбцу на каждую проверку уровня пары. В ячейке стоит вердикт Пройдено / Не пройдено / Н/Д или –, если проверка к паре не относится, а итог подводит столбец Подходящие методы. Столбец, где во всех строках стоял бы –, не выводится, поэтому при одних непрерывных переменных столбцов групп, частот ячеек и латентных методов нет. Наведите указатель на вердикт, чтобы увидеть стоящие за ним числа: статистику критерия с её степенями свободы и p, счётчики по расстоянию Кука и рычагу, ожидаемые частоты ячеек χ² вместе с наблюдаемыми нулями или ρ Спирмена и остаточную dCor. Сами проверки описаны по семействам в разделах ниже.

• Пара — две переменные, A × B. В получастном расчёте проверки, чувствительные к исключению влияния, зависят от того, из какой переменной оно исключено, поэтому такая пара занимает две строки с пометкой (из переменной удалено влияние).
• Применимость методов по парам — N — число полных (построчно) наблюдений пары. Если оно ниже рекомендательного порога малой выборки (по умолчанию 30), в ячейку Подходящие методы добавляется пометка малая выборка, которая ни одного метода не исключает: при таком объёме любой коэффициент неустойчив, а любой критерий маломощен, какой бы метод ни был выбран.
• Подходящие методы — все методы, которым подходят типы данных пары, причём первым идёт основной: выбранный вами или, в режиме «Смешанная/авто», наиболее подходящий для пары. У каждого метода указаны оговорки по результатам его проверок.
  • Метод исключает только проваленная проверка Линейность (RESET): r Пирсона выводится в скобках с пометкой не выполнены: линейность. При любом другом провале метод остаётся в списке, а оговорка называет средство, которое есть в модуле.
  • Отвергнутая двумерная нормальность или гомоскедастичность добавляет оговорку отвергнута — влияет на интервал и p, но не на коэффициент; выберите доверительные интервалы (бутстрэп), а влиятельные точки — они смещают сам r, а не только его интервал; выберите бутстрэп-ДИ или τ Кендалла, устойчивый к ним.
  • При разреженных ожидаемых частотах φ и V Крамера остаются в списке с оговоркой аналитическое p по χ² ненадёжно; выберите метод расчёта p-значения «Монте-Карло». Проваленная латентная проверка согласия добавляет оценки полихорической/полисериальной корреляции могут быть смещены, а наблюдаемые нулевые ячейки — оценки … могут лежать у границы ±1.
  • Неравные дисперсии групп добавляют влияет на объединённые t/F, на которых основаны p-значение и интервал, но не на сам коэффициент; выберите бутстрэп-ДИ, а там, где пару покрывает D Сомерса, ещё и D Сомерса как ранговую альтернативу. Ненормальность внутри групп добавляет выводы для точечно-бисериальной корреляции / ε² могут быть ненадёжны.
  • Оговорка о множестве совпадений относится только к ранговым методам: для Спирмена и Кендалла это используйте перестановочные p-значения, для β Бломквиста — интерпретируйте с осторожностью, для D Хёффдинга — D занижена, а её критерий консервативен. γ и D Сомерса оговорок не получают.
  • Разреженная сетка дискретизации добавляет для информационных мер по одной фразе на пару, где названы фактическое число интервалов и наименьшая ожидаемая частота. Зависимость сверх монотонного тренда добавляет совет рассмотреть дистанционную корреляцию, взаимную информацию или D Хёффдинга, если основной метод не входит в их число.
  • Если проверка применима, но выполнить её не удалось (ошибка расчёта, слишком мало данных), метод остаётся в списке с пометкой проверку пригодности выполнить не удалось, чтобы непроверенный метод отличался от прошедшего проверку.

Под матрицей могут появиться два примечания. Первое появляется, когда какая-либо проверка отвергает допущение у оценённых пар не чаще, чем следует ожидать случайно при вашем уровне значимости для проверки допущений: такие отклонения остаются видны в столбце, но на оценку методов не влияют. Второе — когда хотя бы в одной паре N больше 5000: оно объясняет значения Н/Д в ячейках нормальности.

Если активны контрольные переменные, проверки семейства МНК, таблица маргинальной нормальности и проверка зависимости сверх монотонной вычисляются по остаткам регрессии на контрольные переменные. Так каждая проверка описывает ту условную связь, которую выражает частный коэффициент, и об этом сообщает примечание под матрицей. Сами контрольные переменные не проверяются, поскольку они ковариаты, а не предмет анализа. В получастном режиме матрица пар содержит по две строки на пару, а таблица маргинальной нормальности проверяет переменную и после исключения влияния, и в исходном виде.

Диагностика МНК (Пирсон) #

Для каждой пары непрерывных переменных, какой бы метод ни был выбран, карточка проводит диагностику той прямой, которую описывает r Пирсона. RESET, критерий Бройша — Пагана и расстояние Кука считаются для регрессии в обоих направлениях, и пара не проходит проверку, если не проходит хотя бы одно направление:

• Двумерная нормальность — критерий Мардиа для совместной асимметрии и эксцесса пары. Проверка не пройдена, если отвергнута любая из двух гипотез. Провал не исключает Пирсона: он расширяет интервал и делает ненадёжным p, но не меняет коэффициент, поэтому в ячейке предлагается бутстрэп-интервал.
• Линейность (RESET) — критерий RESET Рамсея, который ищет кривизну, не улавливаемую прямой. Это единственный провал, исключающий Пирсона из списка подходящих: при кривизне r перестаёт быть мерой линейной связи, ради которой его вычисляют. Любую монотонную связь в этом случае улавливает Спирмен.
• Гомоскедастичность (Бройш — Паган) — критерий Бройша — Пагана проверяет, одинаков ли разброс по всему диапазону. Как и в случае нормальности, провал влияет на интервал и p, и в ячейке предлагается бутстрэп-интервал.
• Влиятельные точки (D Кука) — Не пройдено, если расстояние Кука хотя бы одного наблюдения больше 1. Подсказка добавляет число наблюдений за порогом $4/(n-p)$, зависящим от объёма выборки, и за порогом рычага 2p/n. Эти числа справочные и на вердикт не влияют. Влиятельная точка смещает сам r, поэтому Пирсон остаётся в списке с оговоркой, которая предлагает бутстрэп-интервал или τ Кендалла.

При N больше 5000 в столбце Мардиа стоит Н/Д, а проваленные RESET и Бройш — Паган уже не влияют на оценку Пирсона: вместо этого добавляется пометка обнаружена нелинейность или обнаружена гетероскедастичность — … сверхчувствителен при таком N. Расстояние Кука под это исключение не подпадает и даёт оговорку при любом объёме.

Маргинальная нормальность (Шапиро — Уилк). Таблица под матрицей, по строке на каждую переменную, входящую в пару непрерывных переменных. В ней W и p критерия Шапиро — Уилка, вердикт и три показателя формы и концентрации, которые вычисляются и там, где W не вычисляется (при N > 5000 в столбце W стоит Н/Д). Если диапазон какой-либо переменной ограничен, появляется примечание.

• Переменная — переменная, которую проверяет строка. В получастном расчёте строка после исключения влияния подписана переменная | контрольные.
• Нормальное — вердикт по критерию Шапиро — Уилка при вашем уровне значимости для проверки допущений: Пройдено, Не пройдено или Н/Д, если значений меньше 3 или больше 5000.
• Асимметрия — скошенность распределения: 0 у симметричного, положительная при длинном правом хвосте, отрицательная при длинном левом.
• Избыточный эксцесс — тяжесть хвостов относительно нормального распределения, у которого он равен 0. Положительный эксцесс означает более тяжёлые хвосты и острую вершину, отрицательный — более лёгкие хвосты и плоскую вершину.
• Макс. доля значения — наибольшая доля наблюдений, приходящаяся на одно значение. На этой мере концентрации основана проверка ограничения диапазона.
• Достаточный разброс — Не пройдено, если максимальная доля значения превышает рекомендательный порог ограничения диапазона (по умолчанию 0.5). Порог условный и статистическим критерием не является, а в таблице совпадений применяется точно так же.

Как понимать диагностику распределения. W чувствителен к объёму выборки: при большом N он отмечает ничтожные отклонения, при малом пропускает реальные. Поэтому оценивайте Не пройдено вместе с асимметрией и эксцессом, которые показывают, насколько данные отличаются от нормальных (см. Шапиро — Уилк). Переменная может пройти проверку нормальности и всё же иметь ограниченный диапазон, а это уменьшает корреляцию независимо от формы распределения.

Ранговые и порядковые методы (совпадения) #

Совпадающие значения. Таблица под матрицей, по строке на каждую переменную из пары, к которой применимы ρ Спирмена, τ Кендалла, γ Гудмана и Краскела или D Сомерса. Эти методы не требуют нормальности, но их p-значения рассчитаны на сравнительно небольшое число совпадений. В строке — число непропущенных значений переменной, описанный ниже профиль совпадений и тот же вердикт Достаточный разброс, что и в таблице маргинальной нормальности. Если хотя бы одна переменная превышает порог совпадений, примечание рекомендует для Спирмена и Кендалла перестановочные p-значения и освобождает от этой рекомендации γ и D Сомерса, стандартные ошибки которых учитывают совпадения. Об ограничении диапазона сообщает отдельное примечание.

• Уникальных значений — сколько разных значений принимает переменная. Если их мало по сравнению с N, данные грубые и склонны к совпадениям.
• Поправка на связанные ранги Σ(t³−t)/(n³−n) — член поправки, который действительно входит в дисперсии ранговых статистик, суммированный по группам одинаковых значений (t — размер каждой группы). Он равен 0 без совпадений, приближается к 1, когда одно значение вытесняет остальные, и близок к 1/k² при k одинаково заполненных уровнях.
• Макс. доля одного значения — наибольшая доля, приходящаяся на одно значение. Она выявляет скопление у пола или потолка даже тогда, когда общая поправка на связанные ранги выглядит умеренной.
• Допустимая доля совпадений — Не пройдено, если поправка на связанные ранги превышает рекомендательный порог для множества совпадений (по умолчанию 0.10): столько набирается при трёх и менее эффективных уровнях или при сильном скоплении значений бинарной или порядковой переменной, а сбалансированная 5-балльная шкала проверку проходит. Порог условный и статистическим критерием не является.

Совпадения искажают p-значение, а не коэффициент. ρ Спирмена и τ Кендалла включают поправку на связанные ранги в саму статистику, а при множестве совпадений страдает опорное распределение, по которому вычисляется аналитическое p-значение (см. совпадения). Отметку о множестве совпадений понимайте так: «с коэффициентом всё в порядке, p-значение стоит перепроверить».

Методы таблиц сопряжённости (частоты ячеек χ²) #

Значимость коэффициента фи и V Крамера проверяется по χ², а для этой аппроксимации нужны достаточные ожидаемые частоты. Для каждой пары, обрабатываемой через таблицу сопряжённости, карточка строит таблицу по полным наблюдениям пары, вычисляет ожидаемые при независимости частоты ячеек и применяет правило Кокрена. Та же проверка выполняется и для латентных пар «дискретная × дискретная», а наблюдаемые в них нулевые ячейки учитываются в предупреждении о близости к границе.

• Достаточные ожидаемые частоты — Не пройдено, если какая-либо ожидаемая частота меньше 1 или больше 20% ячеек имеют частоту меньше 5. В подсказке — наименьшая ожидаемая частота, число ячеек с частотой меньше 5 и число наблюдаемых нулевых ячеек. При провале φ и V Крамера остаются в списке, ведь нарушена аппроксимация χ² для p-значения, а не сам коэффициент, и в ячейке предлагается p-значение методом Монте-Карло.

Почему ожидаемые, а не наблюдаемые частоты? Распределение χ² годится как опорное, когда достаточно велики частоты, ожидаемые при независимости: ячейка может быть пустой при вполне достаточной ожидаемой частоте, и наоборот (см. ожидаемые частоты). Аппроксимацию обходит p-значение методом Монте-Карло.

Информационные меры (сетка дискретизации) #

NMI, AMI, когерентность Райского и U Тейла вычисляются по дискретизированной таблице (см. Интервалы дискретизации), поэтому разреженная сетка завышает сам коэффициент, а не только его p. Предварительная проверка дискретизирует каждую пару по тому правилу, которое будет применено в расчёте. Если наименьшая ожидаемая при независимости частота сетки меньше 5, в ячейку Подходящие методы этой пары добавляется фраза с фактическим числом интервалов, этой частотой и советом уменьшить число интервалов или объединить категории. Вердикта здесь намеренно нет (нет столбца Пройдено / Не пройдено), поскольку не существует порога, за которым мера становится некорректной: сетка — это выбор, а число показывает его цену. Число интервалов указывается фактическое: разбиение на равнонаполненные интервалы не разделяет одинаковые значения, и у переменной с множеством совпадений интервалов получается меньше, чем задано правилом.

Латентные методы (двумерная нормальность) #

Полихорический, тетрахорический, полисериальный и бисериальный коэффициенты оценивают корреляцию двух латентных непрерывных переменных и верны, только если у этих переменных совместное двумерное нормальное распределение. Нарушение этого допущения смещает сам коэффициент, а не только его p. Для каждой пары, к которой применимы латентные методы, карточка проводит собственный критерий согласия оценщика по полным наблюдениям пары:

• Латентная двумерная нормальность — χ² отношения правдоподобия, вычисляемый polycor при подгонке пары и оцениваемый при вашем уровне значимости для проверки допущений. Не пройдено означает, что данные несовместимы с двумерной нормальной латентной структурой, а в подсказке приведены χ², df и p. Насыщенная таблица (тетрахорическая подгонка 2×2 или любая таблица без остаточных степеней свободы) даёт Н/Д, но никогда не Пройдено. При провале метод остаётся в списке с оговоркой могут быть смещены, а дискретная пара, где есть хотя бы одна наблюдаемая нулевая ячейка (или не выполнено правило Кокрена), получает ещё и оговорку могут лежать у границы ±1.

Почему метод не исключается? Для двух порядковых переменных нет коэффициента без допущений, который оценивал бы ту же латентную связь. Поэтому карточка помечает оценку, но оставляет её в списке как лучшую из доступных. Подкрепите её ранговой мерой на той же паре (см. латентную двумерную нормальность).

Здесь раскрыты три детали подгонки, поскольку проверка использует ту же таблицу, что и коэффициент. Пустая ячейка таблицы 2×2 перед тетрахорической подгонкой получает стандартную поправку +0.5, а более широкие таблицы поправки не получают. Полихорическая и тетрахорическая подгонки начинаются с двухшаговой оценки polycor и уточняются полным методом максимального правдоподобия, только если оценка остаётся на границе с бесконечной дисперсией. Их p-значение даёт критерий отношения правдоподобия гипотезы ρ = 0 против модели независимости (1 df), а у полисериальной и бисериальной корреляции — cor.test по непрерывной переменной. Поэтому при очень сильной связи крошечное p может соседствовать с широким интервалом дельта-метода.

Методы сравнения средних (точечно-бисериальная и ε²) #

Точечно-бисериальный коэффициент и корреляционное отношение (ε²) описывают, насколько среднее непрерывной переменной сдвигается между уровнями дискретной, и потому наследуют допущения t-критерия и однофакторного дисперсионного анализа. Для каждой такой пары карточка проводит две проверки по полным наблюдениям пары:

• Равные дисперсии групп — критерий Левена в варианте Брауна — Форсайта (с центрированием по медиане) проверяет, одинаков ли разброс непрерывной переменной в группах. В подсказке — F, его df и p. При Не пройдено точечно-бисериальный коэффициент и ε² остаются в списке с оговоркой неравные дисперсии групп, которая предлагает бутстрэп-интервал, а если группирующая переменная достаточно богата значениями, то и D Сомерса.

Нормальность внутри групп (Шапиро — Уилк). Таблица под матрицей, где на каждое сочетание переменной и группы приходится один критерий Шапиро — Уилка: N группы, W, p, асимметрия, избыточный эксцесс и вердикт Нормальное (Н/Д, если наблюдений меньше 3 или больше 5000). Отклонение сказывается на вердикте по паре, только если отвергшая нормальность группа меньше рекомендательного порога малой выборки и таких групп больше, чем следует ожидать случайно при вашем уровне значимости для проверки допущений. Все отклонения всё равно видны, а примечание под таблицей сообщает, когда вердикт по паре их не учёл. Если отклонение учтено, в ячейку добавляется распределение внутри групп не нормально — выводы для точечно-бисериальной корреляции / ε² могут быть ненадёжны.

• Группировка — дискретная переменная, уровни которой задают группы.
• Группа — уровень, который проверяет строка.

Почему их проверяют как t-критерий? Точечно-бисериальный r — это r Пирсона с группирующей переменной, закодированной 0/1, то есть алгебраически двухвыборочный t-критерий, а корреляционное отношение — доля дисперсии, объяснённая в однофакторном дисперсионном анализе. Поэтому для них вопрос стоит именно так: примерно ли нормальна каждая группа и сопоставим ли разброс?

Немонотонная зависимость (проверка по dCor) #

Коэффициенты Пирсона, Спирмена и Кендалла улавливают только монотонную структуру. U-образная зависимость, цикл или колебания поверх тренда могут оставить все три коэффициента малыми, хотя переменные тесно связаны. Для каждой пары непрерывных или порядковых переменных карточка проверяет именно это:

• Зависимость сверх монотонной (проверка dCor) — обе переменные ранжируются, и изотонная (монотонная) регрессия одного ранга на другой, возрастающая или убывающая по знаку ρ Спирмена, поглощает всё, что может уловить монотонная мера. Оставшееся измеряет дистанционная корреляция остатков, на той же шкале 0–1, что и основной коэффициент. Её p получено критерием Монте-Карло против нулевой гипотезы, при которой зависимость пары чисто монотонна, при тех же маргинальных распределениях и совпадениях, что у пары. В подсказке приведены ρ Спирмена, остаточная dCor и p. Не пройдено ставится, когда остаточная dCor одновременно значима при вашем уровне значимости для проверки допущений и по размеру не меньше очень слабой, то есть попадает хотя бы в нижний из диапазонов нормализованной взаимной информации (по умолчанию от 0.05). Так ничтожное отклонение на большой выборке проверку не проваливает. Н/Д ставится, когда проверка невыполнима (n < 4, постоянная переменная) или когда α меньше, чем позволяет различить число смоделированных выборок. При числе строк больше 1 000 проверка идёт на подвыборке из 1 000 строк с фиксированным зерном, и подсказка об этом сообщает. В частном или получастном расчёте обе переменные сначала заменяются ранговыми остатками регрессии на контрольные переменные, так что проверяется та условная связь, которую выражает частный коэффициент.

Провал никогда не исключает метод: монотонный коэффициент не ошибочен, он лишь охватывает не всю связь, которая может быть в данных. В ячейку Подходящие методы добавляется совет рассмотреть дистанционную корреляцию, взаимную информацию или D Хёффдинга, если основной метод сам не является общей мерой зависимости (информационное семейство, ξ Чаттерджи, D Хёффдинга, дистанционная корреляция).

Это ориентировочная проверка, а не откалиброванный критерий. Об этом сказано и в подсказке к заголовку столбца: p получено по конечному числу смоделированных выборок, поэтому отметка — повод открыть диаграмму рассеяния, а не свидетельство на заданном уровне значимости.

Коллинеарность контрольных переменных (режим частной корреляции) #

Коллинеарность контрольных переменных. Когда активна частная или получастная корреляция, раздел под матрицей оценивает набор контрольных переменных двумя способами, только по непрерывным контрольным и целевым переменным. Попарная проверка вычисляет между ними корреляции и отмечает пары, где есть хотя бы одна контрольная переменная и |r| больше 0.90 (0.71 в шкале τ Кендалла), а если отмечать нечего, выводит наибольший |r|. Пара из двух целевых переменных не отмечается никогда: она не делает условную оценку неустойчивой и и так видна в основной матрице. Совместная проверка вычисляет для каждой переменной VIF относительно набора контрольных и выводит переменные, у которых он не ниже уровня Высокая из порогов коллинеарности VIF (по умолчанию 10), а если таких нет, то наибольший VIF. Набор контрольных переменных может быть почти вырожден в целом, хотя каждая пара проходит порог. Частный коэффициент, обусловленный почти коллинеарными контрольными переменными, неустойчив: прежде чем ему доверять, исключите или объедините избыточную контрольную переменную.

• Пара переменных — отмеченная пара из двух контрольных переменных или из контрольной и целевой, вместе с её r.
• Роль — какую роль в расчёте играет переменная, выведенная по VIF: Контроль или Цель.

Контроль ковариат (частная и получастная корреляция) #

Если выбран метод r Пирсона, ρ Спирмена или τ Кендалла (только для них модуль вычисляет частные корреляции), под списками переменных появляется третий список, а после выбора ковариаты под ним — переключатель режима.

• Контролировать (только Пирсон/Спирмен/Кендалл) — одна или несколько числовых ковариат, линейное (Пирсон) или ранговое (Спирмен, Кендалл) влияние которых исключается из каждой пары перед расчётом корреляции. В списке только числовые переменные, и выбранная контрольная переменная уходит с осей матрицы: она участвует как ковариата, но сама не коррелируется. Для пары нужно k + 3 наблюдений, полных по обеим переменным и по всем ковариатам (k — число ковариат). Наблюдение с пропуском хотя бы в одной из них из этой пары исключается.

Зачем учитывать ковариату? Две переменные могут меняться вместе лишь потому, что обе зависят от третьей (см. смешивающую переменную). Частная корреляция — то, что остаётся от связи, когда третья переменная зафиксирована, а связь, которая при этом, наоборот, усиливается, указывает на супрессию.

Частная или получастная #

• Частная (исключить влияние из обеих) — собственно частная корреляция: влияние ковариат исключается из обеих переменных, и коррелируются остатки (см. частную корреляцию). Симметрична, выбрана по умолчанию и отвечает на вопрос, насколько тесно связаны X и Y среди наблюдений с одинаковым Z.
• Получастная (исключить влияние только из переменной-строки) — получастная корреляция: ковариаты исключаются только из переменной-строки (переменной левого списка), и её остаток коррелируется с исходной переменной-столбцом. Несимметрична (ячейка строки A и столбца B отличается от ячейки строки B и столбца A) и отвечает на вопрос, сколько переменная-строка добавляет к переменной-столбцу сверх ковариат.
• Получастная (исключить влияние только из переменной-столбца) — зеркальный вариант: влияние исключается только из переменной-столбца.

В матричном виде получастный расчёт ведёт себя как остальные асимметричные методы: в двух треугольниках разные числа, флажок Скрыть избыточные значения принудительно снят, и добавляется подпись Направление: строка → столбец. Получастная ячейка даёт то же p, что и соответствующая частная, поскольку обе проверяют, добавляет ли переменная-строка что-нибудь сверх ковариат, а различаются они коэффициентом и интервалом. У получастной корреляции Пирсона аналитический интервал и p TOST опираются на собственную стандартную ошибку. У получастной корреляции Спирмена или Кендалла аналитического интервала нет вовсе (– при Аналитические, интервал при Процентильный бутстрэп с коррекцией смещения), а её TOST выполняется по бутстрэп-стандартной ошибке, которая вычисляется по запросу всякий раз, когда задана граница.

Каждая ячейка и каждая строка длинной таблицы содержат также коэффициент нулевого порядка, то есть ту же корреляцию, вычисленную без ковариат на тех же полных наблюдениях, с индексом ₀ (ρ₀ для Спирмена). Смотрите на оба значения вместе: «при контроле Z связь X и Y ослабла с ρ₀ = 0.61 до ρ = 0.18». Этот разрыв и отражает влияние смешивающей переменной или супрессию (см. корреляцию нулевого порядка).

Диаграммы рассеяния при частном расчёте #

Если включены Диаграммы рассеяния, частный расчёт по Пирсону или Спирмену строит диаграммы «остатки против остатков». По каждой оси откладываются остатки переменной после регрессии на ковариаты (в получастном режиме — только у той переменной, из которой исключено влияние), а подписи осей получают суффикс | ковариаты ((ранги) | ковариаты у Спирмена, где остатки берутся от рангов). Линия МНК имеет наклон частного коэффициента регрессии, r в углу — частный коэффициент из таблицы, а аналитическая полоса строится по частным степеням свободы, n − 2 − k. Частный расчёт по Кендаллу остатков не строит: точки и сглаживание LOWESS показывают связь нулевого порядка, подпись в углу обозначает частное τ как условное (τ | ковариаты, в получастном режиме τ (переменная | ковариаты)) и приводит рядом τ₀ нулевого порядка, которое и показывает сглаживание. Так разрыв между маргинальной и частной связью виден прямо на графике. Ранговые частные корреляции следуют определениям ppcor: частная корреляция Спирмена — это частная корреляция Пирсона по рангам, частная корреляция Кендалла — формула в замкнутом виде по попарным τ. Эти определения распространены, но в литературе есть и другие, поэтому частное τ из другой программы может отличаться.

Сеть частных корреляций #

Карточка сети — отдельная опция в группе Сеть частных корреляций параметров корреляции. Она выводит матрицу коэффициентов, где каждая ячейка — корреляция двух переменных после исключения влияния всех остальных переменных сети, таблицу центральности и силовой граф по тем же числам. Это гауссовская графическая модель из литературы по сетевой психометрии: она отвечает не на вопрос «связаны ли эти две переменные?», а на вопрос «связаны ли они напрямую или только через остальной набор?».

Почему сеть, а не матрица попарных корреляций? В обычной матрице цепочка X → Y → Z даёт три сильные корреляции, и ничто не показывает, что X и Z связаны только через Y. Если в каждом ребре учесть сразу все остальные переменные, от цепочки остаются два ребра (см. сеть частных корреляций).

• Оценить сеть частных корреляций — флажок, который добавляет карточку. Каждое ребро в ней — корреляция двух переменных после исключения влияния всех остальных, поэтому ребро сохраняется только там, где связь не объясняется остальным набором. Нужны r Пирсона, ρ Спирмена или τ Кендалла и не меньше трёх переменных на обеих осях: при двух исключать влияние нечего. Контрольные переменные расчёта входят в сеть как узлы, а не обусловливают её извне, поскольку сеть и так учитывает всё, что в неё входит, и об этом сообщает примечание на карточке. Выборка — один набор наблюдений, полных по всем узлам: строка с пропуском хотя бы в одном из них отбрасывается, и примечание сообщает, сколько таких строк, тогда как в остальном модуле пропуски удаляются попарно.
• Метод оценки — каким из двух способов подгоняется сеть. Способы отвечают на разные вопросы, и в отчёте нужно указать, какой был использован. Как выбрать между ними, объяснено в статье о графическом лассо.
• Нерегуляризованная (каждое ребро оценивается и проверяется) — по умолчанию. Каждое ребро оценивается и получает p-значение при n − p степенях свободы, так что карточка представляет собой набор проверок гипотез. Годится для любого из трёх методов и для выборки, заметно превышающей число рёбер.
• Регуляризованная — графическое лассо, штраф выбирается по EBIC — графическое лассо: малые рёбра сжимаются ровно до нуля, а штраф выбирается по расширенному BIC, так что карточка представляет отобранную модель. p-значений здесь нет, и отсутствие ребра — более сильное утверждение, чем его незначимость. Только для Пирсона или Спирмена. Подходит для сети, большой относительно n, или когда нужен читаемый граф.
• Настроечный параметр γ для EBIC — виден при регуляризованном методе оценки: насколько сильно критерий штрафует более плотный граф, от 0 (наименее консервативно, больше рёбер) до 1 (наиболее консервативно, меньше рёбер). Общепринятое значение и значение по умолчанию — 0.5.

Если сеть подогнать невозможно, карточка отказывается от расчёта и объясняет причину: меньше трёх узлов, а при нерегуляризованном методе ещё вырожденная корреляционная матрица узлов (одна переменная — комбинация других) или полных наблюдений меньше, чем узлов плюс один. Каждое такое сообщение советует регуляризованный метод, который справляется с обоими случаями. Ещё в двух случаях сеть подгоняется, но с предупреждением. Нерегуляризованная сеть, где наблюдений меньше, чем p(p+1)/2 параметров насыщенной модели, даёт неустойчивые оценки отдельных рёбер. У регуляризованной сети, штраф которой оказался на краю сетки поиска EBIC, число рёбер отвечает самой разреженной (или самой плотной) сети, допускаемой сеткой, а не оптимуму.

Частные корреляции. Первый раздел карточки — матрица рёбер в раскладке основной матрицы. Каждая ячейка — частная корреляция после исключения влияния всех остальных узлов, с p-значением при нерегуляризованном методе и без него при регуляризованном, где пустая ячейка означает ребро, сжатое до нуля. Примечание над матрицей указывает число наблюдений и узлов, а также степени свободы или число отобранных рёбер с отобравшими их λ и γ.

Центральность и сообщества #

Центральность и сообщества. Таблица между матрицей и графом, по строке на узел в порядке убывания силы: она показывает, какой узел важнее всего и какие узлы группируются вместе. Если разбиение найти не удалось, заголовок сокращается до Центральность. Примечания над таблицей объясняют, по каким рёбрам берутся суммы (при нерегуляризованном методе — по всем рёбрам с их коэффициентами, при регуляризованном — только по отобранным) и насколько можно доверять разбиению.

• Узел — переменная (см. узел).
• Сообщество — группа, в которую разбиение поместило узел. То же разбиение передают цвета узлов на графе (см. сообщество).
• Сила — сумма абсолютных весов рёбер узла (см. силу).
• Ожидаемое влияние — та же сумма со знаком. Смотрите на обе величины вместе: у узла, положительные и отрицательные рёбра которого гасят друг друга, сила высокая, а ожидаемое влияние близко к нулю (см. ожидаемое влияние).
• Рёбра — сколько отобранных рёбер касается узла. Выводится только при регуляризованном методе, где это число что-то значит (см. ребро).

Оба индекса — простые суммы в шкале самого коэффициента, не стандартизованные по узлам. Узел без рёбер получает 0 по обоим индексам по построению, и примечание сообщает, сколько таких узлов. Других мер центральности, кроме силы и ожидаемого влияния, карточка не выводит.

Узлы разбиваются на сообщества по знаковым весам рёбер (отрицательное ребро — повод разделить два узла, а не вес, у которого можно отбросить знак) поиском по знаковой модулярности методом спинового стекла. Примечание над таблицей приводит число сообществ и найденную модулярность: значение около 0 означает, что группировки не больше, чем дали бы одни силы узлов. При нерегуляризованном методе ребром является каждая пара, поэтому разбиение опирается на контраст между весами рёбер, а не на то, какие рёбра оставила модель. Если сеть распадается на несвязные части, ни одно сообщество не охватывает две из них, и примечание сообщает число частей. Поиск идёт методом отжига из случайного начального состояния и потому привязан к настройке Зерно воспроизводимости: если её очистить, повторный запуск может вернуть другое разбиение той же сети, о чём тоже сообщает примечание.

Сообщество — не число факторов. Выделение сообществ в сети применяется и как метод оценки размерности, поэтому число сообществ соблазнительно считать числом факторов. Но разбиение описывает эту сеть при этом методе оценки (см. сообщество), а вопрос о размерности решает факторный анализ.

Сеть. Последний раздел карточки — силовой граф рёбер: цвет узла обозначает сообщество, толщина ребра — коэффициент. При регуляризованном методе граф рисует отобранные рёбра и не фильтрует их по p-значению, которое не вычислялось. Устойчивость весов рёбер (бутстрэп-интервалы для рёбер — обычный вопрос рецензента к опубликованной сети) в карточку не входит.

Проверка различий между корреляциями #

Карточка Проверка различий между корреляциями проверяет, различаются ли две корреляции: теснее ли X связана с Y, чем с Z, одинакова ли корреляция пары во всех группах, подчиняется ли вся матрица одной структуре. Критерий выбирается по структуре сравнения, а результаты выводятся в карточке Сравнение корреляций.

Зачем особый критерий? Два коэффициента из одной выборки сами коррелированы, а из разных выборок — нет, и критерий должен это учитывать (см. зависимые и независимые корреляции).

Структуры сравнения #

• Структура сравнения — какие ячейки сравниваются и на какой выборке. Попарные структуры дают по сравнению на каждую пару ячеек, совместные — одну общую статистику для всей матрицы (совместная проверка структуры). Структура, которую нельзя применить к матрице текущей формы, скрыта: для Внутри каждой строковой переменной нужны две переменные-столбца при одной переменной-строке, для Относительно опорной ячейки — две разные ячейки, для двух межгрупповых структур — группирующая переменная хотя бы с двумя группами. Если выбранная структура становится недоступной, выбор возвращается к Без сравнения.
• Без сравнения — по умолчанию: карточка сравнения не выводится.
• Внутри каждой строковой переменной — каждая пара ячеек с общей переменной-строкой (её корреляция с одной переменной-столбцом против корреляции с другой) на полной выборке. Это зависимые перекрывающиеся корреляции, и проверяются они выбранным вами вариантом критерия для зависимых корреляций. Таблицу открывает χ² равенства для каждой переменной-строки.
• Внутри каждой столбцовой переменной — зеркальный вариант: каждая пара ячеек с общей переменной-столбцом.
• Относительно опорной ячейки — каждая ячейка против той, что задана в поле Опорная ячейка, на полной выборке. Пара с общей переменной получает критерий для перекрывающихся корреляций, пара без общих переменных — для неперекрывающихся, и в одной таблице могут быть обе.
• Между группами — одна и та же ячейка в каждой паре групп переменной Сравнить по (переменная). Это независимые корреляции: для Пирсона, Спирмена, Кендалла и точечно-бисериального коэффициента используется z Фишера, для семи остальных методов с аналитическим критерием — z Вальда по аналитической стандартной ошибке. При трёх и более группах таблицу открывает χ² однородности для каждой ячейки.
• Равенство структуры (одна выборка) — один совместный χ² для набора ограничений, заданного в поле Тип структуры, по строкам, полным по каждой переменной матрицы. Это критерий равенства структуры Стейгера, а при бутстрэп-интервалах — статистика Вальда, откалиброванная бутстрэпом.
• Равенство между группами — одна совместная проверка того, одинакова ли вся корреляционная матрица во всех группах переменной Сравнить по (переменная): χ² Дженнриха для двух групп, χ² Вальда на ковариации Олкина — Сиотани при объединённой матрице для трёх и более.
• Опорная ячейка — видна при структуре Относительно опорной ячейки. В группе Выбор по данным есть самая сильная и самая слабая ячейки, в группе Заранее заданная ячейка — все ячейки, которые образует текущий выбор строк и столбцов. Предпочтительна заранее заданная ячейка: выбранную по данным сравнивают с теми же данными, по которым её выбрали, поэтому таблица получает примечание об оптимистичности, а заранее заданная подписывается (задана заранее, …) и примечания не получает. Если заранее заданной ячейки больше нет в матрице, при её расчёте произошла ошибка или у неё нет пригодного коэффициента, вместо пустой таблицы выводится её название и причина.
• Наибольшее |r| — ячейка с наибольшим по модулю коэффициентом. При равных значениях выбор решает имя переменной, так что он одинаков при каждом запуске.
• Наименьшее |r| — ячейка с наименьшим по модулю коэффициентом, равные значения упорядочиваются так же.
• Тип структуры — виден при структуре Равенство структуры (одна выборка): набор ограничений, который проверяет совместный критерий. Два варианта с одной якорной переменной скрыты, если на текущей матрице они не дают ни одного ограничения или лишь повторяют составную симметрию (на квадратной симметричной матрице все три — один и тот же критерий). Карточка формулирует H₀ выбранного типа словами и выводит число ограничений как df.
• Все корреляции равны (составная симметрия) — по умолчанию: все корреляции матрицы равны, а на квадратной симметричной матрице это классическое «все внедиагональные корреляции одинаковы».
• Равны внутри каждой строковой переменной — корреляции каждой переменной-строки равны между собой, а строки могут различаться.
• Равны внутри каждой столбцовой переменной — то же по столбцам.
• Сравнить по (переменная) — категориальная переменная, которая делит выборку на группы. Она обязательна для структур Между группами и Равенство между группами и не учитывается остальными четырьмя. С осей матрицы она уходит, поскольку внутри группы постоянна. Если у неё больше 50 уровней, расчёт предупреждает, что стоит проверить, действительно ли переменная категориальная: каждый уровень требует отдельного расчёта корреляций.
• Выберите переменную — заполнитель: пока переменная не выбрана, две межгрупповые структуры не запускаются.

Какие методы можно сравнить #

Получит ли ячейка критерий различий, зависит от метода, структуры и настройки Доверительные интервалы:

• Аналитический путь — Пирсон, Спирмен, Кендалл (включая частные корреляции) и точечно-бисериальный коэффициент получают аналитический критерий в любой структуре. Дисперсия канонична для Пирсона и служит подстановочным приближением для трёх остальных, а критерий для частной корреляции использует df = n − k − 3 (n − k − 4 для Кендалла). Где это применимо, об этом сообщает сноска под таблицей.
• Путь Вальда для групп — только в структурах Между группами и Равенство между группами ещё семь методов получают аналитический критерий по собственной аналитической стандартной ошибке: полихорическая, тетрахорическая, полисериальная и бисериальная корреляции, γ Гудмана и Краскела, D Сомерса и β Бломквиста. Их сравнения внутри одной выборки по-прежнему возможны только через бутстрэп.
• Бутстрэп-путь — все остальные методы, которые поддерживает бутстрэп, включая асимметричные (каждое направление получает своё распределение), получают критерий различий, только если в поле Доверительные интервалы выбран Процентильный бутстрэп с коррекцией смещения. При Аналитические или Нет критерия в этих ячейках нет, а примечание называет нужное переключение. Структуры с одной выборкой в каждой итерации берут одни и те же строки для всех пар, а межгрупповые извлекают строки независимо по группам. Совместный критерий Равенство структуры для одной выборки остаётся статистикой Вальда, откалиброванной по собственному бутстрэп-распределению, поэтому, прежде чем судить о его p вблизи порога, увеличьте Повторы бутстрэпа.
• Получастный режим — всегда идёт через бутстрэп, каким бы ни был метод.
• Смешанная/авто — критерия различий нет: выбор метода для каждой пары нельзя свести к одной статистике сравнения, и карточка об этом сообщает.

Вариант критерия для зависимых корреляций #

• Критерий для зависимых корреляций — для структур с одной выборкой (по строкам, по столбцам, относительно опорной ячейки и равенство структуры, а для двух межгрупповых он скрыт): при каком среднем двух коэффициентов вычисляется ковариация при H₀. Это один общий выбор, а не четыре отдельных критерия, потому что структура с опорной ячейкой смешивает в одной таблице перекрывающиеся и неперекрывающиеся ячейки.
• Обратно преобразованное среднее z Фишера (лучше при ненормальности) — по умолчанию: два коэффициента усредняются в шкале z Фишера, и среднее преобразуется обратно. Для перекрывающихся ячеек это z Данна и Кларка в модификации Хиттнера, Мэя и Сильвера (Hittner, May & Silver, 2003), для неперекрывающихся — вариант Сильвера, Хиттнера и Мэя (Silver, Hittner & May, 2004). Оба — z-статистики, поэтому df в таблице нет.
• Простое среднее двух коэффициентов (классический) — классическая пара из учебников: T2 Уильямса для перекрывающихся ячеек и модификация z Данна и Кларка по Стейгеру (Steiger, 1980) для неперекрывающихся, обе при $(r_1+r_2)/2$. На практике два варианта дают близкие результаты: это выбор способа отчёта, который можно обосновать в обе стороны, а не исправление ошибки.

Чтение таблицы сравнений #

Карточка открывается подписью с названием структуры. Для четырёх попарных структур она выводит по строке на сравнение со следующими столбцами:

• Пара A и Пара B — две сравниваемые ячейки, заданные именами переменных. В структуре Относительно опорной ячейки опорная ячейка вместе с её коэффициентом, интервалом и p переносится в строку над таблицей, а в строках таблицы остаётся только Сравниваемая ячейка. В структуре Между группами пара записывается как Переменная 1 и Переменная 2, при трёх и более группах добавляются Группа A и Группа B, а при двух группах их названия переходят в заголовки коэффициентов.
• r (A) и r (B) — два коэффициента, в заголовке — символ метода. В структуре с опорной ячейкой выводится только коэффициент сравниваемой ячейки под одним символом, а при сравнении двух групп в структуре Между группами в заголовках стоят названия групп ({symbol} ({group}), по столбцу на группу).
• 95% ДИ (A) и 95% ДИ (B) — собственный интервал каждого коэффициента из основной матрицы. Выводится, когда включены Доверительные интервалы, при заданном вами уровне доверия. Интервал опорной ячейки переносится в строку над таблицей, а при сравнении двух групп и здесь в заголовках стоят названия групп.
• p (A) и p (B) — собственное p каждого коэффициента против нуля из семейства проверок значимости матрицы, поэтому поправка для сравнений их не затрагивает. Они следуют режиму отображения поправки: в режиме замены выводятся значения, скорректированные по всему пакету (в структуре Между группами — внутри семейства каждой группы), в режиме добавления — исходные. В структуре с опорной ячейкой выводится только p сравниваемой ячейки, а p опорной стоит в строке над таблицей.
• N — объём выборки, на которой выполнен критерий. В попарных структурах с одной выборкой это число строк, полных по всем переменным сравнения (при попарном удалении — меньше собственного n любой из ячеек), и 95% ДИ (Δ) строится при том же n. В таблице Между группами это собственное попарно полное n каждой группы, в столбцах N (A) и N (B) или под названиями групп. В совместных таблицах и таблицах по якорным переменным это число строк, полных по всей матрице, а при межгрупповом сравнении — для каждой группы. На бутстрэп-пути такого n нет, и столбец не выводится.
• Δr — разность r(A) − r(B) (см. Δr). В структуре Относительно опорной ячейки заголовок — Δr (опорная − ячейка), чтобы знак нельзя было понять наоборот. Пара, ячейки которой вычислены разными фактическими методами (ячейка ε² против перехода к V Крамера, число в шкале r² против числа в шкале r), помечается Несравнимо и Δr не получает.
• 95% ДИ (Δ) — интервал для самой разности: интервал MOVER Цзоу (Zou, 2007) при Аналитические и при бутстрэпе — процентильные квантили Δr по бутстрэп-выборкам с коррекцией смещения. Именно по этому интервалу судят о сравнении: если он не содержит 0, разность значима на этом уровне, а существует он даже там, где аналитической статистики нет.
• Статистика — значение критерия со звёздочками значимости. Если во всей таблице работает один критерий, столбец озаглавлен его символом: t для T2 Уильямса, z для всех остальных аналитических критериев. В структуре с опорной ячейкой возможны оба, и тогда заголовок — Статистика, а в каждой ячейке стоит своя буква. На бутстрэп-пути столбца нет, и вывод опирается на интервал и p для Δr. Ячейка без критерия показывает –, а подсказка объясняет почему.
• df — степени свободы, только для T2 Уильямса. У z-критериев и на бутстрэп-пути их нет, и столбец не выводится вовсе, а не заполняется –.
• p (Δ) — p-значение критерия различий, а рядом p (скорр.), если поправка включена в режиме добавления (в режиме замены скорректированное значение стоит на месте исходного). На бутстрэп-пути оно скорректировано на смещение с тем же перецентрированием, что и 95% ДИ (Δ), поэтому p (Δ) < α ровно тогда, когда интервал уровня α не содержит 0. Ячейка без критерия называет препятствие в подсказке. Коэффициент, равный ±1 (там z Фишера не определено), и слишком мало полных наблюдений в группе получают отдельные сообщения, поскольку бутстрэп здесь не поможет, а во всех остальных случаях подсказка указывает на переключатель Доверительные интервалы.

Над попарными строками две структуры добавляют собственную совместную таблицу:

• Однородность по всем группам — в структуре Между группами при трёх и более группах: по одному χ² на ячейку (Переменная 1, Переменная 2, Группы — сколько групп объединяет ячейка, χ², df, p), который проверяет H₀ корреляция одинакова во всех группах, взвешивая каждую группу по её собственной дисперсии. Сначала смотрите на эту таблицу, затем по строкам ищите, где именно различие. Поправка к ней применяется как к отдельному семейству, а на бутстрэп-пути она не вычисляется.
• Равенство внутри каждой строковой переменной — в структуре Внутри каждой строковой переменной и её столбцовом зеркале: по одному χ² равенства структуры по Стейгеру на якорную переменную (Переменная, χ², df, p, N), который проверяет H₀ все корреляции этой переменной равны. Выводится для якорных переменных хотя бы с двумя сравнениями, поскольку при одном совместный критерий повторил бы попарную строку. Поправка применяется как к отдельному семейству, на бутстрэп-пути таблица не вычисляется.

Для двух совместных структур карточка выводит таблицу из одной строки, под ней словами сформулирована проверяемая H₀, а затем идут стоящие за ней сравнения:

• Критерий — какая статистика вычислена: χ² равенства структуры по Стейгеру, откалиброванный бутстрэпом критерий Вальда равенства структуры, χ² Дженнриха для двух групповых матриц, χ² Вальда на Σ Олкина — Сиотани для большего числа групп или описанная ниже запасная комбинация Коши. Её df — число ограничений, а N — число строк, полных по всей матрице. У критерия, откалиброванного бутстрэпом, N нет, и вместо него указано, на скольких пригодных повторах основаны его ковариация и p.
• Комбинация Коши — запасной вариант, когда совместный критерий вычислить нельзя: комбинация Коши (ACAT) p-значений компонентных сравнений и примечание о том, почему совместный критерий не использован. Причины такие: для метода нет аналитического совместного критерия, при межгрупповом сравнении включены бутстрэп-интервалы, ячейка отсутствует или вычислена с ошибкой, матрица не положительно определена, слишком мало полных наблюдений, из выбранных ячеек не складывается ни одного ограничения равенства, ковариация ограничений вырождена или пригодных повторов слишком мало.
• Коэффициенты по группам — в структуре Равенство между группами: по строке на ячейку, где рядом стоят коэффициент и n каждой группы. Это те матрицы, которые сравнивает совместный критерий, а компонентные строки раскладывают их по сравнениям для каждой пары групп. Группа, матрицу которой собрать не удалось, исключается и называется, а критерий выполняется на остальных, пока их остаётся хотя бы две.
• Компонентные сравнения — попарные сравнения, которые обобщает совместный критерий, в раскладке попарной таблицы и с её поправкой, чтобы значимый совместный результат можно было проследить до определяющих его ячеек.

Сноска под таблицей называет использованное семейство критериев (T2 Уильямса, z Стейгера, их варианты с обратным преобразованием, z Фишера, z Вальда для групп или бутстрэп с числом повторов) и действующие оговорки: подстановочное приближение для Спирмена, Кендалла и точечно-бисериального коэффициента, df частной корреляции, обработку получастного режима и то, что асимметричным коэффициентам для сравнений внутри одной выборки нужен бутстрэп.

Поправка p-значений для сравнений #

Та же общая поправка на множественные сравнения, что действует для матрицы, применяется отдельно к семейству p-значений критериев различий: p-значения матрицы и карточки различий корректируются независимо, поскольку отвечают на разные семейства вопросов. Внутри карточки различий все сравнения одной структуры образуют одно семейство.

Сравнения в отчёте #

Описывая критерий различий в отчёте, укажите структуру сравнения, семейство критериев (T2 Уильямса или z Стейгера, их варианты с обратным преобразованием, z Фишера, z Вальда для групп или бутстрэп с числом повторов B) и вариант Критерий для зависимых корреляций, оба коэффициента, Δr вместе с доверительным интервалом (Цзоу или бутстрэп), статистику критерия с df, p-значение (исходное и, если применялась поправка, скорректированное) и объём выборки (или объёмы). Для общих критериев укажите χ², df, p и использованный вариант (равенство структуры по Стейгеру, Дженнрих, Вальд на Олкине — Сиотани или запасной ACAT).

Параметры отображения #

Остальная часть карточки Параметры корреляции определяет, что выводится в каждой ячейке и как показывается расчёт. Ниже в том порядке, в каком они стоят на панели, описаны параметры отдельных методов (они появляются под списком методов), формат таблицы, визуализации, доверительные интервалы, граница пренебрежимо малой корреляции и два переключателя отображения матрицы.

Добавить взаимную информацию / Добавить энтропии #

Когда выбрана информационная мера (NMI, AMI, когерентность Райского или U Тейла), под списком методов появляются два флажка, по умолчанию оба сняты.

• Добавить взаимную информацию — добавляет в каждую ячейку или строку длинной таблицы саму взаимную информацию в натах с поправкой Миллера — Мэдоу. Это абсолютное количество общей информации, которое нормировка убирает из коэффициента, и оно нужно для отчёта и для сверки с другими программами. С добавленными энтропиями согласуется именно скорректированное значение, а не подстановочная оценка взаимной информации, на которой строится аналитический критерий χ².
• Добавить энтропии — добавляет H(строка) и H(столбец), маргинальные энтропии двух переменных. По ним низкую NMI можно отличить от случая, когда в переменной изначально мало информации.

Метод расчёта p-значения (только для информационных мер) #

• Метод расчёта p-значения — каким критерием получено p-значение под каждым коэффициентом. Это название носят четыре раскрывающихся списка, по одному на семейство методов: здесь информационное семейство, далее дистанционная корреляция, Пирсон, ранговые и порядковые методы и пара методов для таблиц сопряжённости. На экране виден тот список, который относится к выбранному методу. Коэффициент при любом варианте один и тот же, меняется только p-значение.
• Аналитический χ² (быстро, проверяет независимость) — по умолчанию для NMI, AMI, когерентности и U Тейла: критерий независимости χ² по дискретизированной таблице, одно аналитическое вычисление на пару. Он проверяет независимость, а не значение нормированного коэффициента в ячейке. При малых ожидаемых частотах таблицы он теряет точность, о чём предупреждает оговорка под таблицей, и тогда помогает перестановочный вариант. Для меры Скорректированная взаимная информация он всегда лишь приближённый, и об этом тоже сообщает оговорка.
• Перестановочный (медленнее, проверяет указанный коэффициент) — перемешивает одну переменную и на каждой перестановке заново вычисляет выбранный коэффициент, так что p показывает, превышает ли эта NMI, AMI, когерентность или U Тейла случайный уровень (см. перестановочный критерий). Критерий точен для каждой меры семейства, включая AMI. Число перестановок подбирается под ваш уровень значимости: его нижняя граница — настройка повторов бутстрэпа, а при поправке на множественные сравнения оно увеличивается. То же число используется во всех перестановочных вариантах и вариантах Монте-Карло ниже.

Интервалы дискретизации #

Информационным мерам нужна таблица сопряжённости, поэтому каждая непрерывная переменная сначала разбивается на равнонаполненные интервалы. Насколько мелкой будет эта сетка, задают два поля под параметрами информационных мер.

• Интервалы дискретизации — правило, задающее число интервалов для каждой непрерывной переменной. Число интервалов при любом правиле не превышает числа различных значений переменной, а переменная с десятью и менее различными значениями кодируется по уровням без разбиения, так что настройка затрагивает только действительно непрерывные столбцы. Более мелкая сетка различает больше структуры, но разрежает совместную таблицу, а это завышает сам коэффициент (см. дискретизацию).
• Кубический корень из N (консервативно) — по умолчанию: около ∛n интервалов.
• Правило Райса (удвоенный кубический корень из N) — 2·∛n интервалов, сетка вдвое мельче.
• Правило Стёрджеса (log₂ N + 1) — log₂ n + 1 интервалов, на большой выборке самая грубая сетка из трёх.
• Фиксированное число — число, заданное в поле Интервалов на переменную.
• Интервалов на переменную — видно при варианте Фиксированное число: точное число интервалов, от 2 до 50, на которое разбивается каждая непрерывная переменная.

Мельче — не значит лучше. Более мелкая сетка различает больше структуры, но распределяет те же строки по большему числу ячеек, а на разреженной таблице завышается сама взаимная информация. Поэтому коэффициенты из расчётов с разными настройками интервалов несравнимы, и если правило отличается от заданного по умолчанию, оговорка под таблицей его называет (см. дискретизацию). Предварительная проверка и бутстрэп-интервалы используют ту же сетку, что и коэффициенты.

Метод расчёта p-значения (дистанционная корреляция) #

Только у дистанционной корреляции по умолчанию выбран более медленный вариант.

• Перестановочный (медленнее, с корректным уровнем значимости) — по умолчанию: перемешивает одну переменную и на каждой перестановке заново строит дистанционную ковариацию, так что опорное распределение берётся из ваших собственных данных и критерий соблюдает заданный уровень значимости. Перестановки выполняются в скомпилированном коде, который кнопка Отмена прервать не может, поэтому объём работы для каждой ячейки ограничен. Примерно от 1 600 строк при настройках по умолчанию число перестановок уменьшается, чтобы уложиться в этот объём: оговорка под таблицей сообщает фактическое число, и p соответственно грубее. Примерно выше 2 200 строк не укладываются даже минимальные 199 перестановок, и тогда ячейка сообщает слишком много строк для непрерываемого перестановочного критерия и предлагает аналитический вариант.
• Аналитический t (быстро, антиконсервативен в хвосте) — приближение t, которое на парах из двух столбцов, какие строит этот модуль, отвергает гипотезу слишком часто, и с ростом выборки это не исправляется. Годится как быстрый отсев, когда хвост распределения вас не интересует, или для выборки, на которой перестановочный критерий отказывается работать.

Метод расчёта p-значения (Пирсон, ранговые и порядковые методы) #

Этот список появляется при методах r Пирсона, ρ Спирмена, τ Кендалла, γ Гудмана и Краскела и D Сомерса, а также при пресете Смешанная/авто · наблюдаемые оценки, который выбирает среди них.

• Аналитический (быстро, приближённый при совпадениях, ненормальности или малых выборках) — по умолчанию: p-значение cor.test для Пирсона и ранговых методов и критерий Вальда по стандартной ошибке с учётом совпадений для γ и D Сомерса. Надёжен на данных с преимущественно различными значениями и примерно нормальным распределением. Два повода переключиться — проверка совпадений и проваленная диагностика МНК. Для γ и D Сомерса, равных ±1 (γ достигает этого на любой таблице без несогласованных пар), он может не дать ни p-значения, ни стандартной ошибки, ни интервала.
• Перестановочный (медленнее, точный критерий независимости) — перемешивает одну переменную и на каждой перестановке заново вычисляет коэффициент, а p-значение — двусторонняя доля перестановок, достигающих наблюдаемого модуля (см. перестановочный критерий). Это точный критерий независимости при любом числе совпадений, любой асимметрии маргинальных распределений и любом объёме выборки и единственный способ получить p-значение для γ или D Сомерса, равных ±1. τ Кендалла обходится в O(n²) на перестановку, поэтому при его выборе заранее появляется предупреждение с числом пар, объёмом выборки и числом повторов.

Если активны контрольные переменные, перестановочный вариант остаётся доступен и переходит на схему Фридмана — Лейна. Исход регрессируется на контрольные переменные, перемешиваются только остатки, и коэффициент вычисляется заново по полученной замене, предварительно отображённой на собственные значения исхода, чтобы статистика с нормировкой на связанные ранги сохраняла шкалу. Нулевая гипотеза тогда условная (X ⊥ Y при данном Z), критерий приближённый, а не точный, и оговорка под таблицей сообщает об этом всякий раз, когда одновременно заданы ковариаты и перестановки.

Метод расчёта p-значения (методы таблиц сопряжённости) #

Коэффициент фи и V Крамера получают p-значение из критерия χ² по таблице сопряжённости пары, и у них свой раскрывающийся список.

• Аналитический χ² (быстро, требует достаточных ожидаемых частот) — по умолчанию: асимптотическое p-значение chisq.test. Оно надёжно, когда ожидаемые частоты ячеек достаточны (вердикт Достаточные ожидаемые частоты в карточке допущений), и ненадёжно в противном случае.
• Монте-Карло (медленнее, корректен на разреженных таблицах) — моделирует таблицы с наблюдаемыми маргинальными суммами и выводит долю тех, что достигают наблюдаемой статистики. Способ корректен при любой разреженности таблицы (см. Монте-Карло). Используются то же число повторов, что и в перестановочных вариантах, и фиксированное зерно, поэтому результат воспроизводим. Именно это средство предлагает предупреждение о разреженных ячейках: переключитесь сюда, а не исключайте φ или V Крамера из анализа.

Формат таблицы #

• Матрица — по умолчанию: корреляционная матрица с переменными по обеим осям (см. формат матрицы).
• Длинная таблица — плоская таблица, по строке на пару переменных, где каждая часть содержимого ячейки матрицы стоит в отдельном столбце (см. длинный формат).

Визуализация #

Пять флажков добавляют по карточке с графиком. Сами графики, их параметры и легенды описаны в разделе Визуализации.

• Корреляционная сеть (связывание рёбер) — круговая сеть значимых пар: переменные расставлены по окружности, а между ними идут изогнутые рёбра, собранные в пучки (см. связывание рёбер). При направленной мере недоступна: флажок отключён, а примечание отсылает к силовому графу.
• Силовой граф — интерактивная сеть, в которой сильный коэффициент притягивает свои две переменные друг к другу, а слабый позволяет им разойтись. При асимметричном методе рёбра рисуются со стрелками (см. силовой граф).
• Коррелограмма — матрица ориентированных эллипсов, по одному на пару. Рисуются все ячейки, а незначимые приглушены (см. коррелограмму).
• Упорядочить переменные кластеризацией — дополнительная опция коррелограммы, по умолчанию выключена. Кластеризует переменные по 1 − |r| и переупорядочивает обе оси по результату, так что связанные переменные стоят сплошными блоками. Требует одинаковых переменных на обеих осях (см. упорядочивание переменных кластеризацией).
• Диаграммы рассеяния — по диаграмме рассеяния на пару, с тем наложением, которое требует метод (см. диаграммы рассеяния).

Оба сетевых графа по умолчанию рисуют только статистически значимые пары, и рядом с каждым есть флажок Показывать незначимые связи (приглушённо). Сеть частных корреляций строит собственный силовой граф и включается отдельно.

Доверительные интервалы #

• Доверительные интервалы — выводить ли для каждого коэффициента интервал при общем уровне доверия. В длинной таблице это дополнительный столбец, в ячейках матрицы — дополнительная строка под коэффициентом, а если активна проверка различий, то ещё и интервалы для каждого коэффициента и для Δr в таблице сравнений. Метод, у которого в выбранном режиме нет интервала, показывает –, а если интервала нет ни у одной ячейки расчёта, столбец не выводится.
• Нет — по умолчанию: интервалы не вычисляются.
• Аналитические (по формуле, где она есть) — собственный аналитический интервал каждого метода: z Фишера для Пирсона, Спирмена, Кендалла и точечно-бисериального коэффициента; интервал Вальда в шкале atanh для латентных методов, γ и D Сомерса; интервал, полученный обращением собственной статистики критерия, для η², V Крамера, коэффициента фи и β Бломквиста; интервал Вальда в исходной шкале по огибающей стандартной ошибке для ξ Чаттерджи. У информационного семейства, D Хёффдинга, дистанционной корреляции и получастных корреляций Спирмена и Кендалла аналитической формулы нет, и здесь они показывают – с оговоркой, отсылающей к бутстрэпу. Оговорка отмечает и интервалы, требующие осторожности: интервал ξ, интервал точечно-бисериального коэффициента при соотношении групп хуже примерно 20/80, интервал латентного метода рядом с почти идеальным коэффициентом и латентную пару с многокатегориальной переменной.
• Процентильный бутстрэп с коррекцией смещения (любой метод) — извлекает из данных выборки с возвращением столько раз, сколько задано повторами бутстрэпа, и берёт перецентрированный процентильный интервал коэффициентов по бутстрэп-выборкам (см. процентильный бутстрэп с коррекцией смещения). Доступен для любого метода, включая частные и получастные корреляции, и потому служит запасным вариантом для каждого коэффициента без аналитической формулы. Число повторов меньше 100 модуль поднимает до 100, о заниженном покрытии при любом значении меньше 1 000 сообщает оговорка, а интервал ячейки строится, только если не меньше 80% бутстрэп-выборок дали пригодное значение.

Какой режим выбрать? Аналитический интервал быстрее и уже, когда выполнены его допущения. Бутстрэп медленнее и чуть шире, но именно он даёт корректный интервал на малой или ненормальной выборке и для метода без аналитической формулы (см. бутстрэп).

Число повторов — часть интервала. Границы процентильного интервала — это отдельные значения по бутстрэп-выборкам в хвостах, поэтому, прежде чем приводить интервал в отчёте, увеличьте повторы бутстрэпа (см. число повторов бутстрэпа).

Граница пренебрежимо малой корреляции (TOST) #

• Граница пренебрежимо малой корреляции (TOST) — Δ, наибольший коэффициент, который вы ещё считаете практически нулевым. Оставьте поле пустым (по умолчанию), чтобы пропустить проверку. Если граница задана, для каждой пары выполняется проверка эквивалентности, а в таблице появляется столбец p (Δ). Знаковые коэффициенты (Пирсона, Спирмена, Кендалла, точечно-бисериальный, бисериальный, полисериальный, полихорический, тетрахорический, D Сомерса, γ Гудмана и Краскела, β Бломквиста и коэффициент фи) проходят двусторонний TOST относительно −Δ и +Δ, и p (Δ) — большее из двух односторонних p. Беззнаковые меры (η², V Крамера, NMI, AMI, когерентность Райского, U Тейла, D Хёффдинга, ξ Чаттерджи и дистанционная корреляция) проходят один односторонний критерий для θ ≥ Δ. Оба варианта работают и в режиме «Смешанная/авто». Подпись под таблицей указывает использованную границу, нулевую гипотезу для каждого семейства и интервал (1 − 2α), которому соответствует вердикт.

Δ сравнивается с коэффициентом ровно в том виде, в каком его выводит таблица, без предварительного пересчёта мер в общую шкалу, поэтому одна и та же граница отмечает у разных методов разную степень связи. Подпись сообщает, по каким диапазонам силы оценивается каждое семейство, и предупреждает, если ячейки эквивалентности одного расчёта охватывают больше одного набора диапазонов. Там, где стандартная ошибка для p (Δ) получается бутстрэпом (шесть мер без аналитической формулы: NMI, AMI, когерентность, U Тейла, D Хёффдинга, дистанционная корреляция, а также коэффициент фи, получастные корреляции Спирмена и Кендалла и всё знаковое семейство в режиме бутстрэп-интервалов), задание границы запускает бутстрэп даже при выключенных интервалах. p тогда ограничено снизу разрешением самого бутстрэпа, $1/(B+1)$, и об этом сообщает оговорка с перечнем затронутых символов. К p (Δ) поправка применяется как к отдельному семейству, без объединения с p-значениями значимости.

Выберите Δ до анализа данных. Задайте наименьший коэффициент, который имел бы значение в вашей области, ещё до того, как увидите результаты: граница, подобранная так, чтобы её пройти, обесценивает критерий (см. границу эквивалентности).

Малое p (Δ) указывает на пренебрежимо малую корреляцию, большое обычное p — нет. Незначимое обычное p никогда не доказывает отсутствия корреляции (см. пренебрежимо малый эффект).

Отображение p-значений #

• Отображение p-значений — как матрица показывает p-значения. Доступно только в матричном формате, поскольку в длинной таблице для p есть отдельный столбец.
• Отдельная таблица — матрица показывает только коэффициенты, а под ней выводятся отдельные матрицы p-значений.
• В матрице корреляций — по умолчанию: в каждой ячейке в одной строке стоят коэффициент и звёздочки значимости, а под ними — p-значение.

Скрыть избыточные значения #

• Скрыть избыточные значения — включено по умолчанию: когда по обеим осям стоят одни и те же переменные, выводится только нижний треугольник симметричной матрицы. Снимите флажок, чтобы увидеть матрицу целиком. При асимметричном методе (D Сомерса, U Тейла, ξ Чаттерджи) и в получастном расчёте флажок исчезает: оба треугольника содержат действительно разные значения, и вместо этого добавляется подпись Направление: строка → столбец.

Чтение результатов #

Карточка результатов Корреляционный анализ — ‹метод› содержит таблицу в выбранном формате с подписями, которые положены этому расчёту: направление асимметричного метода, ковариаты частного расчёта и оговорки, описанные в разделах выше (правило дискретизации не по умолчанию, разреженная таблица, интервал, требующий осторожности, граница эквивалентности и её нулевая гипотеза). Оба формата содержат для каждой пары одни и те же значения, но в длинной таблице у каждого свой столбец, поэтому смысл каждого значения объяснён в её пунктах ниже.

Формат матрицы #

Вариант по умолчанию: левые переменные по строкам, правые по столбцам, по ячейке на пару. Если по обеим осям стоят одни и те же переменные, Скрыть избыточные значения оставляет нижний треугольник, а на диагонали стоит прочерк (корреляция переменной с самой собой тривиально равна 1). Если списки пересекаются, но не совпадают, повторное появление пары скрывается так же. В каждой ячейке — коэффициент с символом метода (при пресете или переходе к другому методу — символом метода этой пары) и звёздочками по вашим настройкам значимости. При варианте В матрице корреляций на отдельной строке следует p-значение с меткой p или p_adj, если поправка работает в режиме замены, а в режиме добавления — ещё и строка p_adj. Затем идёт по строке на каждое дополнительное значение расчёта с той же меткой, что и заголовок в длинной таблице: N, статистика критерия F или χ², интервал, SE, коэффициент нулевого порядка с индексом ₀, p_Δ, MI и H_строка / H_{столбец}. Ячейка, которую метод не смог вычислить, выделена красным и называет причину прямо на месте (Недостаточно данных, Не таблица 2×2, Постоянная переменная — нет информации), а подсказка повторяет то же сообщение.

При варианте Отдельная таблица в ячейках остаются коэффициент и звёздочки, а p-значения переносятся в отдельную матрицу ниже:

• Матрица p-значений — по одному p на пару в той же сетке, с теми же скрытыми ячейками. Пара с ошибкой показывает прочерк. В режиме замены матрица содержит скорректированные p и получает название Матрица скорректированных p-значений.
• Матрица скорректированных p-значений — в режиме добавления вторая матрица со скорректированными p под матрицей исходных. Пара, пропущенная семейством поправки (у неё нет допустимого исходного p), показывает Н/Д, а не нескорректированное число.

При асимметричном методе (D Сомерса, U Тейла, ξ Чаттерджи) и в получастном расчёте над матрицей стоит подпись Направление: строка → столбец: каждая ячейка показывает, насколько хорошо переменная-строка предсказывает переменную-столбец, поэтому в двух треугольниках разные числа, и выводятся оба. В подписи частного расчёта названы ковариаты и то, из какой переменной исключено их влияние.

Длинный формат #

По строке на пару (при асимметричном методе оба порядка идут отдельными строками, а подпись гласит Направление: переменная 1 → переменная 2) со следующими столбцами:

• Переменная 1 и Переменная 2 — пара. При асимметричном методе строка понимается как «Переменная 1 → Переменная 2», где Переменная 1 — предиктор.
• Метод — выводится при пресете и всякий раз, когда в какой-то строке произошёл переход к другому методу (например, расчёт ε² перешёл к V Крамера на паре с двумя группирующими переменными): символ метода, вычислившего строку, а в подсказке — его полное название.
• N — число полных наблюдений, по которым вычислена пара. При попарном удалении это строки, где есть оба значения, поэтому N меняется от пары к паре, и от него зависят и p-значение, и ширина интервала. Частный расчёт считает строки, полные по паре и её ковариатам, β Бломквиста не учитывает строки, лежащие точно на медиане, а у дистанционной корреляции при превышении предела строк выводится объём подвыборки, на которой она вычислена. Где это важно, под таблицей есть оговорка.
• Коэффициент — коэффициент со звёздочками значимости. В расчёте одним методом столбец озаглавлен символом метода (r, ρ, τ, …), а при пресете или переходе к другому методу — словом Коэффициент, и тогда символ каждой строки стоит в столбце Метод. Если метод не смог вычислить пару, здесь красным выводится причина, а подсказка повторяет сообщение.
• p — p-значение против нулевой гипотезы об отсутствии связи, полученное собственным критерием метода или тем, что выбран в списке Метод расчёта p-значения, если такой список у метода есть, и оформленное по вашим настройкам p-значений. От него зависят звёздочки и вердикт Интерпретация. При поправке в режиме замены столбец озаглавлен p (скорр.) и содержит скорректированное значение, а в режиме добавления к нему добавляется столбец p (скорр.) (см. p (скорр.)).
• Значение критерия — общий критерий, на котором основан коэффициент размера эффекта, со звёздочками коэффициента. Корреляционное отношение показывает свою F(df₁, df₂), V Крамера и коэффициент фи — свой χ²(df), и каждая ячейка называет свою статистику, поскольку при пресете или переходе к другому методу в одном столбце могут оказаться обе. Столбец выводится, только если такая статистика есть хотя бы в одной ячейке.
• 95% ДИ — интервал коэффициента при вашем уровне доверия. Выводится, когда включены Доверительные интервалы. Ячейка, у метода которой нет интервала в выбранном режиме, показывает –, а если интервала нет ни у одной ячейки, столбец не выводится.
• SE — аналитическая стандартная ошибка коэффициента у методов, которые её дают. Это стандартная ошибка Вальда для полихорической, тетрахорической, полисериальной и бисериальной корреляций, γ Гудмана и Краскела и D Сомерса, которая дополняет интервал как мера точности, пригодная для объединения результатов, и огибающая стандартная ошибка ξ Чаттерджи. Последняя лежит в основе интервала ξ и критерия эквивалентности, а не p-значения, поэтому ξ ÷ SE не воспроизводит выведенное p. Если в ячейке ξ есть SE, об этом сообщает оговорка.
• r₀ — коэффициент нулевого порядка частного расчёта, озаглавленный символом расчёта с индексом ₀ (ρ₀, τ₀): та же пара без ковариат на тех же строках, так что разница между двумя столбцами — то, что объясняют ковариаты (см. корреляцию нулевого порядка).
• p (Δ) — p-значение проверки эквивалентности, выводится, когда задана Граница пренебрежимо малой корреляции. Оно мало, когда коэффициент значимо лежит внутри границ. Поправка применяется к нему как к отдельному семейству: в режиме замены столбец озаглавлен p (Δ, скорр.) и содержит скорректированное значение, в режиме добавления к нему добавляется столбец p (Δ, скорр.).
• Взаимная информация (наты) — столбец, добавляемый информационным методам флажком Добавить взаимную информацию: абсолютное количество общей для пары информации, которое нормировка убирает из коэффициента (см. взаимную информацию), в натах, с поправкой Миллера — Мэдоу, по дискретизированным переменным. Оговорка под таблицей напоминает об этой основе.
• H(перем₁) (наты) и H(перем₂) (наты) — маргинальные энтропии двух переменных, добавляемые флажком Добавить энтропии на той же основе. По ним низкий коэффициент можно отличить от переменной, в которой изначально мало информации. В матрице они подписаны H_строка и H_{столбец}. Энтропия чуть выше log(k) у переменной с k интервалами — следствие поправки, а не ошибка.
• Интерпретация — если включён столбец интерпретации, вердикт по строке словами, построенный так, как описано ниже. Пара с ошибкой показывает –, а причина остаётся в ячейке Коэффициент.

Интерпретация #

Каждый вердикт объединяет до трёх оценок. Значимость — Значимая или Незначимая относительно вашего уровня значимости, в режиме замены по скорректированному p. Если у ячейки нет p, эта часть опускается. Сила — градация, в которую попадает коэффициент, от пренебрежимо малой до очень сильной, по набору диапазонов для его метода: Диапазоны силы корреляции для знаковых мер, Диапазоны нормализованной взаимной информации для информационного семейства и собственные наборы для корреляционного отношения, для V Крамера и коэффициента фи, для D Хёффдинга и для ξ Чаттерджи. Направление указывается для знаковых мер: положительная или отрицательная. «Значимая умеренная положительная корреляция» — строка Пирсона, «Значимая сильная связь» — строка η², NMI или ξ.

Перед применением диапазонов τ Кендалла и β Бломквиста переводятся в эквивалент r, а когерентность Райского — в эквивалент NMI, так что их градации отражают силу, которую показала бы эталонная мера. Сам выводимый коэффициент не меняется. γ Гудмана и Краскела и D Сомерса оцениваются по диапазонам r как есть, и оговорка под таблицей помечает их градации как приблизительные, так же как градации V Крамера, пороги которого рассчитаны на большую выборку. Коэффициент фи оценивается по диапазонам V Крамера с сохранением знака, а диапазоны корреляционного отношения применяются к выводимому модулем ε² с поправкой на смещение. Любой порог можно изменить в настройках.

Незначимая — не значит «несвязанная». p выше α означает, что данные не позволили отвергнуть нулевую гипотезу, а не то, что корреляция равна нулю (см. статистическую значимость). Чтобы утверждать, что корреляция пренебрежимо мала, задайте границу пренебрежимо малой корреляции и смотрите на её p (Δ).

Поправка p-значений #

Матрица — это много проверок сразу (десять переменных дают 45 пар), поэтому действует общая поправка на множественные сравнения, а при запуске без выбранного метода поправки появляется предупреждение (см. много проверок сразу). p-значения значимости матрицы образуют одно семейство, где каждая пара считается один раз: зеркальная ячейка симметричного метода второй проверкой не считается. При асимметричном методе два порядка считаются отдельно, кроме случаев, когда у них по построению одно p (получастный расчёт и U Тейла): тогда у них и одно скорректированное значение. p-значения эквивалентности образуют отдельное семейство, p-значения карточки сравнений — ещё одно, а в расчёте по группам поправка применяется внутри матрицы каждой группы. Заменяет ли скорректированное p исходное или стоит рядом, определяет режим отображения той же настройки, а звёздочки и интерпретация следуют показанному p.

Пропущенные данные #

Какие строки используются для пары, определяет общая настройка пропущенных данных. При варианте Попарное удаление (по умолчанию) каждая пара использует все строки, где есть оба значения, поэтому N в матрице меняется, и матрица в целом не описывает какую-то одну выборку (см. попарное удаление). При варианте Построчное удаление все пары считаются по строкам, полным по каждой переменной, выбранной в окне выбора переменных, при одном N (см. построчное удаление). При импутации заполненные столбцы коррелируются так, будто они полные, а это смещает коэффициент к нулю. В двух частях модуля действуют свои правила: частная пара считается по строкам, полным по паре и её ковариатам, а сеть частных корреляций всегда подгоняется с построчным удалением.

Визуализации #

Размер любой визуализации можно менять, перетаскивая маркер в правом нижнем углу, а при наведении рядом появляются кнопки экспорта в SVG, PNG и JPG. Чтобы сохранить все графики сразу, воспользуйтесь массовым экспортом (см. изменение размера и экспорт графиков): он за один шаг сохраняет все графики на странице.

Три графика по всей матрице подчиняются одному цветовому правилу. Знаковый коэффициент рисуется на фиксированной расходящейся шкале от синего к красному, от −1 до +1, а его графический элемент (толщина ребра, вытянутость эллипса, длина ребра в силовом графе) — по модулю |r|. Беззнаковый коэффициент (V Крамера, η², информационное семейство, D Хёффдинга, ξ, дистанционная корреляция) рисуется на последовательной шкале от 0 до наибольшего значения, которое дал в расчёте этот метод, и цветом, и размером элемента. Иначе говоря, шкала нормируется по методу, а не по расчёту, а метод с единственной ячейкой, пригодной для графика, сохраняет абсолютную шкалу 0…1. Легенда под каждым графиком выводит по полосе на каждую шкалу: Корреляция: для расходящейся шкалы, Связь: для последовательной, с символом метода в названии (Связь (η²):), если в расчёте больше одного беззнакового метода. Верхнее значение полосы стоит на её правом конце, а подпись поясняет, что цвет и размер элемента отсчитываются от него вместе. Расчёт «Смешанная/авто» показывает оба вида полос и окрашивает беззнаковые пары зелёным, чтобы беззнаковое 0.8 не приняли за сильную положительную связь. Сравнивайте элементы в пределах одной полосы, перед сравнением разных полос или расчётов смотрите на выведенное верхнее значение, а фактический метод каждой пары узнавайте из подсказки, где он назван символом.

Связывание рёбер #

Корреляционная сеть. Круговая диаграмма значимых пар: флажок называется Корреляционная сеть (связывание рёбер), а карточка — Корреляционная сеть. Переменные стоят подписанными узлами по окружности и расставлены так, что сильнейшие партнёры каждой оказываются её соседями, а промежуток между соседями растёт по мере ослабления их корреляции (отрицательная пара стоит далеко, а при беззнаковом методе промежуток сокращается только с ростом силы). Каждую нарисованную пару соединяет изогнутое ребро, стянутое к центру. Цвет ребра следует цветовому правилу (синий — положительная, красный — отрицательная, серый — около нуля), толщина — силе. Отрицательное ребро не только красное, но и пунктирное, так что знак различим и при печати в оттенках серого, и при особенностях цветового зрения. Наведите указатель на ребро, чтобы выделить его и увидеть в подсказке коэффициент и p. Масштаб меняется колесом мыши или кнопками +/−/↺ в правом верхнем углу, а изменение размера графика сбрасывает масштаб, чтобы перерисованная диаграмма всегда умещалась в рамку. При направленной мере (D Сомерса, U Тейла, ξ Чаттерджи, получастный расчёт) флажок отключён, а примечание отсылает к силовому графу, который показывает направление.

Силовой граф #

Силовой граф. Интерактивная сеть, в которой сильный коэффициент притягивает свои две переменные друг к другу, а слабый позволяет им разойтись, каким бы ни был знак. Узлы — плашки с именем переменной, цвет и толщина рёбер задаются цветовым правилом, и отрицательное ребро здесь тоже пунктирное. Перетащите узел, чтобы закрепить его в новом месте (закреплённый узел обведён синим пунктиром), и щёлкните по закреплённому узлу, чтобы вернуть его в симуляцию. Цветовая легенда под графом попадает в экспорт изображения. При направленной мере (D Сомерса, U Тейла, ξ Чаттерджи или получастный расчёт, который исключает влияние только из одной переменной пары) граф сохраняет оба направления каждой пары и рисует их пологими дугами со стрелками, а подсказка указывает направление (X → Y). В симметричном расчёте стрелок нет. Связывание рёбер даёт обзор структуры, а этот граф позволяет рассмотреть отдельные связи, растащив узлы.

Оба сетевых графа сначала показывают только значимые пары, и примечание под каждым называет действующее правило (Показаны только пары с p ≤ 0.050; остальные не отображаются). Если включена поправка на множественные сравнения, в примечании фигурирует скорректированное p, поскольку порог применяется именно к нему.

• Показывать незначимые связи (приглушённо) — по умолчанию выключено. Если включить, пары, не прошедшие порог, рисуются приглушённо (Пары с p > 0.050 показаны приглушённо), и раскладка перестраивается под полный набор: порядок узлов, расстояния и силы следуют видимым связям. Каждое ребро при этом сохраняет прежние цвет и толщину, поскольку обе величины масштабируются по всей матрице, а приглушённое отрицательное ребро остаётся пунктирным. Если значимых пар нет вовсе, карточка и флажок всё равно выводятся, чтобы можно было включить приглушённые связи и посмотреть, что есть в данных. Только если нельзя нарисовать ни одной пары, карточка сообщает об этом.

Коррелограмма #

Коррелограмма. Матрица ориентированных эллипсов, по одному на пару переменных, с обоими треугольниками и без диагонали. Эллипс наклонён вверх вправо (/) при положительном коэффициенте и вниз () при отрицательном, а эллипс беззнакового коэффициента всегда наклонён вверх. Вытянутость эллипса передаёт силу по той же шкале, что и цвет: круг при 0, тонкая линия при ±1 или, для беззнакового метода, при его наибольшем значении. Незначимая пара приглушена и обведена пунктиром, пара без коэффициента показывает –. Под матрицей стоят цветовая легенда и пояснение: при каком α пары приглушаются (при включённой поправке — по скорректированному p), что передаёт наклон и, если оси были переупорядочены или переупорядочить их не удалось, какой порядок перед вами. Направленный расчёт получает ту же подпись Направление: строка → столбец, что и матрица. Подсказка каждой ячейки называет пару со стрелкой (A → B), а не A × B, поскольку два треугольника тогда содержат разные числа. Если включены и Диаграммы рассеяния, щелчок по ячейке прокручивает страницу к диаграмме этой пары.

Упорядочивание переменных кластеризацией #

В коррелограмме, построенной в порядке выбора переменных, блочная структура матрицы теряется. Упорядочить переменные кластеризацией — дополнительная опция под флажком коррелограммы — кластеризует переменные по 1 − |r|. Это иерархическая кластеризация методом средней связи по уже вычисленным коэффициентам: коэффициенты беззнакового метода предварительно делятся на их наибольшее значение, пропущенная или ошибочная пара получает максимальное расстояние, а два значения направленной пары усредняются. Обе оси переупорядочиваются по результату, так что связанные переменные стоят сплошными блоками вдоль диагонали, и примечание под графиком сообщает о переупорядочивании. Опции нужны одинаковые переменные на обеих осях: прямоугольный расчёт сохраняет порядок выбора и сообщает об этом. По умолчанию опция выключена, чтобы не нарушать намеренный порядок выбора (например, по подшкалам).

Что означают блоки. Сплошной блок ярко окрашенных ячеек вдоль диагонали — набор переменных, которые согласуются друг с другом сильнее, чем с остальными. Это наглядная подсказка, а не модель: модельное описание той же структуры даёт факторный анализ или кластеризация переменных.

Диаграммы рассеяния #

Диаграммы рассеяния. По диаграмме рассеяния на каждую пару переменных, каждая в своём подразделе с двумя именами в заголовке (A — B, а в направленном расчёте, где оба порядка выводятся отдельными графиками, A → B). На диаграмме исходные точки, нужное методу наложение (см. таблицу ниже) и в углу коэффициент с символом метода, p-значение по тому же правилу отображения поправки, что и в таблицах, и n пары. Это аналитическая выборка пары, попарно полная после фильтров, так что n совпадает с таблицей, а не с числом нарисованных точек. Оси расширены на один шаг делений, чтобы крайние точки не обрезались. У точечно-бисериального и бисериального коэффициентов бинарная переменная всегда стоит на горизонтальной оси, из какого бы списка её ни выбрали, а у полисериального там остаётся непрерывная. Пару, где хотя бы у одной переменной категории заданы строками, нарисовать нельзя, и её подраздел вместо графика сообщает Диаграмма рассеяния неприменима к категориальным данным. В частном расчёте по осям откладываются остатки (см. диаграммы рассеяния при частном расчёте).

Линия МНК получает доверительную полосу при общем уровне доверия, если в поле Доверительные интервалы выбран вариант Аналитические (полоса условного среднего вокруг подогнанной линии) или Процентильный бутстрэп с коррекцией смещения (огибающая линий МНК, заново подогнанных на бутстрэп-выборках). При выключенных интервалах полосы нет, а у бисериальной линии бывает только бутстрэп-полоса. Когда у пары набирается пять различных значений x, рядом с линией МНК рисуется пунктирное сглаживание LOWESS. На практике это пары Пирсона, поскольку у двух других методов по оси X стоит дихотомия, где столько значений не бывает. Так остаётся видна кривизна, которую прямая показать не может.

Что такое сглаживание LOWESS. Кривая из локальных прямых, где ближайшие точки получают больший вес. Она не предполагает никакой формы и не оценивает ничего из того, что выводят таблицы: это проверка формы, а не результат (см. сглаживание LOWESS).

Сгруппированные диаграммы рассеяния (между группами / равенство между группами) #

Сгруппированные диаграммы рассеяния. При структуре Между группами или общем межгрупповом критерии выводится именно эта карточка диаграмм рассеяния: по графику на пару переменных, где точки и наложение рисуются отдельно для каждой группы своим цветом. Цвета берутся из общей палитры программы в том порядке, в каком группы стоят в таблице сравнений, а внутри каждой серии применяется то же наложение, что требует метод. Легенда в самом пустом углу приводит цветом группы её коэффициент со звёздочками значимости и n, так что легенда служит и цветовым ключом. При частной корреляции Кендалла к ней добавляется τ₀ нулевого порядка для каждой группы, как и на одиночном графике. Доверительные полосы в этой раскладке не рисуются: формальный Δr и его интервал приводит таблица сравнений. Исключение влияния при частной корреляции Пирсона или Спирмена выполняется внутри каждой группы, так что облако остатков каждой группы отражает её собственную условную связь. Связывание рёбер, силовой граф и коррелограмма в групповом расчёте не строятся, поскольку показывают одну матрицу. У общего критерия равенства структуры для одной выборки своей диаграммы рассеяния для сравнения нет вовсе, и его наглядное представление — коррелограмма.

Совмещённые диаграммы рассеяния (внутри строки / внутри столбца / относительно опорной ячейки) #

Совмещённые диаграммы рассеяния. При структуре Внутри каждой строковой переменной, Внутри каждой столбцовой переменной или Относительно опорной ячейки за таблицей сравнений следует вторая карточка диаграмм: по графику на каждую общую якорную переменную. Якорная переменная стоит на оси X, а сравниваемые переменные нанесены отдельными цветными сериями, каждая с собственной линией наложения. Коэффициент и n каждой серии приведены в легенде. Ось Y подписана Сравниваемые переменные, поскольку на ней все серии. При частном расчёте якорная и сравниваемые переменные один раз очищаются от влияния тех же ковариат по полной выборке. В получастном режиме влияние исключается только из одной переменной каждой пары, и панель выбирает одну ориентацию для всех серий (по первой сравниваемой переменной), а подпись оси X сообщает, какая это сторона.

• Якорная переменная: {variable} — заголовок каждого графика называет его якорную переменную: переменную-строку в структуре по строкам, переменную-столбец в структуре по столбцам, а в структуре относительно опорной ячейки — переменную, общую у опорной ячейки со сравниваемыми. Сравниваемая переменная, у которой нет общей переменной с опорной ячейкой, не может быть корректно показана на общей оси и в карточку не попадает, хотя её Δr по-прежнему проверяется и выводится в таблице. Наложение для каждой серии — обычное для метода, так что на графике видно именно то, что проверяет сравнение.

Контрольный список для отчёта #

Что стоит указать, описывая результаты корреляционного анализа:

Метод:

• Метод корреляции (Пирсон, Спирмен, …) и причину выбора, а для расчёта «Смешанная/авто» — то, что метод выбирался для каждой пары по типу переменных
• Какие проверки допущений учтены для приведённых пар и что они выявили (исключённый Пирсон, много совпадений, разреженная таблица, влиятельная точка), и воспользовались ли вы предложенным средством (ранговый метод, бутстрэп-интервал, χ² методом Монте-Карло)
• Для частного и получастного анализа: ковариаты, влияние которых исключалось, и какой коэффициент приведён, частный или получастный (и для какой переменной)
• Для сети частных корреляций: метод оценки (нерегуляризованный или регуляризованный), для регуляризованного — γ EBIC и выбранное λ, набор узлов вместе с включёнными в него ковариатами, n при построчном удалении и число отброшенных строк. Если вы приводите разбиение на сообщества, укажите зерно, с которым выполнялся поиск, поскольку он стохастический
• Для критериев различий: структуру сравнения, выполненный критерий и вариант Критерий для зависимых корреляций для структуры с одной выборкой, группирующую переменную для межгрупповой, была ли опорная ячейка задана заранее или выбрана по данным, и тип структуры для проверки равенства структуры. Полный перечень дан в разделе об отчёте по сравнениям
• Способ расчёта p-значения, если он отличается от заданного по умолчанию: аналитический t для дистанционной корреляции, χ² методом Монте-Карло для φ и V Крамера, перестановочное p для ранговых или информационных методов. Если вместе с перестановочным p действовали ковариаты — то, что использовалась схема Фридмана — Лейна и критерий приближённый
• Для информационных мер: правило дискретизации и число интервалов, поскольку коэффициенты сравнимы только на одной сетке
• Как обработаны пропущенные данные (попарное или построчное удаление, импутация)
• Метод поправки p-значений, если она применялась
• Способ построения ДИ (аналитический или бутстрэп с числом повторов) и уровень доверия, если приводятся интервалы
• Для проверки пренебрежимости: то, что использовался TOST, границу Δ и то, что Δ выбрана заранее
• Объём выборки

Результаты:

• Коэффициент с символом (r, ρ, τ, …), а для направленной меры — его направление
• Доверительный интервал, если он вычислялся
• Для частного анализа: коэффициент нулевого порядка рядом, чтобы читатель видел эффект контроля ковариат
• p-значение (точное или в виде неравенства), скорректированное и исходное, если выводятся оба
• Для проверки пренебрежимости: p-значение эквивалентности p (Δ) (исходное и скорректированное, если выводятся оба), использованную границу Δ и то, был ли критерий двусторонним (знаковый коэффициент) или односторонним (беззнаковая мера). p (Δ), стоящее на нижней границе $1/(B+1)$, приводится как «≤ $1/(B+1)$ при B повторах», а не как точное значение
• Объём выборки для каждой пары, если применялось попарное удаление и N различается
• Градацию силы, если вы на неё опираетесь, а для беззнаковой меры — название набора диапазонов, откуда она взята
• Для матричного вывода: приводится ли матрица целиком или отдельные пары
• Для критериев различий: оба коэффициента (для совместного критерия — только статистику), Δr с доверительным интервалом, статистику критерия с df и p-значение, скорректированное и исходное, если выводятся оба
• Для сети: веса рёбер, а для регуляризованного метода — число отобранных рёбер из общего возможного числа с оговоркой, что отсутствующие рёбра сжаты до нуля, а не проверены и признаны незначимыми
• Для центральности и сообществ сети: силу и ожидаемое влияние вместе, а не одну силу, как простые суммы в шкале самого коэффициента, и число сообществ со знаковой модулярностью рядом, как свойство данной сети, а не число факторов

Воспроизводимость #

Каждый анализ выводит исходный код R в консоль R, где команды можно изучить, скопировать или выполнить заново. Корреляционный анализ использует базовый R (cor.test) для Пирсона, Спирмена, Кендалла и точечно-бисериального коэффициента, polycor для полихорического, полисериального и тетрахорического коэффициентов, infotheo и aricode для информационного семейства, energy для дистанционной корреляции, Hmisc для D Хёффдинга, XICOR для ξ Чаттерджи, ppcor для частных и получастных коэффициентов и нерегуляризованной сети, а igraph — для разбиения сети на сообщества. β Бломквиста, корреляционное отношение, знаковый φ, γ Гудмана и Краскела и D Сомерса, перестановочные критерии для ранговых и информационных мер, проверки эквивалентности, графическое лассо и знаковая модулярность вычисляются собственным кодом R модуля без дополнительных пакетов. Две части выполняются в браузере по тому, что возвращает R, и потому в консоли не видны: сила и ожидаемое влияние узлов сети, суммируемые по списку рёбер, и критерии различий, совместные критерии и интервалы Δr карточки сравнений, обрабатывающие готовые коэффициенты. Все шаги ресэмплинга (бутстрэп-интервалы, перестановочные p-значения и p-значения Монте-Карло, стандартные ошибки, которые TOST при необходимости получает бутстрэпом, бутстрэп карточки сравнений и бутстрэп-полосы диаграмм рассеяния) выполняются при настройке Зерно бутстрэпа, а поиск сообществ — при настройке Зерно воспроизводимости. Если она пуста, карточка сети сообщает об этом. ξ Чаттерджи и подвыборка строк для дистанционной корреляции используют собственные фиксированные зёрна и потому повторяются при любых настройках. Ссылки на все методы и пакеты, фактически использованные в анализе (коэффициенты, способы расчёта их интервалов и p-значений, критерии сравнения и графики), автоматически появляются в начале раздела вывода. Решения, стоящие за этим выбором (оценщики, поправки, зёрна, ограничения и отказы от расчёта), обоснованы в методических заметках.

Типичные ошибки #

Корреляция не означает причинности. Продажи мороженого и число утоплений каждое лето растут вместе, хотя одно не вызывает другое. Коэффициент измеряет связь, но не её направление, а третья переменная, влияющая на обе, называется смешивающей. Частная корреляция исключает влияние тех смешивающих переменных, которые вы измерили. Для причинного вывода нужен план исследования, а не коэффициент.

r Пирсона улавливает только линейные связи. Две переменные могут быть тесно связаны вдоль кривой и всё же давать r ≈ 0. ρ Спирмена и τ Кендалла выручают, только если кривая монотонна, то есть всё время растёт или всё время убывает. U-образная или перевёрнутая U-образная зависимость на полпути меняет направление и даёт значения около нуля по всем трём мерам, и именно для таких случаев существуют меры общей зависимости. Прежде чем выбрать метод, включите Диаграммы рассеяния и посмотрите на сглаживание или нажмите Проверить допущения: проверка зависимости сверх монотонной отметит именно такую пару.

Большие матрицы требуют осторожности, а не отказа от них. Матрица 30×30 — это 435 проверок, и при α = 0.05 около 22 из них окажутся значимыми на чистом шуме (см. много проверок сразу). Для любой полной матрицы держите включённой поправку p-значений и указывайте, какого рода был анализ. Пары, выбранные после просмотра результатов, остаются разведочными при любом размере матрицы и так и описываются, а пары, заданные заранее и проверенные с поправкой, могут подкреплять подтверждающий вывод, как бы велика ни была матрица.

Выбросы могут определять r Пирсона. Одна крайняя точка способна раздуть или обнулить корреляцию Пирсона. Такую пару отмечает проверка влиятельных точек в карточке допущений, а устойчивые варианты — ранговый метод (ρ Спирмена, τ Кендалла) или β Бломквиста, которая опирается только на медианы (см. выброс). Прежде чем доверять одному числу, посмотрите на диаграмму рассеяния.

Беззнаковые меры несравнимы со знаковыми. r Пирсона 0.5 и NMI 0.5 — это разная степень связи. r = 0.5 — умеренная линейная связь, а NMI = 0.5 означает, что общей является половина средней энтропии двух переменных, и это гораздо более сильное утверждение. V Крамера, ε², дистанционная корреляция и D Хёффдинга лежат каждая на своей шкале, поэтому столбец Интерпретация оценивает каждую по собственным порогам. Не сопоставляйте знаковый коэффициент с беззнаковым коэффициентом другого метода и не ждите, что они совпадут на одной паре (см. знаковые и беззнаковые меры).

Асимметричным мерам нужны оба направления. D Сомерса, U Тейла и ξ Чаттерджи отвечают на вопрос, насколько хорошо переменная-строка предсказывает переменную-столбец, поэтому A → B и B → A — разные числа, и оба треугольника матрицы заполнены и осмысленны (см. направленную меру). Одно приведённое число всегда указывает направление: «U(Y | X) = 0.42», но никогда не «U = 0.42». Ни один автоматический пресет не выбирает ни одну из этих трёх мер, так что асимметричный расчёт — всегда явный выбор.

Корреляция двух упорядоченных во времени рядов завышает r. Два ряда с трендом или сезонностью дают почти идеальную корреляцию Пирсона потому, что у них общий тренд или цикл, а не потому, что они меняются согласованно в каждый момент. Хрестоматийный пример — потребление сыра на душу населения и число смертей от запутывания в простынях. Сначала удалите тренд и сезонность (разведочный анализ в модуле Анализ временных рядов показывает компоненты разложения, которые можно коррелировать вместо исходных рядов) или вычислите взаимную корреляцию разностей рядов.