Корреляция и связь #

Корреляция — это одно число, которое показывает, насколько две переменные меняются вместе. Раньше других обычно узнают r Пирсона, и для двух непрерывных переменных с линейной связью он действительно подходит. Но переменные бывают не только измерениями: это и пятибалльные пункты анкеты, и ответы «да/нет», и группы, и счётные величины, а «меняться вместе» может означать линейную связь, согласованный порядок, общую категорию или вообще любую зависимость. Поэтому модуль корреляций предлагает ещё двадцать мер и два автоматических пресета. Эта страница — их каталог: что измеряет каждое семейство, что означает его значение и какая мера подходит для данной пары переменных. Здесь же разобраны два вопроса, которые возникают после корреляции: различаются ли две корреляции и что остаётся от набора корреляций, если из каждой пары исключить влияние остальных переменных. На них модуль отвечает критерием сравнения и сетью частных корреляций. На панели модуля корреляция задаётся для двух наборов переменных (левого и правого списков, а для матрицы — одного списка с обеих сторон). К ним можно добавить контрольные переменные, а для сравнения выборок — группирующую переменную. Все числа получены на данных кафе, подготовленных так, как описано на той странице.

Часть того, на что опирается эта страница, объяснена на трёх соседних и здесь не повторяется. На странице о размерах эффекта r, точечно-бисериальный r, r², η² и V Крамера описаны как размеры эффекта, с границами малого, среднего и большого. На странице о параметрических и непараметрических методах — ранговая корреляция, ρ Спирмена, τ Кендалла и совпадения, то есть одинаковые значения. В основах регрессии — корреляции нулевого порядка, частные и получастные, из которых строится сеть, описанная ниже.

Знаковые, беззнаковые и направленные меры #

Методы в списке модуля разбиты на три группы, и группа — первое, что стоит знать о коэффициенте: от неё зависят его шкала и то, совпадает ли ячейка «A с B» с ячейкой «B с A».

Знаковая мера — коэффициент в шкале от −1 до +1: знак показывает направление связи, а 0 означает её отсутствие. Для оценка и вкус r = 0.55, для оценка и ожидание r = −0.30: чем дольше ожидание, тем ниже оценка. Знаковы все классические корреляции, а также описанные ниже латентно-нормальное семейство и меры согласованности пар. Силу знаковой меры оценивают по диапазонам силы корреляции, а квадрат r Пирсона — это доля объяснённой дисперсии.

Беззнаковая мера — коэффициент в шкале от 0 до 1: 0 означает независимость, а чем больше значение, тем сильнее зависимость, какой бы формы она ни была. Направления у такой меры нет. Его и не может быть, если одна из переменных — набор категорий (филиал), а если связь криволинейна, один знак его не передаст. Беззнаковы V Крамера, корреляционное отношение, информационное семейство и три коэффициента, улавливающие зависимость любой формы. Шкала у них не такая, как у r: V Крамера 0.10, дистанционная корреляция 0.10 и взаимная информация 0.10 означают три разные степени связи, и для каждого семейства в приложении заданы свои диапазоны силы.

Направленная мера — коэффициент, который отвечает на вопрос «насколько хорошо A предсказывает B?», а не «насколько связаны A и B?». Поэтому A по отношению к B и B по отношению к A дают разные числа, и матрица несимметрична. Направленных методов в модуле три: D Сомерса, U Тейла и ξ Чаттерджи. Каждую их ячейку модуль понимает как строка → столбец: переменная строки — предиктор, переменная столбца — предсказываемая. Автоматические пресеты их никогда не выбирают, потому что направленная ячейка в остальном симметричной матрице вводила бы в заблуждение.

Латентно-нормальное семейство #

Пятибалльный пункт анкеты — не измерение удовлетворённости вкусом, а измерение этой удовлетворённости, округлённое до пяти значений. Латентно-нормальное семейство это учитывает. Все четыре его коэффициента исходят из того, что за упорядоченной или бинарной переменной стоит непрерывная нормально распределённая величина (латентная переменная), а наблюдаемые ответы делят её на категории по фиксированным порогам. Коэффициент оценивает корреляцию между латентными величинами, а не между категориями. Именно такая оценка нужна факторному анализу или SEM по пунктам опросника: модель описывает конструкты, а не формат ответа. Пресет Смешанная/авто · латентные переменные строит из таких коэффициентов целую матрицу. Платить за это приходится допущением, о котором сказано в конце раздела.

Полихорическая корреляция — латентная корреляция двух упорядоченных переменных, например двух пятибалльных пунктов или пункта и оценки от 0 до 10. Для вкус и свежесть она равна 0.56, тогда как r Пирсона по исходным кодам 1–5 даёт 0.51, а ρ Спирмена 0.52. Когда непрерывную величину огрубляют до пяти ступеней, часть совместной изменчивости теряется, и полихорическая оценка её восстанавливает: она подбирает такую корреляцию двух нормальных величин, при которой получилась бы наблюдаемая таблица ответов 5×5. Этот коэффициент применяют в факторном анализе пунктов типа Ликерта с четырьмя и более категориями, и из таких коэффициентов можно составить корреляционную матрицу, по которой подгоняется факторная модель. Оценку находят методом максимального правдоподобия, подбирая заодно пороги пары, поэтому время расчёта растёт с числом категорий, а не с числом строк.

Тетрахорическая корреляция — полихорическая корреляция двух бинарных переменных, то есть случай таблицы 2×2. Она предполагает, что каждая бинарная переменная — это континуум, разрезанный одним порогом, и здесь кроется опасность. Для рекомендует и филиал тетрахорическая корреляция равна −0.17, а коэффициент фи по той же таблице −0.10. Большее число ничего не оценивает точнее, потому что посетителем «Набережной» нельзя быть отчасти. Филиал — подлинно бинарная переменная: коэффициент оценивает корреляцию с континуумом, которого не существует, и по самому построению оказывается больше φ по модулю. Он уместен, когда деление искусственное: сдал или не сдал по баллу, выше или ниже порога, ответ «да/нет», за которым стоит склонность. Для подлинно бинарной переменной берут φ.

Полисериальная корреляция — латентная корреляция непрерывной и упорядоченной переменных. Для оценка и вкус она равна 0.57 при r Пирсона 0.55. Прибавка невелика: оценка и так близка к измерению, и огрублена только одна переменная пары. В семействе он отвечает за смешанные пары, и латентный пресет выбирает его для каждой пары из непрерывной и порядковой переменных.

Бисериальная корреляция — латентная корреляция непрерывной переменной и бинарной, за которой стоит разрезанный надвое континуум. Для оценка и рекомендует она равна 0.68, а точечно-бисериальный r (r Пирсона при кодировании ответов «да» и «нет» как 1 и 0) равен 0.55. Эти коэффициенты отвечают на разные вопросы. Точечно-бисериальный показывает, насколько тесно с оценкой связан сам ответ. Бисериальный оценивает, насколько тесно с ней была бы связана готовность рекомендовать, если бы её измеряли по шкале. При этом предполагается, что ответ — это та же готовность, разрезанная порогом. Для рекомендует такое толкование оправдано, и бисериальный коэффициент больше точечно-бисериального по той же причине, по которой тетрахорический больше φ. Если же бинарная переменная — категория, а не разрез, смысл имеет только точечно-бисериальный.

Латентная двумерная нормальность — допущение, общее для всех четырёх коэффициентов: две латентные величины имеют совместное нормальное распределение (колоколообразный холм в двух измерениях), и одни лишь пороги превращают этот холм в наблюдаемую таблицу. В отличие от допущений, на которых держится p-значение, от этого допущения зависит сам коэффициент: если латентные величины скошены или связаны нелинейно, смещена сама оценка, а не только её проверка. Карточка допущений модуля проверяет каждую латентную пару критерием согласия, встроенным в метод оценивания, и, если допущение отвергнуто, ставит рядом с коэффициентом отметку, а не убирает его. Для двух порядковых переменных нет коэффициента без допущений, который оценивал бы то же самое, поэтому разумно принять оценку вместе с отметкой и сверить её с ранговой корреляцией той же пары. В таблице 2×2 после подгонки порогов и корреляции проверять больше нечего, поэтому для тетрахорической пары там стоит Н/Д, а не Пройдено.

Меры согласованности пар #

τ Кендалла строится по парам наблюдений, а не по значениям. Два родственных ему коэффициента, которые тоже есть в модуле, берут те же пары, но по-другому учитывают пары с совпадениями. Если понять, как устроены пары, три значения на одних и тех же данных сложатся в одну картину.

Согласованные и несогласованные пары — то, что подсчитывают все эти коэффициенты. Возьмём любых двух участников. Если тот, кто выше оценил вкус, выше оценил и свежесть, пара согласованная, а если тот, кто выше оценил вкус, ниже оценил свежесть, — несогласованная. Если же двое дали одинаковый ответ хотя бы на один из пунктов, в паре совпадение по этой переменной, и она не относится ни к тем, ни к другим. У 200 участников 19 900 пар, и каждый коэффициент — это разность числа согласованных и несогласованных пар, делённая на тот или иной знаменатель. τ Кендалла в форме τ-b делит на величину, которая учитывает пары без совпадений по каждой из переменных. Приложение вычисляет τ Кендалла именно в форме τ-b, и для пары вкус–свежесть он равен 0.44. Два коэффициента ниже отличаются от него только тем, как учитывают совпадения.

γ Гудмана и Краскела оставляет в знаменателе только число согласованных пар C и несогласованных D,

а пары с совпадениями не учитывает совсем. Для вкус и свежесть γ = 0.56 против τ = 0.44 на тех же парах, и вся разница — в совпадениях: на двух пятибалльных пунктах в большинстве пар есть совпадение хотя бы по одному пункту, и каждая пара, которую отбрасывает γ, остаётся в знаменателе τ. Поэтому γ, как правило, больше τ и достигает ±1, как только все пары без совпадений упорядочены одинаково. Толкуется она непосредственно: среди пар, которые можно упорядочить по обоим пунктам, согласованных на 56 процентных пунктов больше, чем несогласованных. Её стандартная ошибка рассчитана на данные с совпадениями, поэтому проверка совпадений в модуле к γ не применяется.

D Сомерса учитывает совпадения по одной переменной и отбрасывает по другой, поэтому в семействе это направленный коэффициент. D(Y | X) делит на число пар без совпадения по предиктору X: пара с совпадением по исходу Y уменьшает значение, а пара с совпадением по X на него не влияет. Направление вкус → свежесть даёт 0.43, а свежесть → вкус 0.44. Здесь два значения почти совпадают, потому что разброс у пунктов примерно одинаковый. Сильнее они расходятся, когда у одной переменной совпадений гораздо больше, чем у другой. Смысл D такой: среди пар, различающихся по предиктору, доля согласованных по исходу минус доля несогласованных. Это порядковый аналог коэффициента наклона регрессии: на нём основана c-статистика логистической модели, и модуль предлагает его там, где не выполнены допущения мер сравнения средних.

β Бломквиста, или медианная корреляция, — самый грубый из знаковых коэффициентов и самый устойчивый. Каждую переменную делят по медиане, считают наблюдения, попавшие по одну сторону от обеих медиан и по разные стороны, и выражают разность этих чисел в долях от их суммы. Коэффициент учитывает только то, в какой квадрант попало наблюдение, поэтому ни одно значение не может его сдвинуть, как бы далеко оно ни лежало. Для чек_до и чек_после β = 0.49 и с заказом кейтеринга в файле, и без него, тогда как r Пирсона из-за этой одной ячейки меняется с 0.60 до 0.69. Его используют для контроля, а не как основной коэффициент: он отбрасывает величины значений, а вместе с ними и мощность. Наблюдения, лежащие точно на медиане, в подсчёт не входят, поэтому для пары с 199 полными строками n равно 196.

Меры для таблиц сопряжённости #

Когда одна или обе переменные категориальные, связь оценивают по таблице сопряжённости, а p-значение даёт критерий хи-квадрат для этой таблицы. Меры размера эффекта для таблицы (V Крамера, w Коэна, отношение шансов) описаны на странице о размерах эффекта, а здесь разобраны два коэффициента, которые добавляет модуль корреляций.

Коэффициент фи — r Пирсона для двух бинарных переменных, закодированных 0 и 1. На таблице 2×2 это V Крамера со знаком, поскольку там $|\phi |=\sqrt{{\chi }^2/n}=V$. Для рекомендует и филиал φ = −0.10 при χ²(1) = 2.12, p = 0.145: оснований считать, что в двух филиалах доля рекомендующих разная, нет. Знак зависит от порядка кодирования («Набережная» раньше «Привокзальной», «не рекомендует» раньше «рекомендует»), так что отрицательный φ означает, что второй филиал сочетается с первым ответом: участники из «Привокзальной» рекомендуют кафе немного реже (62.6% против 72.3%). Коэффициент приводят вместе со знаком и кодировкой либо без знака, называя направление словами. Силу φ оценивают по диапазонам V. В модуле корреляций V Крамера рассчитывается с поправкой Бергсмы на смещение и на этой таблице равен 0.07, а в модуле сравнения V без поправки и |φ| равны 0.10. Связь одна и та же, просто одна из оценок сдвинута к тому, что показала бы таблица независимых переменных.

Корреляционное отношение (ε²) — доля дисперсии непрерывной переменной, которую объясняют группы категориальной, то есть η² (R² однофакторного дисперсионного анализа), в форме с поправкой на смещение,

которая вычитает долю, объясняемую k группами чисто случайно. Филиал объясняет η² = 0.050 дисперсии чек_до, модуль сообщает ε² = 0.045, а в качестве критерия — F(1, 198) = 10.32, p = 0.002. Один символ здесь обозначает две меры: ε² на странице о размерах эффекта — ранговый вариант той же поправки для критерия Краскела — Уоллиса, а описанный там же ω² — другая поправка η², которая на этой паре тоже даёт 0.045. Группирующей стороной модуль корреляций считает категориальную переменную или числовую, у которой не больше десяти различных значений. Поэтому оценка (шкала от 0 до 10 с десятью различными значениями в файле) в паре с филиал тоже считается группировкой, а для пары из двух группировок модуль переходит к V Крамера. По этой причине пример здесь построен на чек_до, а не на оценке удовлетворённости.

Информационное семейство #

Корреляция проверяет, меняются ли две переменные вместе, а взаимная информация — даёт ли знание одной переменной хоть что-нибудь о другой, при связи любой формы и для переменных любого типа. Все пять коэффициентов семейства выражают пятью способами одну и ту же величину — информацию, общую для двух переменных. Все они вычисляются по таблице: для двух категориальных переменных она получается сразу, а непрерывную переменную сначала разбивают на интервалы, так что результат зависит от сетки.

Энтропия — неопределённость одной переменной в натах, где $p_i$ — доля наблюдений с каждым из её значений:

У переменной с одним значением H = 0, а у переменной, равномерно распределённой по пяти значениям, H = ln 5 = 1.61. У вкус H = 1.52, у свежесть 1.48, то есть оба пункта распределены почти так широко, как позволяют пять уровней. Нат — единица на основе натурального логарифма, и один нат равен примерно 1.44 бита. Если отмечен флажок Добавить энтропии, модуль выводит обе энтропии рядом с коэффициентом, с поправкой Миллера — Мэдоу, которая компенсирует занижение, свойственное оценке энтропии методом подстановки на конечной выборке.

Взаимная информация — неопределённость, общая для двух переменных,

то есть величина, на которую знание одной переменной уменьшает неопределённость другой. Она измеряется в натах, симметрична, равна 0 при независимости и сверху ограничена только меньшей из двух энтропий. У вкус и свежесть MI = 0.15 ната: знание одного пункта снимает примерно десятую часть неопределённости другого. Взаимная информация улавливает любую зависимость, криволинейную или между категориями, и на ней построены четыре коэффициента ниже. Флажок Добавить взаимную информацию выводит её в матрицу. Аналитическое p-значение получают, сравнивая 2n·MI с распределением χ², а для разреженных таблиц, где это приближение не работает, есть перестановочное p-значение.

Нормализованная взаимная информация — MI, делённая на среднее двух энтропий. Она меняется от 0 до 1, и её можно сравнивать между парами: для вкус и свежесть она равна 0.10 (MI = 0.15 при средней энтропии 1.50). Это универсальный показатель того, сколько общего у двух переменных. Именно для него заданы информационные диапазоны приложения, и в семействе это самый надёжный выбор по умолчанию.

Скорректированная взаимная информация вычитает из MI то значение, которое случайно показали бы две независимые переменные с такими же маргинальными частотами, и делит результат на большую из энтропий за вычетом того же случайного слагаемого. Для вкус и свежесть она равна 0.09. Она ниже NMI сразу по двум причинам: из-за поправки на случайность и из-за более строгого знаменателя. Её стоит предпочесть, когда пары в матрице сильно различаются числом категорий, поскольку исходная MI растёт с числом ячеек, есть ли у переменных что-то общее или нет. При независимости она может оказаться чуть ниже 0, и приложение выводит это значение как есть, не заменяя нулём.

Коэффициент когерентности Райского делит MI на совместную энтропию H(X, Y): для вкус и свежесть получается 0.05. Это самая строгая нормировка: коэффициент достигает 1, только если две переменные совпадают с точностью до переименования значений. Поэтому на реальных парах коэффициент невелик, и применяют его тогда, когда вопрос в том, одинаковы ли переменные, а не в том, связаны ли они.

U Тейла делит MI на энтропию одной из переменных, $U(Y|X)=\text{MI}/H(Y)$, и показывает, какую долю неопределённости Y снимает знание X. Это направленная мера: две ячейки пары различаются всякий раз, когда различаются энтропии. У вкус и свежесть энтропии почти совпадают, и в обоих направлениях U = 0.10. Ячейка строка → столбец показывает, насколько переменная строки информативна о переменной столбца.

Дискретизация — первое, что любой коэффициент семейства делает с непрерывной переменной: её разбивают на интервалы с равными частотами, и эти интервалы становятся категориями таблицы. Число интервалов задаётся правилом. По умолчанию это примерно кубический корень из N, а можно выбрать правило Райса, правило Стёрджеса или фиксированное число. Интервалов не бывает больше, чем различных значений, а переменная, у которой не больше десяти различных значений, кодируется по уровням без разбиения, поэтому двум пятибалльным пунктам выше дискретизация не понадобилась. Сетка — это выбор, от которого зависит результат. Более мелкая сетка улавливает больше деталей, но рассеивает наблюдения по большему числу ячеек, а в разреженной таблице завышена сама общая информация, не только её p-значение. Карточка допущений модуля сообщает, какую сетку использует расчёт и какова на ней наименьшая ожидаемая частота, а само правило выбирается в параметрах отображения.

Зависимость сверх монотонного тренда #

Все коэффициенты до информационного семейства отвечают на вопрос о прямой или о порядке. Если связь сначала растёт, а потом падает (U-образная, в виде перевёрнутой U, циклическая), r Пирсона и ранговые коэффициенты дают значение около 0: возрастающая половина гасит убывающую, и связь, хорошо заметная на диаграмме рассеяния, по коэффициенту выглядит как её отсутствие. Три коэффициента созданы, чтобы такую связь замечать. Все три равны 0 только при независимости, поэтому любая зависимость (линейная, криволинейная или циклическая) делает их положительными. Цена этого в том, что их значения не лежат в шкале r и форму зависимости по ним не определить.

В данных кафе такой пары нет намеренно: все связи в них монотонные, хоть и с шумом. На них и показаны три коэффициента ниже, так что значения на данных кафе иллюстрируют их шкалы по сравнению со шкалой r, а не то, ради чего эти коэффициенты созданы. А созданы они для таких случаев. Рост растения с увеличением полива сначала усиливается, а после оптимума снижается, так что r по всему диапазону близок к 0, хотя зависимость полная. Выручка магазина выше всего при умеренной температуре. Результативность ученика в зависимости от уровня возбуждения описывается перевёрнутой U, которую рисуют в учебниках. На любом из этих примеров три коэффициента дают явно положительное значение там, где r не показывает ничего.

D Хёффдинга — старейший критерий независимости против любой альтернативы. Он сравнивает совместное распределение рангов на всей плоскости с тем, какое дала бы независимость. При независимости D равен 0, а при зависимости любой формы положителен. Шкала у него своя (примерно от −0.5 до 1, и даже при сильной зависимости D редко превышает 0.3), поэтому приложение задаёт для него отдельные диапазоны. Для вкус и свежесть D = 0.07, для оценка и вкус 0.08, для оценка и ожидание 0.04. Все три значения значимы, и ни одно нельзя сравнивать со стоящим рядом r. Коэффициент рассчитан на непрерывные данные, а совпадения его ослабляют: для двух одинаковых пятиуровневых пунктов D ≈ 0.57, а не 1. Поэтому на порядковых данных его следует считать нижней границей и предпочесть ему два следующих коэффициента.

ξ Чаттерджи показывает, в какой мере Y является функцией X: он равен 1, когда Y полностью определяется X, какой бы криволинейной ни была функция, и 0 при независимости. Коэффициент направленный, потому что Y может быть функцией X, а X при этом функцией Y не быть. Направление оценка → вкус даёт ξ = 0.16, вкус → оценка 0.14, оценка → ожидание 0.14, ожидание → оценка 0.07. Значения невелики, потому что зашумлённая связь далека от функциональной (к 1 ξ приближается лишь при почти полной определённости). Поэтому у ξ тоже свои диапазоны, заметно ниже информационных. Совпадающие значения предиктора упорядочиваются случайно, с зерном приложения, поэтому на пятибалльном предикторе значение — лишь одна из нескольких равноправных реализаций, которые допускают данные. От запуска к запуску оно воспроизводится, а в матрице отмечается везде, где у предиктора есть совпадения.

Дистанционная корреляция равна 0 тогда и только тогда, когда две переменные независимы, а в остальных случаях положительна, как бы ни выглядела зависимость. Она строится по расстояниям между всеми парами наблюдений по каждой переменной, а не по значениям или рангам. На монотонных парах кафе она близка к |r|: 0.48 для вкус и свежесть, 0.49 для оценка и вкус, 0.33 для оценка и ожидание. В этом её достоинство: она лежит в привычной для корреляции шкале от 0 до 1 и отходит от |r| именно там, где монотонный коэффициент что-то упускает. Модуль выводит квадратный корень из оценки с поправкой на смещение, где отрицательные значения заменены нулём, и именно это приводит её к такой шкале. Кроме того, по ней модуль проверяет остатки каждой пары после монотонной подгонки, так что криволинейная связь будет отмечена, даже если выбран метод Пирсона.

Ограничение диапазона #

Ограничение диапазона — ситуация, когда выборка охватывает только часть диапазона переменной. Оно уменьшает любую корреляцию с этой переменной: связь никуда не исчезает, но разброса на одной стороне в выборке слишком мало, чтобы её увидеть. Классический пример — отобранная выборка. Вступительный экзамен слабо коррелирует с последующей успеваемостью среди зачисленных, потому что все зачисленные сдали экзамен хорошо, а по всем абитуриентам корреляция была бы намного выше. К тому же ведут эффект пола и потолка (пункту, на который почти все отвечают 5, некуда меняться) и преобладающее значение. Ограничение диапазона родственно аттенуации: в обоих случаях наблюдаемая корреляция занижает истинную, только в одном из-за ошибки измерения, а в другом из-за отбора. Карточка допущений модуля сообщает для каждой переменной Макс. доля значения, то есть наибольшую долю наблюдений с одним и тем же значением, и ставит Не пройдено в строке Достаточный разброс, когда одно значение занимает больше половины наблюдений. Переменные кафе эту проверку проходят (самый частый ответ по вкус дали 28.5% участников, по оценка 21%), поэтому здесь отметка только описана. Если отметка появилась, никакой коэффициент этого не исправит: корреляцию остаётся считать нижней границей для этой выборки, а помочь может только выборка, охватывающая весь диапазон.

Сравнение двух корреляций #

Часто вопрос не в самой корреляции. Связана ли удовлетворённость со вкусом теснее, чем со свежестью? Одинакова ли связь между тратами до и после в обоих филиалах? Два коэффициента, которые выглядят разными, могут оказаться одной и той же корреляцией, дважды оценённой с выборочной погрешностью. Способ проверки разности зависит от того, получены ли они на одной выборке. Карточка сравнения модуля выбирает критерий по структуре сравнения, а понятия, на которых основан этот выбор, описаны ниже.

Независимые корреляции получены на двух отдельных выборках: это одна и та же пара переменных в двух группах группирующей переменной. В модуле такая структура называется Между группами, а группирующая переменная задаётся в поле Сравнить по (переменная). Коэффициенты ничем не связаны, поэтому критерий самый простой: каждый переводят в z Фишера, берут разность и делят её на $\sqrt{1/(n_1-3)+1/(n_2-3)}$. Для чек_до и чек_после r = 0.71 в «Набережной» (n = 101) и 0.66 в «Привокзальной» (n = 98): Δr = 0.05, z = 0.69, p = 0.49, интервал для разности от −0.10 до 0.21. Заметная на глаз разница вполне укладывается в то, что две выборки по сотне человек дали бы при одной истинной корреляции.

Зависимые корреляции получены на одной и той же выборке, и критерий должен учитывать, что сами коэффициенты коррелированы. Они бывают двух видов. Перекрывающиеся корреляции имеют общую переменную, как оценка~вкус и оценка~свежесть с общей переменной оценка. Их дают структуры модуля по строкам, по столбцам и относительно опорной ячейки. У неперекрывающихся корреляций общая только выборка, как у вкус~свежесть и быстро~медленно. Они возникают в структуре с опорной ячейкой, когда у выбранной ячейки нет общей переменной со сравниваемой. Классические критерии — T2 Уильямса для перекрывающихся корреляций и z Стейгера для неперекрывающихся. По умолчанию модуль проводит то же сравнение, но вычисляет ковариацию в точке обратно преобразованного среднего двух коэффициентов (z Данна и Кларка в модификации Хиттнера, Мэя и Сильвера), и на данных кафе оба варианта совпадают до второго знака. В любом случае учёт общей переменной — это то, чего не хватило бы наивному критерию для двух r. оценка коррелирует с вкус на уровне 0.55, а с свежесть на уровне 0.53 (193 участника, у которых есть оценка): Δr = 0.02, t(190) = 0.29 по критерию Уильямса, p = 0.77, интервал для разности от −0.10 до 0.13. Насколько можно судить по этой выборке, оба пункта одинаково близки к общей оценке. Критерий рассчитывается по строкам, полным по всем переменным сравнения, и при попарном удалении их меньше, чем n каждой из двух ячеек.

z-преобразование Фишера — это

и нужно оно потому, что у r неудобное выборочное распределение. Коэффициент ограничен значениями ±1, и чем ближе он к краю, тем сильнее сжато и скошено его распределение, так что разность 0.05 при 0.90 значит гораздо больше, чем при 0.10. В шкале z распределение близко к нормальному со стандартной ошибкой $1/\sqrt{n-3}$ при любом истинном значении, поэтому все критерии и интервалы для корреляции строят в этой шкале и переводят обратно через tanh. Отсюда асимметрия интервала вокруг r = 0.71 выше (от 0.60 до 0.79) и отсутствие критерия для корреляции, равной ровно ±1: её z бесконечно. Для r Пирсона при нормальности преобразование точное, а для коэффициентов Спирмена, Кендалла и точечно-бисериального служит подстановочным приближением.

Δr — разность двух корреляций, r(A) − r(B), в том порядке, в каком их перечисляет сравнение. Это число приводят в отчёте о сравнении вместе с p-значением. Но главное — его доверительный интервал. Если интервал не включает 0, выборка подтверждает разность на этом уровне, а если накрывает 0, как оба интервала на данных кафе, коэффициенты вполне могут быть одним и тем же. Модуль строит интервал методом Зоу по интервалам z Фишера для каждого из двух коэффициентов или бутстрэпом. Для коэффициентов без критерия в замкнутой форме бутстрэп — единственный способ.

Совместная проверка структуры проверяет одну гипотезу для всей матрицы вместо отдельной гипотезы для каждой пары: равны ли все эти корреляции (составная симметрия), равны ли корреляции внутри каждой строки матрицы или, при сравнении групп, одинакова ли вся корреляционная матрица во всех группах. Ответ даёт одна статистика χ² с числом степеней свободы, равным числу ограничений. После неё модуль перечисляет отдельные сравнения, чтобы значимое отклонение от структуры можно было связать с ячейками, которые её нарушают. Это корреляционный аналог общего дисперсионного анализа перед апостериорными критериями, и выполнять его первым нужно по той же причине: если просматривать попарные критерии матрицы по одному, различия найдутся случайно так же неизбежно, как в любом семействе критериев.

Сеть частных корреляций #

Корреляционная матрица шести пунктов анкеты и общей оценки содержит 21 число, и большинство из них велики. Каждый пункт коррелирует с каждым, потому что отчасти отражает удовлетворённость едой, отчасти обслуживанием, а отчасти общую склонность быть довольным. По матрице нельзя понять, какие пары связаны напрямую, а какие только через остальные переменные. Сеть частных корреляций это показывает.

Сеть частных корреляций — изображённый в виде графа набор частных корреляций между переменными, где из каждой пары исключено влияние всех остальных переменных сразу. Каждой переменной соответствует узел, каждой паре — ребро, толщина ребра показывает величину частной корреляции, а цвет — её знак. Ребро остаётся только там, где две переменные связаны и среди наблюдений, одинаковых по всем остальным переменным набора. Корреляция, которую создавала третья переменная, исчезает. На шести пунктах и оценка (193 участника с полными данными по всем семи) вкус и приветливо коррелируют на уровне 0.21 в обычной матрице и −0.08 в сети. Напрямую пункт о еде с пунктом об обслуживании ничего не связывает, а корреляция 0.21 возникала оттого, что оба фактора вносят вклад в общую склонность быть довольным. Для вкус–свежесть корреляция уменьшается с 0.51 до 0.24, для вкус–оценка с 0.55 до 0.31: это прямые связи, которые ослабевают, но сохраняются. В основе графа лежит гауссовская графическая модель. Сеть — единая модель для всех узлов, поэтому её подгоняют по наблюдениям, полным по каждому узлу, а не попарно. Контрольные переменные расчёта тоже становятся узлами, ведь сеть учитывает всё, что в неё входит.

Гауссовская графическая модель — статистическая модель, которую представляет сеть частных корреляций. Переменные считаются совместно нормальными, а граф показывает, какие пары условно независимы, то есть не связаны при фиксированных значениях всех остальных переменных: у таких пар нет ребра. Параметры модели — элементы матрицы, обратной к ковариационной, и каждый из них после масштабирования даёт частную корреляцию, поэтому вся сеть оценивается за один шаг по корреляционной матрице. В этой модели работает сетевая психометрия, где узлами служат симптомы или пункты опросника, а вопрос в том, какие из них поддерживают друг друга напрямую.

Узел — переменная в сети: одна из выбранных переменных или контрольная. В таблице центральности каждому узлу отведена одна строка, и узлы упорядочены по силе.

Ребро — частная корреляция пары, изображённая линией между двумя узлами. Положительные и отрицательные рёбра окрашены в разные цвета, и чем больше коэффициент, тем толще линия. При нерегуляризованной оценке ребром является каждая пара, со своим коэффициентом, p-значением и степенями свободы. При регуляризованной оценке ребро, сжатое до нуля, отсутствует, и это более сильное утверждение, чем незначимый критерий: модель исключила ребро при отборе.

Графическое лассо — регуляризованная оценка. Оно подгоняет гауссовскую графическую модель со штрафом L1 на обратную ковариационную матрицу (это штраф LASSO, только применённый к сети, а не к регрессии), который сжимает малые частные корреляции ровно до 0 и оставляет разреженный граф. Вес штрафа подбирают по расширенному байесовскому информационному критерию. Настроечный параметр этого критерия γ задаёт, насколько сильно выбор смещается в сторону разреженного графа (по умолчанию 0.5, при 0 рёбер остаётся больше, при 1 меньше). На семи узлах кафе графическое лассо сохраняет 12 рёбер из 21 при штрафе 0.065, причём исчезают все рёбра между пунктами о еде и об обслуживании, а оставшиеся рёбра немного меньше своих нерегуляризованных значений: сжатие — это цена отбора. Эта оценка подходит для сети, большой по сравнению с выборкой, и делает читаемой сеть любого размера, а нерегуляризованная нужна, чтобы получить p-значение для каждого ребра. Две оценки отвечают на разные вопросы, и в отчёте указывают, какая из них использована.

Сила — центральность узла, равная сумме абсолютных значений частных корреляций на его рёбрах. Она показывает, сколько связей сети проходит через узел, без учёта знака. Самый сильный узел — оценка (1.56): у неё есть прямое ребро к каждому пункту, как и должно быть у общей оценки. Самый слабый — медленно (0.66). Модуль выводит только силу и ожидаемое влияние, потому что близость и посредничество, по данным литературы о психометрических сетях, на взвешенном графе неустойчивы. Обе величины — простые суммы в шкале самого коэффициента, без стандартизации по узлам, и ребро входит в них своим коэффициентом, значимо оно или нет.

Ожидаемое влияние — та же сумма, но со знаками. Если все рёбра узла положительны, ожидаемое влияние равно силе, а у узла с сильными положительными и сильными отрицательными рёбрами сила высокая, но ожидаемое влияние близко к 0. Именно поэтому две величины рассматривают вместе. У быстро сила 0.87, а ожидаемое влияние 0.08: этот пункт связан с оценка положительно (0.27), а с медленно отрицательно (−0.25). Пункт медленно — обратный, в нём о том же спрашивается с противоположной стороны. У него сила 0.66 и ожидаемое влияние −0.50: пять из шести его рёбер отрицательны, потому что высокий балл по нему означает плохое обслуживание. Ни граф, ни сила по отдельности этого различия не показывают.

Сообщество — группа узлов, которые связаны друг с другом теснее, чем с остальными. Сообщества находят, разбивая сеть так, чтобы её модулярность была максимальной. Модуль учитывает знак рёбер: отрицательное ребро не отбрасывается, а служит доводом за то, чтобы разнести два узла по разным сообществам. По результату разбиения раскрашиваются узлы графа. В сети кафе нерегуляризованная оценка находит два сообщества (три пункта о еде вместе с медленно, а также приветливо, быстро и оценка) при модулярности 0.23, а графическое лассо находит три, выделяя медленно в отдельное, при модулярности 0.24. Отсюда главный вывод: раз одни и те же семь переменных дают при двух оценках два разных разбиения, сообщество описывает эту сеть при этой оценке, и число сообществ — не число факторов. В других работах выделение сообществ применяют для оценки размерности, и соблазн принять «два сообщества» за «два фактора» велик. Если вопрос в размерности, на него отвечает факторный анализ, созданный именно для этого.

Модулярность — показатель, по которому выбирают разбиение на сообщества: доля веса рёбер внутри сообществ за вычетом доли, ожидаемой там в сети с теми же силами узлов, но без групповой структуры. Значение около 0 означает, что группы в разбиении выражены не сильнее, чем их дали бы одни силы узлов, а 0.23 на данных кафе — умеренная структура. Поиск ведётся методом имитации отжига из случайного начального состояния, поэтому он выполняется с зерном воспроизводимости приложения, и на одних и тех же данных получается одно и то же разбиение.

Врач: доза → переменная строки, отклик → переменная столбца, а для отклика, который сначала растёт, а потом падает, — ξ или дистанционная корреляция; HR-аналитик: пункты о вовлечённости → узлы сети, отдел → группирующая переменная, по которой сравнивают матрицы; учитель: посещаемость и оценки → ранговая корреляция, «сдал/не сдал» и оценка → точечно-бисериальная корреляция, класс из одних зачисленных → ограничение диапазона.

Где это встречается в DataSuite #

• Корреляционный анализ — список Метод корреляции содержит все меры этой страницы, разбитые на те же три группы, и два пресета Смешанная/авто, которые выбирают метод для каждой пары по типам переменных. Карточка допущений проверяет латентную нормальность, совпадения, частоты ячеек, ограничение диапазона и зависимость сверх монотонного тренда, карточка сравнения сравнивает независимые и зависимые корреляции, а также проводит совместную проверку структуры, а флажок Оценить сеть частных корреляций добавляет сеть.
• Сравнительный анализ — критерий хи-квадрат и V Крамера для таблицы сопряжённости, а также размеры эффекта при сравнении групп.
• Регрессионный анализ — корреляции нулевого порядка, частные и получастные для каждого предиктора, а также LASSO, штраф которого заимствует графическое лассо.
• Факторный анализ — подгоняется по корреляционной матрице, полихорической, если пункты порядковые. Это инструмент для вопроса о размерности, на который сообщества сети не отвечают.
• Анализ надёжности — корреляции между пунктами и аттенуация, которую ошибка измерения шкалы вносит в любую корреляцию с её участием.
• Планирование анализа — объём выборки для критерия корреляции и калькулятор аттенуации корреляции.
• Настройки — диапазоны силы для знаковых коэффициентов, информационного семейства, D Хёффдинга и ξ Чаттерджи, а также рекомендательные пороги для ограничения диапазона и совпадений.