Корреляционный анализ — методические заметки #

Решения, на которых построен модуль корреляционного анализа: какой оценщик даёт каждый коэффициент, откуда берутся поправки и ограничения, от чего расчёт отказывается и о чём предупреждает до запуска, а также подтверждающие это числа. Все числа получены на наборе-примере (cafe.ru.csv, спецификация лежит рядом). Разделы следуют разделам руководства.

Настройка #

Списки переменных предлагают только то, что метод может вычислить. Списки каждого метода отфильтрованы по типам, допустимым для его оценщика, а не оставлены открытыми, поскольку неприменимая пара не даёт явной ошибки: она заполняет матрицу ячейками с ошибками или, хуже того, числом, которое означает нечто иное. При импорте каждый числовой столбец, включая индикаторные, получает тип непрерывная, поэтому Точечно-бисериальный, Бисериальный, Полисериальная корреляция и β Бломквиста принимают строго непрерывную переменную. Иначе непрерывную позицию занял бы столбец 0/1, а на нём медианный фильтр β отбрасывает все строки по одну сторону от медианы, и β либо вычисляется по одной половине данных, либо вырождается в φ. V Крамера в расчёте одним методом принимает категориальные и бинарные переменные, но не порядковые: с упорядоченным партнёром применимы меры, учитывающие порядок (γ, D Сомерса, Спирмен). С номинальным партнёром порядок не может учесть ни одна мера, поэтому пресеты направляют пары «порядковая × категориальная» именно к V. Полихорическая корреляция принимает бинарную переменную как порядковую с двумя уровнями, так же как это делают пресеты. Левый список при методе Корреляционное отношение (ε²) содержит только переменные, которые могут быть группирующими, по причине, изложенной в следующем разделе.

Выбор метода #

Корреляционное отношение выводится как ε², то есть η² с поправкой на смещение, а при двух группирующих переменных заменяется на V Крамера. Выборочное отношение при независимости завышено на $(k-1)/(n-1)$: при многих группах и умеренной выборке оно может попасть в градацию сильная на чистом шуме и оказаться вне собственного доверительного интервала, построенного для генеральной величины. Поэтому модуль выводит ${\epsilon }^2=1-(1-{\eta }^2)(n-1)/(n-k)$ и сохраняет F-критерий, p-значение и градации Коэна, сформулированные для доли объяснённой дисперсии в генеральной совокупности. Единственное видимое следствие — значение чуть ниже 0, когда группы действительно не различаются, тогда как интервал начинается с 0. Группирующей считается категориальная переменная или числовая не более чем с 10 различными значениями. Этот же порог информационное семейство использует, чтобы решить, что разбивать на интервалы, и задан он в одном месте, так что вспомогательные функции R и фильтр списка не могут разойтись. Группирующая переменная остаётся группирующей, в каком бы списке она ни стояла, поэтому матрица не зависит от порядка ввода. Если группирующими могут быть обе переменные, произвольные числовые коды одной из них сделали бы η² зависимым от разметки, поэтому R подставляет в ячейку V Крамера, о чём сообщает столбец Метод. Если не может ни одна, группирующего фактора нет и оценщик завершается ошибкой, поэтому фильтруется левый список, а не заполняется матрица ячейками с ошибками.

V Крамера — оценка Бергсмы с поправкой на смещение, при независимости равная 0. Классическое $V=\sqrt{{\chi }^2/(n\cdot \min (r-1,c-1))}$ смещено вверх, поскольку при независимых переменных математическое ожидание χ²/n равно $(r-1)(c-1)/(n-1)$, а не 0. Сильнее всего это сказывается при малом n и в больших таблицах, где таблица несвязанных переменных показывает слабую или умеренную связь. Оценка Бергсмы (Bergsma, 2013) вычитает это ожидание из φ² и уменьшает размерности до $\tilde{r}=r-{(r-1)}^2/(n-1)$, $\tilde{c}=c-{(c-1)}^2/(n-1)$, поэтому на независимой таблице она равна ровно 0, при не слишком малой выборке сходится к классическому значению и никогда его не превышает. Аналитический интервал и проверка эквивалентности строятся обращением нецентрального χ² с тем же уменьшенным знаменателем, так что все три величины лежат на одной шкале. Исключение — φ: |φ| для таблицы 2×2 и есть классическое V, поэтому его интервал строится с неуменьшенным знаменателем (обоснование ниже). В модуле сравнения V Крамера вычисляется без поправки, и потому на одной таблице два модуля дают разные значения. Пороги Коэна (Cohen, 1988), по которым строится градация силы, рассчитаны на большие выборки, и никакая поправка этого не меняет, поэтому градация сопровождается оговоркой.

Проверка. На таблице рекомендует × филиал кафе исправленное V равно 0.07, а в модуле сравнения — 0.10.

D Хёффдинга вычисляется без поправки на связанные ранги, и при совпадениях его критерий становится консервативным. Hmisc::hoeffd не вводит поправку на связанные ранги, а таблица Блюма — Кифера — Розенблатта в phoeffd предполагает непрерывность, поэтому совпадения ослабляют сам коэффициент и делают критерий консервативным. Замеры: две одинаковые порядковые переменные с пятью уровнями дают D = 0.571 вместо 1, а частота ошибки первого рода при α = 0.05 падает до 0.0125 на пятиуровневых данных и до 0 на бинарных. Модуль сохраняет коэффициент и отмечает множество совпадений в столбце пригодности с единственным доступным для D средством: понимать значение как нижнюю границу и предпочесть дистанционную корреляцию или информационное семейство, которые естественно работают с дискретными данными. Перестановочного p-значения, как у ранговых методов, D не получает, поскольку перестановка не восстановила бы ослабленный коэффициент. Шкала у D собственная (примерно от −0.5 до 1, сильная зависимость редко превышает 0.3), поэтому у него свои диапазоны силы, а не диапазоны информационного семейства. Выборочное D при независимости может быть ниже 0: это шумовой разброс вокруг среднего при нулевой гипотезе, а не антизависимость, поэтому таблица показывает исходное значение, и только беззнаковые визуализации обрезают его до 0.

Совпадения в первой переменной ξ Чаттерджи упорядочиваются случайно, при фиксированном зерне. XICOR::xicor ранжирует первую переменную с ties.method = "random", как предписывает исходное определение, поэтому при совпадениях ξ остаётся случайной величиной даже на фиксированных данных: три вызова на одной пятиуровневой переменной дали 0.267, 0.219 и 0.200. Оценка и её огибающая стандартная ошибка вычисляются при одном и том же фиксированном зерне и используют одну и ту же первую случайную перестановку, так что значение воспроизводится от запуска к запуску, а стандартная ошибка описывает тот порядок, который использовала оценка. Зерно фиксированное, а не зерно бутстрэпа, потому что и расчёт без заданного зерна должен дважды выдать одно и то же ξ. Оговорка под таблицей появляется, когда в первой переменной ячейки действительно есть совпадения, и отмечается только это направление. ξ асимметрична, и случайное ранжирование затрагивает именно совпадения предиктора: совпадения во второй переменной по определению получают максимальные ранги, а дисперсия при нулевой гипотезе, на которой строится p-значение, на них скорректирована.

Дистанционная корреляция — квадратный корень из оценки с поправкой на смещение, ограниченной снизу нулём, а свыше 3 000 строк она вычисляется на подвыборке этого объёма. energy::bcdcor оценивает dCor², то есть исправленную на смещение статистику R*ₙ Секей и Риццо, которая при независимости может быть ниже 0. Модуль ограничивает её снизу нулём и извлекает корень, что переводит значение на ту же шкалу 0–1, что и |r|, на которую рассчитаны диапазоны силы и цветовая шкала, так что выводимая dCor никогда не бывает отрицательной. Матрицы расстояний растут как квадрат n и исчерпывают кучу WASM (bcdcor работает при n = 4 000 и отказывает при 4 500), поэтому свыше 3 000 полных наблюдений ячейка вычисляется на случайной подвыборке такого объёма. Так на фрагментированной куче остаётся запас и для оценщика, и для dcorT.test. Подвыборка извлекается при собственном фиксированном зерне, поэтому зерно бутстрэпа и расчёты без зерна не затронуты, выводимое N — объём подвыборки, а оговорка под таблицей называет предел. Предел определяется объёмом кучи, а не мощностью, и намеренно отделён от порога большого n, которым пользуются проверки Шапиро — Уилка и МНК.

Полихорическая подгонка при числе уровней больше 20 у одной из переменных сопровождается предупреждением, а не отказом. Полихорическая оценка — двухшаговая подгонка методом максимального правдоподобия по порогам пары, поэтому её стоимость растёт с числом категорий каждой переменной, а не с числом строк. Замеры на рабочем движке: 2.3 с для таблицы 7×7, 28 с для 20×20 и 50 с для 40×40, так что шкала 0–100, объявленная порядковой, превращает скромную матрицу в десятки минут расчёта. Перед расчётом с методом Полихорическая корреляция или латентным пресетом модуль подсчитывает пары, где у одной из переменных больше 20 различных уровней, и если такие есть, называет их число и ожидаемое время одной подгонки. Это лишь предупреждение, поскольку подгонка верна, только медленна, и расчёт можно отменить из окна ожидания. Как поступить, решает пользователь: считать широкую переменную непрерывной или предварительно объединить её категории.

Ни один пресет не выбирает направленный метод. Пресет «Смешанная/авто» выбирает меру для каждой пары по типам двух переменных, и D Сомерса, U Тейла и ξ Чаттерджи никогда не входят в его выбор, даже там, где они применимы. Направленная ячейка в остальном симметричной матрице нарушила бы зрительное соглашение: ячейка [A, B] уже не равнялась бы ячейке [B, A], тогда как у всех соседних это равенство выполняется. Поэтому такие методы требуют явного выбора. Пресет наблюдаемых оценок сохраняет для упорядоченных и бинарных переменных меры с минимумом допущений (φ, точечно-бисериальный коэффициент, Спирмен), а латентный пресет — семейство hetcor (тетрахорическая, бисериальная, полисериальная и полихорическая корреляции). Категориальные сочетания оба пресета обрабатывают одинаково: с номинальной переменной ни одна мера каталога не может учесть порядок порядковой, поэтому пара «порядковая × категориальная» остаётся в семействе χ² вместе с соседними.

Проверка допущений #

Для каждой пары выполняются все применимые проверки, а вердикт носит рекомендательный характер. Проверяются все семейства, к которым относится пара, а не только выбранный метод, поэтому при провале основного метода сразу видно, какая альтернатива подойдёт. Проверки одинаковы при явно выбранном методе и при пресете «Смешанная/авто»: выбор лишь помечает основной метод пары. Автоматически ничего не переключается, поскольку переключение по парам оставило бы матрицу, ячейки которой вычислены разными мерами и несравнимы между собой. Один метод для всей матрицы с отмеченными проблемными ячейками сохраняет сравнимость и при этом подсказывает альтернативу, которой требуют данные: Спирмена при провале проверки линейности или нормальности, Кендалла при влиятельных точках. Метод исключает только проверка, нарушение которой делает недействительным сам коэффициент. Проверка, ставящая под сомнение лишь вывод, называет имеющееся в модуле средство (бутстрэп-интервал, p методом Монте-Карло для χ², перестановочные p-значения), поскольку коэффициент корректен, а сомнительны только его интервал или p.

В групповых расчётах проверки выполняются внутри каждой группы, а объединённые данные не проверяются. В структурах Между группами и Равенство между группами каждая проверка использует то же подмножество строк, что и погрупповой анализ, поскольку вердикт Мардиа, RESET или Левена по объединённым данным может не пройти (или пройти) исключительно из-за сдвигов средних между группами и тем самым одобрить или осудить анализ, который вообще не выполняется. Переменная сравнения внутри группы постоянна и потому не входит в проверяемые пары, а принадлежность пар к семействам определяется по полным данным, так что во всех разделах групп одинаковые строки и столбцы.

Пирсона исключает только нелинейность, а нормальность, гомоскедастичность и влиятельные точки дают оговорки. При кривизне r уже не является мерой линейной связи, как обещает его название, поэтому проваленный RESET исключает его. Отвергнутые критерии Мардиа или Бройша — Пагана не меняют коэффициента, а влияют лишь на покрытие интервала по z Фишера и на нормально-теоретическое p, и средство для этого, бутстрэп-интервал, в модуле есть, поэтому оба дают только предупреждения. Влиятельные точки занимают промежуточное положение. Доминирующее наблюдение смещает сам r, так что формулировка общей оговорки «не на коэффициент» для них была бы неверна, но D Кука > 1 — эмпирический порог, а не статистический критерий, и он слишком груб, чтобы исключать из-за него метод. Поэтому влиятельные точки получают собственную оговорку, которая называет бутстрэп-интервал и τ Кендалла. τ называется без условий, поскольку принимает любую пару, которую принимает Пирсон. β Бломквиста тоже устойчива к влиянию, но требует строго непрерывных столбцов, и её упоминание могло бы указать на метод, недоступный для пары. Зависящий от объёма выборки порог $4/(n-p)$ и порог рычага 2p/n показаны в подсказке для справки и на вердикт не влияют. RESET, критерий Бройша — Пагана и D Кука вычисляются для регрессии в обоих направлениях, и пара не проходит проверку, если не проходит хотя бы одно направление, поскольку у регрессии есть направление, а у корреляции нет.

При N больше 5000 проверки МНК, основанные на отвержении гипотезы, перестают влиять на вердикт по Пирсону. При таком объёме критерии Мардиа, RESET и Бройша — Пагана отвергают почти любые реальные данные, тогда как опирающийся на центральную предельную теорему вывод для Пирсона наиболее устойчив, так что «провал» вводил бы в заблуждение. Этот предел — общий для всего приложения порог большого n, который используют и критерии Шапиро — Уилка, поэтому они не могут разойтись. Столбец Мардиа за этим пределом принудительно получает Н/Д, как и маргинальная таблица. RESET и Бройш — Паган продолжают работать, и их вердикты видны, но на вердикт по Пирсону не влияют: каждый из них вместо этого даёт собственное предупреждение. Обнаруженная кривизна заслуживает внимания при любом N, а гетероскедастичность, в отличие от ненормальности, асимптотически не исчезает: она входит в член четвёртых моментов стандартной ошибки r, поэтому её предупреждение рекомендует бутстрэп-интервал. Расстояние Кука под это исключение не подпадает, поскольку одно доминирующее наблюдение — проблема при любом объёме выборки.

Отклонения, число которых не превышает случайного, не учитываются. Каждая проверка на уровне α выполняется для каждой оценённой пары, поэтому на данных, удовлетворяющих всем допущениям, некоторые отклонения ожидаемы: при десяти непрерывных переменных, то есть 45 парах, правило «любой провал понижает метод» превращается в «понижает всегда». Поэтому число пар с провалом каждой проверки сравнивается с верхней биномиальной границей, рассчитанной по частоте её срабатывания на одну пару. Эта частота равна $1-{(1-\alpha )}^2$ для критерия Мардиа, у которого асимметрия и эксцесс — две статистики и отвергнуть может любая из них, и просто α для RESET, Бройша — Пагана, латентного критерия согласия и критерия Левена. RESET и Бройш — Паган выполняются в двух ориентациях, но обе подгоняются на тех же строках и отвергают вместе, так что правильна частота для одного критерия. Отклонения в пределах границы остаются видны в столбце, а примечание сообщает, что они не учтены. D Кука в этот подсчёт не входит, поскольку это эмпирический порог, у которого нет частоты срабатывания при α. Не входят в него и строки МНК за пределом большого n, которые метод и так никогда не понижают. Та же граница действует для нормальности внутри групп. Отвергшая нормальность группа учитывается, только если она меньше порога малой выборки (выше него t и F, на которых основан вывод для точечно-бисериального коэффициента и ε², устойчивы к ненормальности) и если таких групп больше, чем допускает граница. Группирующая переменная с 10 уровнями даёт десять критериев Шапиро — Уилка, и одно отклонение среди них при α = 0.05 — ровно то, чего следует ожидать и от точно нормального распределения.

Порог совпадений условный и привязан к 1/k², а средство зависит от метода. Выводится поправка на связанные ранги $\sum (t^3-t)/(n^3-n)$, а не доля совпадающих наблюдений, потому что именно она входит в дисперсии ранговых статистик (стандартное отклонение Спирмена с поправкой на связанные ранги, знаменатель τ-b Кендалла). Доля совпадающих наблюдений близка к 1 у любой порядковой переменной и к 0 у любой непрерывной и ничего не различает. При k примерно равных уровнях поправка ≈ 1/k², поэтому порог по умолчанию 0.10 отмечает три и менее эффективных уровня и любую бинарную или порядковую переменную с сильным скоплением значений, а сбалансированная 5-балльная шкала (≈ 0.04) проходит. Приближение t / AS89 с поправкой на связанные ранги для Спирмена при совпадениях ухудшается, а точный критерий Кендалла становится недоступен, поэтому обоим рекомендуются перестановочные p-значения, которые при совпадениях остаются корректными. β Бломквиста получает призыв к осторожности, поскольку скопление на медиане делает её подсчёт по квадрантам неоднозначным, а перестановочного варианта у неё нет. D Хёффдинга получает собственное предупреждение (обоснование выше). γ и D Сомерса оговорок не получают: они созданы для порядковых данных с совпадениями и имеют стандартные ошибки, учитывающие совпадения.

При разреженной таблице χ² модуль предлагает метод Монте-Карло, а не исключает φ и V. Правило Кокрена (ни одной ожидаемой частоты меньше 1 и не больше пятой части ячеек с частотой меньше 5) защищает аппроксимацию χ² для p-значения, а не коэффициент. Поэтому φ и V Крамера остаются в списке, а оговорка называет p-значение методом Монте-Карло, предусмотренное в модуле именно для этого случая. Прежний совет, точный критерий, модуль выполнить не мог. Правило проверяется на той же выборке полных наблюдений, что и коэффициент. Кроме того, проверка считает наблюдаемые нулевые ячейки и распространяется на латентные пары «дискретная × дискретная», поскольку нули там по другой причине сдвигают латентную оценку к границе.

Сетка информационных мер оценивается по фактическому разбиению, а не по правилу, и вердикта не получает. Разбиение на равнонаполненные интервалы оставляет одинаковые значения в одном интервале, поэтому у переменной с множеством совпадений интервалов получается меньше, чем задано правилом: запрос nbins = 5 на столбце 50/30/20 даёт 3. Если бы проверка опиралась на запрошенное число, предупреждение срабатывало бы именно на тех данных, которые оно должно описывать. Поэтому предварительная проверка действительно дискретизирует каждую пару и считает получившиеся интервалы, так что она и оговорка о разреженной таблице под результатами — одна и та же статистика на одной сетке и противоречить друг другу не могут. На расчёте по умолчанию со всеми непрерывными переменными при n = 200 правило кубического корня даёт сетку 6×6 с наименьшей ожидаемой частотой 5.12, и предупреждение не появляется. Те же данные по правилу Райса дают сетку 12×12 с наименьшей частотой 1.125, и срабатывают оба. Столбца Пройдено / Не пройдено нет, поскольку порог Кокрена заимствован из литературы по χ² и не имеет статуса правила достаточности для взаимной информации: порога, за которым мера становится некорректной, не существует, есть лишь выбранная пользователем сетка и число, показывающее её цену.

Латентный критерий согласия — собственный критерий оценщика, насыщенная таблица получает Н/Д, а провал никогда не исключает метод. Проверка использует χ² отношения правдоподобия, вычисляемый polycor при подгонке пары, и потому проверяет ту же подгонку, из которой получен коэффициент, а не вторую модель. Тетрахорическая подгонка 2×2 или любая таблица с нулём остаточных степеней свободы подогнана идеально по построению, и проверять в ней нечего, поэтому она получает Н/Д, а не незаслуженное Пройдено. Провал, в отличие от нарушения допущений ранговых мер или χ², смещает сам коэффициент, но по типам данных паре часто подходит только латентная модель: для двух порядковых переменных нет альтернативы без допущений, которая оценивала бы ту же латентную связь. Исключение метода оставило бы ячейку пустой, поэтому разумный ответ — предупреждение рядом с оценкой.

Пустые ячейки таблицы 2×2 получают поправку +0.5, более широкие таблицы — нет. Тетрахорическая оценка на таблице 2×2 с пустой ячейкой, но ненулевыми маргинальными суммами уходит к границе и возвращает |ρ| ≈ 1, поэтому модуль добавляет стандартные +0.5 к нулевой ячейке только в таблице 2×2. Это умолчание lavaan — zero.add = c(0.5, 0.0), то есть 0.5 для таблицы 2×2 и 0 для всех более крупных. На более широкой полихорической таблице r×c то же заполнение сильно смещает ρ̂ вниз: пара ликертовских пунктов 7×7 при n = 60 и истинном ρ = 0.85 даёт 0.86 без поправки и 0.61 с поправкой, а пустая ячейка там не прижимает оценку к границе так, как в таблице 2×2. Если пустых ячеек нет, поправка ничего не меняет, а коэффициент, его бутстрэп-интервал и критерий согласия используют одну и ту же таблицу и потому не могут описывать разные подгонки. Поправка смягчает уход к границе, но не устраняет его, поэтому у разреженных или пустых ячеек остаётся собственное предупреждение о границе.

Подгонке, которая упирается в границу, задаётся начальное значение, а другой оценщик не подставляется. Полихорический и тетрахорический коэффициенты оцениваются в два шага (сначала пороги, затем ρ) со стандартной ошибкой дельта-метода. Это быстро, и отсюда берутся столбец SE и аналитический интервал. На сильно связанных таблицах оптимизатор, стартующий с ρ = 0, может упереться в границу и вернуть ρ ≈ 0.9999 с бесконечной дисперсией, то есть пустые SE, ДИ и критерий различий рядом с почти идеальным коэффициентом. Поэтому модуль задаёт подгонке начальное значение по собственной дешёвой двухшаговой оценке polycor, которая сразу приводит оптимизатор к правильному значению: таблица 44/6/6/44 даёт ρ = 0.9298 при SE 0.0376 без упора в границу, что совпадает с полной подгонкой методом максимального правдоподобия до пятого знака. Лишь подгонка, которая всё равно упёрлась в границу или дала неконечную дисперсию, в крайнем случае повторяется полным методом максимального правдоподобия, так что каждая ячейка получает один и тот же оценщик с меньшими затратами, чем при переподгонке всех ячеек.

Латентное p проверяет ρ = 0 отношением правдоподобия, а не критерием Вальда по стандартной ошибке дельта-метода. Полихорический и тетрахорический коэффициенты получают p из критерия отношения правдоподобия с 1 степенью свободы против независимости (девианс подгонки против девианса независимости при тех же порогах), а полисериальный и бисериальный — из cor.test непрерывной переменной против числовых кодов порядковой, что проверяет ту же нулевую гипотезу. Оба способа устойчивы у границы. Критерий Вальда по стандартной ошибке дельта-метода разрушается по мере приближения |ρ̂| к 1: на идеально связанной таблице 2×2 он даёт p ≈ 0.43 для максимально возможной связи, тогда как эти способы остаются монотонными по силе связи вплоть до границы. Столбец SE и аналитический интервал по-прежнему берутся из дельта-метода, поэтому при очень сильной связи крошечное p может соседствовать с широким интервалом. Это предел дельта-метода вблизи ±1, а не противоречие.

Проверка дисперсий выполняется в варианте Брауна — Форсайта, а при провале D Сомерса упоминается только там, где он применим. Проверка для методов сравнения средних центрирует расстояния Левена по медианам групп, поскольку непрерывная переменная внутри группы часто скошена или дискретна, а на таких данных критерий с центрированием по медиане соблюдает уровень значимости, тогда как исходный вариант со средними — нет. Неравные дисперсии не мешают точечно-бисериальному коэффициенту и ε² измерять то, что они измеряют. Ослабляются лишь t и F с объединённой дисперсией, на которых основаны их p и аналитический интервал. Поэтому предупреждение называет бутстрэп-интервал. D Сомерса (рангово-бисериальную корреляцию, δ Клиффа) оно добавляет, только если группирующая переменная достаточно числовая, чтобы модуль мог вычислить его на этой паре, так что совет никогда не указывает на недоступный паре метод.

Проверка зависимости сверх монотонной сравнивает остатки с монотонной нулевой моделью, смоделированной методом Монте-Карло. Проверяются остатки, а не сопоставляются dCor и ρ Спирмена, потому что каждое число по отдельности неоднозначно, а их совместное рассмотрение не помогает, когда присутствуют обе составляющие: умеренный тренд плюс сильное колебание дают и заметное ρ, и заметную dCor, и никакое сравнение двух чисел не выявляет дополнительной структуры. Если сначала удалить монотонную подгонку, остаётся ровно то, чего не видит монотонная мера, каким бы сильным ни был тренд. Подгонка — взвешенная регрессия методом объединения соседних нарушителей (pool-adjacent-violators) по средним рангам, то есть средние по группам совпадающих значений с весами по размеру группы. Поэтому она является настоящей монотонной функцией x и не зависит от порядка строк, тогда как stats::isoreg разрешал бы совпадения по порядку строк. Остаточная статистика — квадратный корень из energy::dcor2d(type = "U"), оценки с поправкой на смещение по двумерному алгоритму O(n log n), ограниченной снизу нулём, так что она лежит на шкале dCor, которую использует порог размера эффекта. Её p — не p из dcorT.test: остатки подгонки в ранговой шкале не являются независимыми одинаково распределёнными (их разброс сужается к концам сильного тренда), и его опорное распределение на таких данных почти наверняка отмечало бы и чисто монотонную зависимость. Вместо него опорной служит гауссова копула с собственными маргинальными распределениями и совпадениями пары, где подстановочным значением выступает корреляция нормальных меток, и каждый розыгрыш проходит тот же конвейер «ранги → изотонная регрессия → dCor». Число розыгрышей равно $\min (199,\max (49,\lceil 2/\alpha \rceil ))$, что помещает заданное α внутрь разрешения $1/(\text{draws}+1)$. При α мельче этого предела проверка, которая не могла бы провалиться, получает Н/Д, а не Пройдено. Требование, чтобы остаточная dCor не только была значима, но и достигала нижнего диапазона информационных мер, не даёт отметке срабатывать на ничтожных отклонениях в больших выборках, где нулевая модель различает отклонения, слишком малые, чтобы повлиять на выбор коэффициента. Подвыборка из 1 000 строк ограничивает время, а не память: быстрая оценка имеет сложность O(n log n), но откалиброванная нулевая модель повторяет конвейер для каждого розыгрыша, так что предел ограничивает число проходов (draws + 1). Поэтому он отделён от предела в 3 000 строк, который защищает кучу при расчёте выводимого коэффициента. Предупреждение не выводится, если основной метод уже является общей мерой зависимости (информационное семейство, ξ, D Хёффдинга, dCor), поскольку эти меры состоятельны именно против такой зависимости и совет был бы неверен. β Бломквиста по-прежнему отмечается, поскольку это мера монотонного типа.

Коллинеарность оценивается попарно и через VIF, только по непрерывным переменным. Частная корреляция при почти коллинеарных контрольных переменных вычислительно неустойчива и резко меняется при небольших изменениях данных. Поэтому проверка вычисляет корреляции между непрерывными контрольными и целевыми переменными и отмечает пары, куда входит хотя бы одна контрольная переменная, при |r| выше 0.90. Пара из двух целевых переменных не делает условную оценку неустойчивой и и так видна в основной матрице. При Кендалле таблица показывает исходное τ, поэтому порог выводится в этой шкале, (2/π)·asin(0.9) ≈ 0.71, а отметка ставится по эквиваленту r. Попарная оценка не видит набора контрольных переменных, почти вырожденного в совокупности (таким может быть и набор из трёх переменных с взаимными корреляциями ниже порога), а именно такая вырожденность ломает обращение матрицы, на котором основана частная корреляция. Поэтому рядом выводится VIF каждой переменной относительно набора контрольных при пороге уровня Высокая, дополняя попарную оценку, а не заменяя её. Категориальные контрольные переменные в диагностику не входят, поскольку коллинеарность — свойство числовых предикторов: произвольное целочисленное кодирование многоуровневой категориальной переменной сделало бы корреляцию зависимой от разметки.

Контроль ковариат (частная и получастная корреляция) #

Получастная ячейка выводит p частной корреляции и собственный интервал. Нулевая гипотеза получастной корреляции (переменная-строка ничего не добавляет сверх ковариат) совпадает с гипотезой полной частной корреляции и с той, которую для этого коэффициента проверяет регрессия переменной-столбца на переменную-строку и ковариаты. Все три p-значения — одно и то же число, поэтому получастная ячейка выводит p частной корреляции, а не второй критерий, который мог бы отличаться лишь округлением. Коэффициент и его интервал у получастной корреляции собственные, поскольку её выборочное распределение отличается от распределения частной. Аналитический интервал и p TOST получастной корреляции Пирсона используют стандартную ошибку дельта-метода Алоэ и Беккера (Aloe & Becker, 2012), $\mathrm{var}(sr)=(R_f^4-2R_f^2+R_r^2-R_r^4+1)/n$, где $R_f^2$ — R² регрессии переменной-столбца на переменную-строку и ковариаты, а $R_r^2=R_f^2-s{r}^2$, вместо стандартной ошибки частной корреляции по z Фишера. У получастных корреляций Спирмена и Кендалла аналитической дисперсии нет (стандартная ошибка Фишера для частного r предполагает обусловливание обеих переменных), поэтому их интервал предлагается только в режиме бутстрэпа, а при Аналитические стоит –: бутстрэп-интервал в столбце аналитических без предупреждения поставил бы под один заголовок две разные конструкции. TOST для них всё же выполняется по бутстрэп-стандартной ошибке в шкале z, которая вычисляется по запросу всякий раз, когда задана граница, поскольку вердикт об эквивалентности запрошен явно и другого способа его получить нет. Бутстрэп тратится только на эти ячейки. При поправке зеркальная ячейка получастной матрицы имеет то же p, что и исходная, так что каждая пара учитывается один раз, а p TOST зависит от направления и учитывается дважды.

Частной паре нужно k + 3 полных наблюдения, а удаление идёт попарно по паре и её ковариатам. У t-критерия частной корреляции n − 2 − k степеней свободы, так что при k + 3 наблюдениях степень свободы одна, а при меньшем числе их нет вовсе. Коэффициент ещё можно было бы вычислить, но вывод для него невозможен, поэтому ячейка сообщает об отказе, а не выводит значение с пустым интервалом. Удаление охватывает пару и все ковариаты, потому что наблюдение с пропуском в ковариате нельзя очистить от её влияния. Ковариаты для всех пар одни и те же, поэтому выборки пар различаются лишь пропусками в самой паре, как и в расчёте нулевого порядка, а сопутствующий коэффициент нулевого порядка вычисляется на полных наблюдениях частной корреляции, чтобы оба числа описывали одну выборку. В списке только числовые ковариаты: ppcor регрессирует на контрольные переменные как на числа, и целочисленное кодирование многоуровневой категориальной переменной сделало бы остаток, а с ним и коэффициент, зависимым от разметки. По той же причине категориальные контрольные переменные исключены и из диагностики коллинеарности.

Частная корреляция Кендалла на графике не очищается от влияния ковариат, а ранговые частные корреляции следуют определениям ppcor. У частной корреляции Пирсона есть представление через остатки, которое воспроизводит выводимый коэффициент: корреляция двух рядов остатков — это частный r, линия МНК через них имеет наклон частного коэффициента регрессии, а полоса при n − 2 − k степенях свободы — собственный вывод частной корреляции. У частной корреляции Спирмена то же самое есть на рангах, поэтому обе диаграммы строятся по остаткам. Частное τ Кендалла — формула в замкнутом виде по попарным τ, и никакое облако остатков его не воспроизводит. График остатков показал бы картину, не описываемую этим числом, поэтому на графике остаются исходные точки и сглаживание, частное τ подписано как условное, а рядом приведено τ₀ нулевого порядка, которое на картинке и видно. Ранговые частные корреляции следуют ppcor: частная корреляция Спирмена — это частная корреляция Пирсона на ранжированных данных, частная корреляция Кендалла — упомянутая формула. На этой реализации построен частный путь модуля, и это рабочее определение, общее для большинства программ. Частное τ Кендалла, выведенное из согласованных и несогласованных троек, — другая величина, поэтому руководство и предупреждает, что частное τ из другой программы может отличаться.

Сеть частных корреляций #

Сеть подгоняется на одной выборке с построчным удалением, а ковариаты расчёта становятся узлами. Гауссовская графическая модель — одна совместная модель по всем узлам, оцениваемая по корреляционной матрице узлов, а для нерегуляризованного метода — по обратной к ней матрице. Матрица, собранная из попарно полных ячеек, не обязана быть корреляционной матрицей какого-либо набора данных (она может не быть положительно определённой), и для оценщика, который её обращает, это вопрос корректности, а не точности. Поэтому строки с пропуском в любой из выбранных переменных отбрасываются, а карточка сообщает, во что это обошлось. Контрольная переменная становится узлом по той же причине. Каждое ребро уже очищено от влияния всех остальных узлов, так что после включения контрольных переменных в модель ковариатам просто не остаётся места, а если оставить их вне сети, она оказалась бы дважды обусловлена одними и теми же переменными. Основную матрицу всё это не меняет: она сохраняет попарную выборку и свои ковариаты.

Нерегуляризованная сеть до подгонки проверяется на ранг и степени свободы. ppcor::pcor не выдаёт ошибку на вырожденной корреляционной матрице, а обращает её псевдообращением, так что узел, являющийся линейной комбинацией других (например, балл по шкале рядом с её пунктами), дал бы уверенно выглядящий коэффициент без всякого содержания. Поэтому сначала проверяется ранг матрицы, и при неполном ранге расчёт отклоняется. t-критерию для каждого ребра нужно n − p ≥ 1, поэтому расчёт отклоняется и тогда, когда полных наблюдений меньше, чем узлов плюс один. Оба сообщения указывают на регуляризованный метод, который по построению справляется и с вырожденной матрицей, и с малой выборкой. Между этим минимумом и $p(p+1)/2$ параметрами насыщенной модели сеть подгоняется с предупреждением, поскольку оценки по отдельным рёбрам при таком соотношении — именно то, что призвана заменить регуляризация. При Спирмене и Кендалле проверки выполняются на ранжированных данных, которые получает оценщик.

Графическое лассо — подгонка ADMM по логарифмической сетке штрафов с отбором по EBIC. Сетка содержит 100 штрафов, логарифмически расставленных от наименьшего λ, при котором обнуляются все рёбра, до 1% от него (путь, принятый для этого оценщика в qgraph::EBICglasso), и проходится от самого разреженного конца, так что каждая подгонка стартует с предыдущей. Каждая подгонка находит штрафованную матрицу точности методом ADMM без штрафа на диагональ и оценивается по EBICγ = −2ℓ + |E| log n + 4|E| γ log p в форме Фойгел и Дртона (Foygel & Drton, 2010), где ℓ — гауссовское логарифмическое правдоподобие при штрафованной матрице точности, а |E| — число её ненулевых рёбер. Граф выбирается по минимуму. γ = 0.5 — общепринятое значение по умолчанию, 0 соответствует обычному BIC, а 1 — сильнейшему предпочтению разреженности. Если минимум приходится на конец сетки, критерий предпочёл бы граф за её пределами, и карточка сообщает, что число рёбер отвечает самой разреженной или самой плотной сети, которую допускает сетка, и не выдаёт край сетки за выбор. Регуляризованный путь принимает только Пирсона или Спирмена, поскольку штрафованное правдоподобие записано для корреляционной матрицы в гауссовской шкале, а матрица τ Кендалла таковой не является. Отобранное ребро — решение отбора модели, поэтому p-значения рядом с ним нет, а граф отбирает рёбра по коэффициенту, а не по критерию, который не выполнялся.

Выводятся только сила и ожидаемое влияние, как простые суммы по оценённым рёбрам. Центральность по близости и по посредничеству опирается на пути: на взвешенном, почти полном графе их значения зависят от точных весов самых слабых рёбер, поэтому в литературе по психометрическим сетям они оказываются неустойчивыми на бутстрэп-выборках, тогда как сила и ожидаемое влияние устойчивы. Карточка выводит два устойчивых индекса и не выводит ни одного, который побуждал бы к выводам, не подкреплённым данными. Оба индекса — нестандартизованные суммы по списку рёбер, который уже вернул оценщик, так что ничего не подгоняется заново и ничего не отсекается по порогу. При нерегуляризованном методе каждое ребро входит со своим коэффициентом, значимое оно или нет, поскольку отсечение по α сделало бы центральность зависимой от объёма выборки через критерий, а не через сеть. При лассо суммы берутся по отобранным рёбрам, и ребро, сжатое до нуля, вклада не даёт. Ожидаемое влияние берётся в одношаговой форме (сумма собственных рёбер узла со знаком), а узел без рёбер получает 0 по обоим индексам по построению, и примечание отличает такой ноль от измеренного.

Сообщества находятся оптимизацией знаковой модулярности методом спинового стекла, компоненты соединяются мостами, а поиск привязан к зерну воспроизводимости. igraph::cluster_spinglass(implementation = "neg") — единственный алгоритм выделения сообществ в igraph, принимающий отрицательные веса. Walktrap, Louvain и fast-greedy сразу отказываются от них, а не переходят без предупреждения к абсолютным значениям, что уничтожило бы различие, ради сохранения которого и существует ожидаемое влияние. Выводится знаковая модулярность Гомеса, Йенсена и Аренаса (Gómez, Jensen & Arenas, 2009). igraph::modularity() не может вычислить её при отрицательных весах, а сама она воспроизводит целевую функцию spinglass на оптимизированном графе. Spinglass отказывается работать с несвязным графом, а регуляризованная сеть часто распадается на части, поэтому перед поиском каждая лишняя компонента соединяется со следующей пренебрежимо слабой связью (10⁻¹²). Эта связь ничего не добавляет ни к энергии отжига, ни к модулярности и позволяет оптимизировать весь граф при одной нулевой модели, а не внутри нулевой модели каждой компоненты. Последнее — другая целевая функция, и она раскалывает слабую клику, хотя ту следовало бы сохранить целой. Затем разбиение пересекается с компонентами, так что мосты позволяют поиску сравнивать части, но никогда их не сливают, а узел без рёбер исключается из поиска и получает собственное сообщество. Поиск начинается методом отжига из случайного состояния, поэтому выполняется при зерне воспроизводимости, а не при зерне бутстрэпа (это не шаг ресэмплинга), а незаданное зерно указывается на карточке. Если igraph не загрузился, пропадает разбиение, но не карточка: сообщества — дополнение, а не необходимое условие.

Проверка различий между корреляциями #

Опорная ячейка, выбранная по данным, сопровождается примечанием об оптимистичности, а заданная заранее — нет. Опорная ячейка, выбранная потому, что в ней самый сильный или самый слабый коэффициент, выбрана по тем же данным, с которыми её затем сравнивают. Поэтому каждая разность с ней смещена от нуля, а p-значения этих разностей выглядят оптимистично: это эффект отбора при проверке наибольшей из многих оценок против остальных. Карточка сохраняет оба способа выбора, но заранее заданную ячейку подписывает (задана заранее, …) без предупреждения, а выбранную по данным — с примечанием о смещении. При выборе по данным ячейки с равными значениями упорядочиваются лексикографически по именам (row, col), так что выбор воспроизводим от запуска к запуску и не зависит от порядка перебора. Если заранее заданной ячейки нет в текущей матрице, при её расчёте произошла ошибка или её значение не конечно, карточка называет, какой из трёх случаев имел место, поскольку пустая таблица сравнения не сообщила бы ни о ячейке, ни о причине.

Варианты с одной якорной переменной скрываются там, где они повторили бы составную симметрию. Три типа структуры совпадают всякий раз, когда одна ось матрицы содержится в другой. Если переменные-строки — подмножество переменных-столбцов, каждое ограничение по столбцам уже следует из ограничений по строкам через общую ячейку (r_ac = r_ab = r_bc), и то же верно в обратную сторону, так что на квадратной симметричной матрице все три типа — один χ², полученный тремя путями. Предлагать их значило бы давать три формулировки H₀ для одного критерия, поэтому вариант с одной якорной переменной скрывается и тогда, когда на текущей матрице он не даёт ни одного ограничения, и тогда, когда его ось содержится в другой. Асимметричные расчёты под это правило не подпадают, поскольку r(X→Y) ≠ r(Y→X) и два прохода ограничивают разные ячейки.

Межгрупповой критерий для двух групп — каноническая статистика Дженнриха (Jennrich, 1970). Её χ² может отличаться от результатов программ, реализующих отклоняющийся от неё вариант, прежде всего psych::cortest.jennrich: в моделировании каноническая форма соблюдает номинальный уровень α и обладает большей мощностью, тогда как этот вариант слишком часто отвергает гипотезу при сильно взаимосвязанных переменных. При трёх и более группах используется χ² Вальда на ковариации Олкина — Сиотани, вычисленной при объединённой матрице R̄, поскольку форма со следом записана для двух групп.

При числе уровней больше 50 группирующая переменная ставится под сомнение, но не отклоняется. Переменная сравнения с таким числом уровней, каким бы ни был её заявленный тип, — это, скорее всего, по ошибке выбранный непрерывный столбец или идентификатор, а каждый уровень требует отдельного расчёта корреляций для группы. Но категориальная переменная с множеством настоящих уровней вполне законна, поэтому расчёт предупреждает и продолжается, а не останавливается.

Аналитическая форма канонична для Пирсона и служит подстановочным приближением для Спирмена, Кендалла и точечно-бисериального коэффициента, а частная корреляция уменьшает n на k. Нормально-теоретический вывод критериев различий предполагает двумерную нормальность, которой удовлетворяет только r Пирсона. ρ Спирмена и τ Кендалла подставляют в тот же вывод собственные дисперсии z Фишера (Бонетта и Райта, а для τ — Брауна — Бенедетти для каждой ячейки или постоянную форму Филлера — Хартли — Пирсона). Точечно-бисериальный коэффициент берёт $1/(n-3)$ Фишера без изменений, хотя из-за дихотомического маргинального распределения его выборочная дисперсия зависит от соотношения групп, как показал Тейт (Tate, 1954), поэтому оговорка под таблицей особенно важна при крайних соотношениях. У разности частных корреляций аналитической формы тоже нет: эффективный объём выборки уменьшается на число ковариат, по которым идёт обусловливание, что даёт df = n − k − 3 (n − k − 4 в дисперсии Кендалла). Обоснование этой эвристики приводит Уилкокс (Wilcox, 2009, §10.11).

Семь методов с аналитической стандартной ошибкой получают аналитический критерий между группами и не получают его внутри выборки. У независимых выборок нет общих строк, поэтому дисперсия разности равна сумме собственных дисперсий Вальда двух ячеек в шкале atanh, и для $z=(r_1-r_2)/\sqrt{{\text{se}}_1^2+{\text{se}}_2^2}$ не нужно ничего сверх стандартной ошибки дельта-метода для ячейки, которую уже используют аналитические интервалы. Это полихорический, тетрахорический, полисериальный и бисериальный коэффициенты, γ Гудмана и Краскела и D Сомерса (каждое направление упорядоченной сетки отдельно), а также β Бломквиста с асимптотической дисперсией $(1-{\beta }^2)/n$. С зависимыми критериями иначе: их ковариации Стейгера, Олкина — Сиотани и Дженнриха выведены для корреляций произведения моментов и некорректны для латентных оценок максимального правдоподобия и порядковых асимптотических стандартных ошибок, а дополнительные кросс-корреляции асимметричного коэффициента приходятся на недопустимые пары с одинаковой ролью. Поэтому у сравнений этих методов внутри одной выборки нет аналитической формы, и они идут через бутстрэп.

Бутстрэп-путь включается по выбору пользователя, внутри выборки использует общие извлечения, а его совместный критерий при 100 повторах отвергает гипотезу примерно в 8% случаев. Бутстрэп каждой ячейки — самый затратный шаг карточки, поэтому она выполняется, только если запрошены бутстрэп-интервалы. Прежний неявный запасной вариант, который без запроса запускал бутстрэп всякий раз, когда у метода не было аналитической формы, удалён, чтобы затраты расчёта всегда оставались выбором пользователя, и коэффициент без аналитического критерия вместо этого показывает нужное переключение. Структуры с одной выборкой в каждой итерации извлекают один набор индексов строк, общий для всех пар, и именно это сохраняет зависимость между двумя коэффициентами из одной выборки. Межгрупповые извлечения независимы по группам, что соответствует независимости, которую предполагает межгрупповой критерий. Общее извлечение позволяет сохранить на этом пути и критерий равенства структуры для одной выборки: те же ограничения входят в статистику Вальда, ковариация которой оценивается по бутстрэп-оценкам z Фишера, а опорным служит её собственное перецентрированное бутстрэп-распределение, а не хвост χ². Точность этой ковариации определяется числом извлечений: при номинальных 5% совместный критерий отвергает гипотезу примерно в 8% случаев при 100 повторах по умолчанию и примерно в 6% при 400 и более. Поэтому руководство и советует увеличить число повторов, прежде чем судить о p вблизи порога. Получастный режим всегда идёт этим путём, поскольку аналитические дисперсии Δr выведены для симметричных коэффициентов (нулевого порядка или канонических частных).

Обратно преобразованное среднее выбрано по умолчанию, а два варианта для зависимых корреляций ближе друг к другу, чем следует из литературы. Оба зависимых критерия подставляют в ковариацию вместо двух коэффициентов одно ограниченное гипотезой H₀ среднее r̄ и различаются лишь тем, как оно образовано: простое среднее (T2 Уильямса в изложении Стейгера, Steiger, 1980) или обратно преобразованное среднее двух z Фишера, $\tanh ((\mathrm{atanh}{r}_1+\mathrm{atanh}{r}_2)/2)$. Второй вариант для перекрывающихся ячеек предложили Хиттнер, Мэй и Сильвер (Hittner, May & Silver, 2003), для неперекрывающихся — Сильвер, Хиттнер и Мэй (Silver, Hittner & May, 2004), и, по данным литературы, он лучше контролирует частоту ошибки первого рода при ненормальности. В наших замерах он не выигрывает: при n = 60 на 4 000 повторах при нулевой гипотезе критерии Уильямса и Хиттнера отвергают её с частотой 0.0500 / 0.0503 при нормальных маргинальных распределениях и 0.1052 / 0.1050 при умеренно скошенном, а при n = 20, ρ = 0.8 и скошенности классическая пара даже чуть лучше (0.119 против 0.136). При сильной скошенности обе аналитические формы сильно либеральны (около 0.23 при логнормальном маргинальном распределении), и здесь уместен бутстрэп-путь. Выбор — один парный параметр, а не четыре отдельных критерия, потому что структура с опорной ячейкой смешивает в одной таблице перекрывающиеся и неперекрывающиеся ячейки, и выбор должен называть пару критериев. Одно структурное замечание: при высоком |ρ| и скошенности знаменатель ковариации может стать неположительным, и ячейка, где это случилось, отказывается от проверки, а не выводит статистику с отрицательной дисперсией. Это происходит менее чем в 0.1% повторов.

Совместный критерий, которому недоступна допустимая ковариация, заменяется комбинацией Коши. Критериям равенства структуры и равенства между группами нужна обратимая ковариация ограничений, и получить её не всегда удаётся. Малая выборка или малые размеры групп делают её вырожденной, а критерий равенства структуры вычисляет ковариацию при матрице, ограниченной гипотезой H₀ (каждый класс ограничений сведён к своему среднему), и такая матрица может оказаться недопустимой при любом объёме выборки. При бутстрэп-интервалах критерий для одной выборки строит ковариацию по коэффициентам бутстрэп-выборок, так что там он отказывает, только если пригодных повторов слишком мало или ограничения на бутстрэп-выборках коллинеарны. У межгруппового критерия бутстрэп-аналога нет, и он сразу переходит к запасному варианту. Запасной вариант — комбинация Коши (ACAT) компонентных критериев по Лю и Се (Liu & Xie, 2020). Она корректна при произвольной зависимости между компонентами, хотя и уступает в мощности совместному критерию, когда тот доступен, и карточка называет, какой критерий выполнен и почему. При межгрупповом сравнении объединяются χ² однородности по ячейкам, в каждый из которых группа входит один раз. Избыточные попарные строки (каждая группа участвует в одном сравнении с каждой другой группой) объединяются только на бутстрэп-пути, где критерия однородности нет.

Таблицы однородности и равенства по якорным переменным защищают семейство попарных сравнений, а явный запрос бутстрэпа никогда не получает аналитического ответа. При k > 2 группах C(k, 2) попарных строк ячейки образуют незащищённое семейство, а единственный другой общий критерий модуля, критерий Дженнриха, проверяет всю матрицу в структуре, которую пришлось бы запускать вместо этой. χ² однородности для ячейки объединяет её коэффициенты по группам с весами по их собственным дисперсиям, так что Кендалл и методы со стандартной ошибкой Вальда используют собственные стандартные ошибки, а для Пирсона критерий сводится к учебной форме по z Фишера. C(q, 2) строк под одной якорной переменной в расчёте по строкам или по столбцам образуют такое же семейство, поэтому их открывает χ² равенства структуры по Стейгеру для каждой якорной переменной, у которой не меньше двух сравнений (при одном он повторил бы попарную строку). Каждый блок корректируется как отдельное семейство, поскольку оставить $k(k-1)/2$ общих критериев без поправки внутри карточки, построенной ради контроля множественности, значило бы обесценить её. Оба критерия аналитические и при бутстрэп-интервалах не вычисляются, поскольку расчёт, в котором запрошен бутстрэп, не должен без предупреждения получать нормально-теоретический критерий.

Зависимые критерии выполняются при одном n, а интервалы ячеек берутся из основной матрицы. T2 Уильямса и z Стейгера выведены для одной выборки, полной по всем переменным сравнения, поэтому критерий выполняется на этих строках (при попарном удалении их меньше, чем собственное n любой из ячеек), а интервал для разности строится при том же n. Так интервал и p-значение никогда не расходятся в том, сколько данных за ними стоит. Это n больше нигде на карточке не появляется, поэтому для него и есть отдельный столбец. Интервалы ячеек рядом с коэффициентами берутся из основной матрицы (при бутстрэп-интервалах — собственный попарно полный бутстрэп ячейки, а не бутстрэп всего набора данных для критерия различий), так что одна величина никогда не появляется на карточке дважды с разными границами. Столбцы N по группам в межгрупповой таблице существуют по той же причине: дисперсия межгруппового критерия равна $1/(n_1-3)+1/(n_2-3)$, а в групповом пути нет объединённой матрицы, где эти n были бы видны.

Интервал для Δ — MOVER Цзоу в аналитическом варианте и процентильный интервал с коррекцией смещения при бутстрэпе, p которого использует то же перецентрирование. Метод Цзоу (Zou, 2007) объединяет собственные интервалы z Фишера обоих коэффициентов с корреляцией между двумя оценками, поэтому он существует для каждой пары с аналитической формой, а его входные величины берутся при n самого критерия, а не при попарных числах ячеек. При бутстрэпе интервал разности строится по процентильным квантилям Δr по бутстрэп-выборкам с коррекцией смещения (тем же перецентрированием по медианному смещению, что и у бутстрэп-интервалов ячеек), а бутстрэп-p вычисляется с тем же z₀. Поэтому p (Δ) < α ровно тогда, когда интервал уровня α не содержит 0, и у границы они никогда не расходятся. Аналитические пути дают p собственной статистики. Пара, ячейки которой вычислены разными фактическими методами (это возможно при ε², где пара «категориальная × категориальная» переходит к V Крамера), не проверяется вовсе, поскольку число в шкале r² против числа в шкале r — не разность.

p-значения сравнений образуют отдельное семейство, а p ячеек принадлежат семейству матрицы. p-значения матрицы и карточки сравнений отвечают на разные семейства вопросов, поэтому общая поправка применяется к каждому отдельно, а внутри карточки все сравнения одной структуры образуют одно семейство. Столбцы p (A) / p (B) — собственная значимость ячеек, и они остаются в семействе матрицы. В режиме замены они показывают то же скорректированное по пакету значение, что и матрица (при межгрупповом сравнении — скорректированное внутри семейства корреляций каждой группы, что совпадает с результатом отдельного расчёта матрицы только по этой группе), а в режиме добавления остаются исходными.

Параметры отображения #

Аналитическое p информационных мер — χ² по подстановочной оценке взаимной информации, а добавляемая взаимная информация — с поправкой Миллера — Мэдоу. Аналитический вариант опирается на асимптотический результат 2n·MI ~ χ²((k_x − 1)(k_y − 1)) при независимости, поэтому его статистика — исходная подстановочная оценка взаимной информации дискретизированной таблицы, а не нормированный коэффициент в ячейке. Критерий корректен для гипотезы независимости, но к размеру NMI, AMI, когерентности или U Тейла отношения не имеет. Добавить взаимную информацию выводит вместо неё значение с поправкой Миллера — Мэдоу, поскольку именно это значение согласуется с добавленными энтропиями, в которые входит та же поправка. Это разные числа, и руководство об этом предупреждает. Аппроксимация χ² ухудшается, когда в дискретизированной совместной таблице ожидаемые частоты меньше 5, поэтому проверка ожидаемых частот выполняется в обоих режимах: разреженная таблица завышает сам коэффициент, что даёт оговорку уровня коэффициента при любом режиме p-значения, а на этом пути к ней добавляется оговорка об аналитическом p. AMI — исключение в семействе: при фиксированных маргинальных распределениях она не является монотонным преобразованием взаимной информации, поэтому χ² по взаимной информации — лишь приближение к критерию для AMI, о чём сообщает оговорка всякий раз, когда AMI считается аналитически. Точный критерий для неё — перестановочный вариант, который перевыбирает сам выводимый коэффициент.

Число перестановочных повторов подбирается под α, ограничено снизу настройкой бутстрэпа и при поправке увеличивается в √(число пар) раз. Чтобы надёжно оценить p вблизи порога, нужно около 20 превышений ниже него, поэтому число повторов равно ⌈20/α⌉ (400 при α = 0.05), а его нижняя граница — настройка повторов бутстрэпа, так что пользователь, запросивший больше бутстрэп-выборок, их получает. При поправке на множественные сравнения эффективный порог с ростом числа проверок становится строже, и число повторов умножается на √(число пар). Это компромисс между методами Бонферрони, Холма и Бенджамини — Хохберга, который сохраняет разрешение после поправки, не раздувая число повторов до худшего случая Бонферрони. Одно число используется во всех перестановочных вариантах и в χ² методом Монте-Карло, каждая ячейка — при собственном зерне, так что расчёт воспроизводим. p равно $(\text{exceedances}+1)/(\text{replicates}+1)$, поэтому никогда не равно 0, а его нижняя граница — разрешение $1/(\text{replicates}+1)$. τ Кендалла обходится в O(n²) на перестановку, поэтому до запуска модуль во всплывающем уведомлении оценивает стоимость перестановочного расчёта (пары, строки, повторы): это единственный метод, где число повторов заметно сказывается на времени.

Число интервалов ограничено числом различных значений, а сетка — часть оцениваемой величины. Правила кубического корня, Райса и Стёрджеса применяются к n переменной, а результат ограничивается числом её различных значений. Переменная с десятью и менее различными значениями кодируется по уровням без разбиения, поскольку разбиение переменной, у которой уровней меньше, чем интервалов, лишь случайно объединяло бы уровни. Это тот же порог, по которому корреляционное отношение распознаёт группирующую переменную, и задан он в одном месте, так что они не могут разойтись. Сетка меняет само число, а не только его точность: на одной паре NMI составила 0.057 по правилу кубического корня (сетка 6×6), 0.117 по правилу Райса (12×12) и 0.073 при фиксированных 3 интервалах, и ни одно значение не вернее других. Разреженная совместная таблица завышает саму взаимную информацию, так что более мелкая сетка выигрывает в разрешении ценой смещения. Поэтому коэффициенты расчётов с разными настройками интервалов объявлены несравнимыми, оговорка называет правило, если оно отличается от заданного по умолчанию, а предварительная проверка (обоснование выше) и бутстрэп-выборки используют ровно ту сетку, что и коэффициенты, так что интервал всегда охватывает ту оценку, к которой относится.

Для дистанционной корреляции по умолчанию выбрана перестановка, поскольку аналитический t слишком часто отвергает гипотезу, а объём перестановок ограничен для каждой ячейки. Приближение t в energy::dcorT.test асимптотично по размерности данных, а не по n, поэтому на парах из двух столбцов, которые строит модуль, оно отвергает гипотезу слишком часто, и это завышение не уменьшается с ростом выборки. Измеренные частоты отвержения на независимых данных при α = 0.05 составили 0.089 / 0.060 / 0.060 при n = 20 / 50 / 200, а при α = 0.01 — 0.045 / 0.026 / 0.034, то есть в три-четыре раза выше номинала именно в том хвосте, куда поправка на множественные сравнения сдвигает результаты. Перестановочный путь (energy::dcov.test) даёт 0.045 при α = 0.05 и соблюдает уровень значимости, а коэффициент в обоих случаях одинаков. Перестановки выполняются в скомпилированном коде, который не проверяет запросы на прерывание, поэтому запущенную ячейку не останавливают ни прерывание, ни кнопка Отмена. Чтобы одна ячейка не работала минутами, объём работы ограничен 10⁹ единиц «повтор·n²» на ячейку. При скорости около 7·10⁷ единиц в секунду на рабочем движке (3.2 с при n = 1 000 и 400 повторах, 12.4 с при n = 3 000 и 100 повторах) это даёт в худшем случае около 14 с. Число повторов равно $\min (\text{requested},\lfloor {10}^9/n^2\rfloor )$: сокращение начинается, когда n превышает $\sqrt{{10}^9/R}$, то есть 1 581 строку при 400 повторах по умолчанию, и оговорка сообщает фактическое число. Если бюджет превышают даже минимальные 199 повторов, то есть выше 2 241 строки, ячейка отказывается от расчёта и указывает на аналитический t. Этот предел — бюджет времени, и он отделён от предела в 3 000 строк по куче для самого коэффициента.

Аналитическое p ранговых методов берётся из cor.test, а для γ и D Сомерса — из критерия Вальда в шкале atanh по асимптотической стандартной ошибке с учётом совпадений, который при ±1 не работает. Пирсон и ранговые методы берут p из cor.test: t Пирсона, опирающийся на двумерную нормальность, t Спирмена с поправкой на связанные ранги / приближение AS 89 и точный критерий Кендалла, недоступный при совпадениях. Поэтому аналитический путь теряет точность в двух случаях: при множестве совпадений и при проваленной диагностике МНК, и именно поэтому проверки совпадений и нормальности указывают на перестановку. γ и D Сомерса получают z Вальда в шкале atanh с асимптотической стандартной ошибкой, учитывающей совпадения. Эта ошибка равна ровно 0, когда коэффициент достигает ±1 (γ достигает этого на любой таблице без несогласованных пар), и тогда ни p, ни SE, ни интервал вывести нельзя. Перестановочный путь — единственный способ получить p для идеальных γ или D, и он точен для независимости при любых совпадениях, поскольку нулевое распределение строится по собственной структуре совпадений данных.

При ковариатах перестановка выполняется по схеме Фридмана — Лейна, а заменитель отображается на собственные значения исхода. Простое перемешивание столбца не имеет смысла для частной корреляции: оно разорвало бы связь пары не только внутри неё, но и с контрольными переменными. Поэтому условная нулевая гипотеза X ⊥ Y | Z строится так: исход регрессируется на контрольные переменные (в той шкале, которую обращает ppcor, то есть по исходным значениям для Пирсона и по рангам в остальных случаях), перемешиваются только остатки, к ним снова прибавляются подогнанные значения, и коэффициент вычисляется по полученному заменителю той же функцией pcor.test, что и точечная оценка. В получастном режиме опорной статистикой остаётся оценка частной корреляции (pcor), что соответствует p, выводимому в ячейке. Заменитель не содержит совпадений, даже если они есть в данных, а τ_b Кендалла нормируется по структуре совпадений, так что наблюдаемая статистика оказалась бы в другой шкале, чем её собственное нулевое распределение. Поэтому перед вычислением статистики заменитель отображается на собственное мультимножество значений исхода. Замеры при условной нулевой гипотезе и n = 60: частная корреляция Кендалла на четырёхуровневых данных отвергает гипотезу с частотой 0.348 аналитически, 0.104 при простом заменителе и 0.052 с отображением. На данных без совпадений отображение — монотонная переразметка входа ранговой статистики и ничего не меняет. Заменитель строится заново, а не переразмечается, поэтому критерий приближённый, а не точный, о чём и сообщает оговорка.

φ и V Крамера получают p из критерия χ² без поправки на непрерывность, а метод Монте-Карло моделирует нулевое распределение. Аналитический путь — chisq.test(correct = FALSE), надёжный ровно тогда, когда выполняется правило Кокрена, а его проверяет вердикт Достаточные ожидаемые частоты карточки допущений на тех же полных наблюдениях, что и коэффициент. Путь Монте-Карло — chisq.test(simulate.p.value = TRUE), то есть моделирование таблиц при наблюдаемых маргинальных суммах по Хоупу (Hope, 1968), с общим числом повторов и собственным зерном для каждой пары. Он корректен при любой разреженности таблицы ценой затрат на моделирование. Коэффициент в обоих режимах совпадает побитово, поэтому разреженная таблица отсылает к этому переключателю, а не исключает метод.

Аналитический интервал — собственная аналитическая формула каждого метода, а четыре ограниченные меры обращают собственную статистику критерия. Пирсон, Спирмен и точечно-бисериальный коэффициент берут z Фишера (Спирмен — с дисперсией Бонетта — Райта), а Кендалл для ячеек нулевого порядка — зависящую от данных асимптотическую стандартную ошибку τ_b Брауна — Бенедетти, переведённую дельта-методом в шкалу z. Для частных корреляций Кендалла используется постоянная Филлера — Хартли — Пирсона. Латентные методы, γ Гудмана и Краскела и D Сомерса берут интервал Вальда в шкале atanh по стандартной ошибке дельта-метода, что удерживает границы внутри [−1, 1]. Три беззнаковые меры получают аналитическую форму, построенную на той самой статистике, из которой получен коэффициент. Для η² это обращение нецентрального F однофакторного дисперсионного анализа. Для V Крамера это обращение нецентрального χ² таблицы с переводом на шкалу с поправкой Бергсмы, так что интервал соответствует исправленному коэффициенту и стягивается к 0 при независимости. Для β Бломквиста это интервал Уилсона для доли в согласованных квадрантах с обратным переходом через β = 2p − 1, так что границы остаются внутри [−1, 1] даже при β = ±1. Коэффициент фи использует то же обращение нецентрального χ², что и V: для таблицы 2×2 |φ| и есть классическое V, поэтому интервал строится обращением того χ², из которого получено p для φ, с неуменьшенным знаменателем, соответствующим исходному φ, и получает знак коэффициента. Выбран именно этот путь, потому что асимптотическая стандартная ошибка φ зависит от маргинальных долей таблицы 2×2, а не только от φ, и интервал по z Фишера расходился бы с критерием χ².

Интервал ξ — интервал Вальда в исходной шкале по адаптивной огибающей стандартной ошибке, и при n = 200 он покрывает около 92%. У ξ Чаттерджи нет преобразования Фишера, поэтому интервал равен ξ ± z·SE с ограничением отрезком [0, 1] (низкая оценка с широкой SE упирается в 0, а не даёт отрицательную границу) и строится по большей из двух дисперсий. Одна из них — состоятельная оценка Лина и Хана (Lin & Han, 2023) при альтернативе, другая — дисперсия Чаттерджи (Chatterjee, 2021) при нулевой гипотезе независимости, так что интервал никогда не уже, чем был бы при независимости, не вырождается на малой выборке и расширяется там, где структура зависимости предполагает большую изменчивость. ξ — смещённая вниз оценка на конечных выборках, поэтому аналитический интервал — быстрое приближение: на 400 повторах при n = 200 он покрывал около 92% при номинальных 95%. Оговорка сообщает об этом всякий раз, когда в ячейке ξ есть интервал, и указывает на бутстрэп, который заново подгоняет коэффициент на каждой бутстрэп-выборке. Та же огибающая стандартная ошибка выводится для ξ в столбце SE и используется в проверке эквивалентности. Это не стандартная ошибка при нулевой гипотезе независимости, на которой строится p, поэтому ξ ÷ SE не воспроизводит выведенное p.

Методы, для которых есть только бутстрэп, при Аналитические показывают –, а два аналитических интервала сопровождаются предупреждениями. У информационного семейства, D Хёффдинга и дистанционной корреляции нет обоснованного аналитического интервала, а получастные корреляции Спирмена и Кендалла теряют свой, поскольку стандартная ошибка Фишера для частного r предполагает обусловливание обеих переменных (обоснование выше). Бутстрэп-интервал в столбце аналитических поставил бы под один заголовок две разные конструкции, поэтому такие ячейки показывают –, столбец не выводится, если интервала не дала ни одна ячейка, а оговорка называет метод и режим бутстрэпа всякий раз, когда у какой-либо ячейки нет аналитического пути, в том числе в смешанном расчёте. Два существующих интервала отмечаются особо. Дихотомическое маргинальное распределение точечно-бисериального коэффициента нарушает двумерную нормальность, которую предполагает интервал по z Фишера, а его выборочная дисперсия зависит от соотношения групп, как показал Тейт (Tate, 1954), поэтому соотношение хуже примерно 20/80 получает оговорку с отсылкой к бутстрэпу. Стандартная ошибка Вальда латентных методов в шкале atanh содержит множитель $1/(1-{\rho }^2)$, поэтому почти идеальная связь при обратном преобразовании даёт границы, охватывающие почти весь отрезок [−1, 1], как бы точно ни был оценён ρ: идеально связанная таблица 2×2 даёт ρ_tet = 1.000 при SE 0.002 и интервал [−1.000, 1.000] рядом с p < 10⁻⁵⁰. Этот интервал остаётся на экране, потому что предел дельта-метода и следует показывать как есть, а оговорка поясняет, что интервал, накрывающий 0, рядом со столь сильным коэффициентом — вырождение, а не слабое свидетельство. Двухшаговая латентная стандартная ошибка к тому же условна относительно оценённых порогов, поэтому с ростом числа категорий интервал получается несколько уже, чем следует (пренебрежимо для тетрахорической таблицы 2×2, слегка антиконсервативно для подробных таблиц). Пара с многокатегориальной переменной получает совет перейти к бутстрэпу, который заново подгоняет модель на каждой бутстрэп-выборке и точно учитывает неопределённость порогов.

Бутстрэп-интервал — процентильный с коррекцией смещения, число повторов ограничено снизу 100, интервал строится при не менее 80% пригодных бутстрэп-выборок, а при числе повторов меньше 1 000 выводится оговорка. Это процентильный интервал, перецентрированный на медианное смещение, то есть первая из двух поправок BCa без члена ускорения. Ограниченные неотрицательные меры скапливаются у нуля, и их бутстрэп-распределения скошены, тогда как при симметричном распределении поправка сводится к обычному процентильному интервалу, так что классические коэффициенты не затрагиваются. Разрешение процентильного интервала примерно 1/B: на Пирсоне при n = 40 и ρ = 0.5 номинальный 95% интервал покрывает около 91% при заданных по умолчанию 100 повторах и 93.5% при 1 000. Настройка допускает значения до 10, чего не выдерживает ни один интервал, поэтому модуль поднимает значение ниже 100 до 100, а не публикует результат. Выше этой границы модуль не переопределяет выбор пользователя, а сообщает о недопокрытии: всякий раз, когда включены бутстрэп-интервалы и число повторов меньше 1 000, оговорка приводит измеренное недопокрытие. Некоторые бутстрэп-выборки завершаются неудачей (вырожденная полихорическая таблица, ранговая частная корреляция, которую нельзя обратить), а 2.5%-квантиль по горстке уцелевших — не 95%-граница. Поэтому интервал ячейки выводится, только если не меньше 80% запрошенных повторов дали пригодное значение, а оговорка охватывает ячейки, опустившиеся ниже этого порога.

Проверку эквивалентности получает каждый метод: двустороннюю для знаковых коэффициентов и одностороннюю для беззнаковых мер. Знаковое семейство (Пирсон, Спирмен, Кендалл, точечно-бисериальный, бисериальный, полисериальный, полихорический и тетрахорический коэффициенты, D Сомерса, γ, β и φ) противопоставляет H₀ |ρ| ≥ Δ гипотезе H₁ |ρ| < Δ двумя односторонними критериями для преобразованного по Фишеру коэффициента относительно −Δ и +Δ и выводит большее из двух p. TOST на уровне α соответствует тому, что внутри ±Δ лежит интервал (1 − 2α), а не выведенный рядом интервал (1 − α), поэтому подпись явно называет этот уровень. Беззнаковые меры лежат на [0, 1], где нижний критерий относительно −Δ бессодержателен, поэтому они проверяют единственную нулевую гипотезу H₀ θ ≥ Δ, p которой соответствует тому, что верхняя граница интервала (1 − 2α) ниже Δ. Одна таблица может смешивать оба вида (расчёт «Смешанная/авто» или беззнаковый метод, перешедший к другому), поэтому подпись всегда указывает использованную границу и нулевую гипотезу каждого семейства. В режиме бутстрэп-интервалов всё знаковое семейство переходит на бутстрэп-оценку стандартной ошибки в шкале z, так что интервал и вердикт на одной карточке опираются на одно выборочное распределение, а не на бутстрэп-ДИ рядом с p по z Фишера. Поправка к этому p применяется как к отдельному семейству, без объединения с p-значениями значимости, поскольку оно отвечает на противоположный вопрос.

Одностороннее p беззнакового семейства получается тремя путями, а стандартная ошибка без аналитической формы вычисляется бутстрэпом по запросу. η² и V Крамера обращают собственное нецентральное распределение (нецентральное F однофакторного дисперсионного анализа и нецентральное χ² таблицы). Это точно, не требует стандартной ошибки, ничего не стоит дополнительно и делает проверку эквивалентности и аналитический интервал двумя сторонами одного вычисления: если задать Δ равной верхней границе интервала, p (Δ) окажется ровно α. ξ Чаттерджи использует ту же огибающую стандартную ошибку, что и для интервала, в своей исходной шкале [0, 1]. У NMI, AMI, когерентности, U Тейла, D Хёффдинга и дистанционной корреляции аналитической стандартной ошибки нет вовсе, и они получают бутстрэп-стандартную ошибку для ячейки по запросу. Так же обстоит дело с φ, асимптотическая стандартная ошибка которого зависит от маргинальных сумм таблицы 2×2, а не только от φ, и с получастными корреляциями Спирмена и Кендалла. β Бломквиста выводит стандартную ошибку из доли в согласованных квадрантах, стоящей за коэффициентом, той же, что использует её интервал Уилсона. Поэтому задание границы запускает бутстрэп для этих ячеек даже при выключенных интервалах. Так задумано, и это единственные дополнительные затраты.

Если стандартная ошибка получена бутстрэпом, p (Δ) ограничено снизу значением 1/(B + 1). Стандартная ошибка по B повторам имеет относительную погрешность в несколько процентов, а p по нормальному приближению крайне чувствительно к ней: колебание SE на 7% может сдвинуть p на десятки порядков, так что неограниченное 3e-246 утверждает гораздо больше, чем способен подтвердить бутстрэп. Поэтому p ограничено снизу собственным разрешением бутстрэпа, $1/(B+1)$ (0.0099 при 100 повторах по умолчанию, 0.002 при 500), для шести мер без аналитической формы, φ, получастных корреляций Спирмена и Кендалла и всего знакового семейства при бутстрэп-интервалах. Ячейка ровно на этой границе — самое сильное утверждение, которое допускает число повторов, а не пограничный результат, и оговорка называет затронутые символы. Пути с настоящей аналитической стандартной ошибкой, а также η² и V Крамера, которые обращают точное распределение, снизу не ограничиваются.

Δ — граница в исходной шкале, без пересчёта. Для любого метода Δ сравнивается с коэффициентом в том виде, в каком его выводит таблица, без предварительного перевода мер в общую шкалу. Это буквальное понимание «наибольшего коэффициента, который вы ещё считаете практически нулевым», но одно число при этом отмечает в разных ячейках разную степень связи: Δ = 0.3 для r Пирсона — умеренная линейная связь, для ε² — 30% объяснённой дисперсии, для информационной меры — 30% от потолка общей информации. Подпись сообщает об этом всякий раз, когда хотя бы в одной ячейке есть p (Δ), а вторая строка предупреждает, если ячейки эквивалентности одного расчёта охватывают больше одного набора диапазонов силы, поскольку тогда их вердикты несравнимы даже при одной границе. «Шкала» здесь — это именно набор диапазонов, по которому оценивается коэффициент, так что коэффициенты, одинаково оцениваемые модулем, лежат на одной шкале.

Чтение результатов #

Градация силы оценивает τ, β и когерентность по их эквивалентам r и NMI, а γ и D Сомерса сохраняют диапазоны r с оговоркой. При двумерной нормальности τ Кендалла и β Бломквиста равны (2/π)·arcsin ρ, так что r = 0.5 соответствует τ ≈ 0.33, и оценка τ по порогам Коэна, сформулированным для r, давала бы для той же связи градацию на ступень ниже. Поэтому модуль переводит каждый коэффициент обратно через sin(π·stat/2) перед применением диапазонов (это точно при эллиптическом эталоне), так что градация отражает ту силу, которую показал бы r Пирсона, а выводимый коэффициент не меняется. Когерентность Райского равна MI/H(X,Y), что в точности составляет $\text{NMI}/(2-\text{NMI})$ и на всём диапазоне даёт градацию на ступень ниже (NMI = 0.50 соответствует когерентности 0.333), поэтому перед применением диапазонов нормализованной взаимной информации она переводится обратно через $2C/(1+C)$. U Тейла и AMI следуют за NMI без постоянного сдвига и в переводе не нуждаются. γ Гудмана и Краскела и D Сомерса при той же связи больше r (на порядковых данных с совпадениями они превышают τ), а обратного перевода в замкнутом виде для них нет. Поэтому, чтобы не изобретать пороги без источника, модуль оценивает их по порогам r как есть и помечает градации как приблизительные оговоркой под таблицей.

φ оценивается по диапазонам V Крамера, ε² — по порогам Коэна для η², а каждая исправленная оценка — по порогам, сформулированным для генеральной величины. Для таблицы 2×2 |φ| — это $w=\sqrt{{\chi }^2/n}$ Коэна, та величина, которую обобщает V Крамера, поэтому пороги семейства χ² откалиброваны именно для неё, и одна и та же связь в таблице 2×2 получает одинаковую силу, какой бы из двух коэффициентов ни был выбран. φ при этом сохраняет знаковую пометку положительная / отрицательная, которой у V нет, поскольку у него нет знака. Пороги Коэна 0.01 / 0.06 / 0.14 для η² — пороги доли объяснённой дисперсии в генеральной совокупности, поэтому выводимое модулем ε² с поправкой на смещение (обоснование выше) — именно та величина, для которой они написаны, а исходное отношение при многих группах и умеренной выборке давало бы градацию на одну-две ступени выше. V Крамера исправляется так же (обоснование выше), но пороги Коэна для df = 1 предполагают большую выборку, и никакая поправка этого не меняет, поэтому градации V на малых выборках и больших таблицах сопровождаются оговоркой.

Поправка p-значений #

Семейство матрицы учитывает каждую пару один раз, а направленную пару дважды — только там, где два её p действительно различаются. Поправка выполняется до отражения матрицы, так что две ячейки симметричного метода — одна проверка. Асимметричный расчёт вычисляет оба порядка, и оба входят в семейство, кроме случаев, когда у них по построению одно и то же p. Это получастный расчёт, поскольку ppcor::pcor.test симметричен по x и y, и U Тейла, p которого берётся из симметричной взаимной информации. Учёт обоих порядков запустил бы там p.adjust при n = 2m и сделал бы каждое скорректированное p примерно вдвое консервативнее, поэтому зеркальная строка получает скорректированное значение первой. p эквивалентности из этого объединения исключено: его стандартная ошибка зависит от направления (по Алоэ и Беккеру для получастной корреляции, по бутстрэпу для U Тейла), так что p (Δ) двух порядков действительно различаются и корректируются как отдельное семейство.

Визуализации #

Беззнаковые меры окрашиваются и масштабируются по шкале каждого метода до его наблюдаемого максимума, а единственная ячейка возвращается к абсолютной шкале. На практике беззнаковые статистики занимают сжатые диапазоны (матрица dCor редко доходит до 0.5), поэтому масштабирование к теоретической единице изображало бы большинство матриц одинаково бледными крупными элементами. Нормировка к сильнейшему коэффициенту метода сохраняет различимость порядка внутри матрицы, а цвет и размер элемента (вытянутость эллипса, толщина ребра, длина связи в силовом графе) используют одну шкалу, так что самая тёмная ячейка одновременно и самый крупный элемент. Нормировка идёт по методу, а не по расчёту, потому что у беззнаковых мер нет общей шкалы: η² = 0.30 — очень большой эффект, а V Крамера = 0.30 — умеренный, и одна шкала при общем максимуме заставила бы одинаковый цвет означать разное. Поэтому для каждого метода выводится своя полоса легенды с его символом — в расчёте η², переходящем к V на категориальных парах, и в любом расчёте «Смешанная/авто», — а подпись о связи цвета с размером выводится один раз под последней полосой. Метод с единственной ячейкой, пригодной для графика, сам является своим максимумом и закрашивался бы полным цветом с насыщенным элементом при любом малом значении, поэтому его полоса идёт от 0 до 1: одиночное V = 0.40 выглядит как 0.40, а не как 1. Подпись называет выведенное верхнее значение полосы, а не «наблюдаемый максимум», поскольку у полосы с одной ячейкой это уже разные числа. Расчёт «Смешанная/авто» окрашивает беззнаковые пары по зелёной шкале, а не по однополярной синей, поскольку синий цвет рядом с синим концом расходящейся шкалы воспринимался бы как «сильная положительная связь». Обе беззнаковые шкалы начинаются с заметного оттенка, а не с почти белого: значимая ячейка обводится собственной заливкой, и белый нижний конец превратил бы вычисленное ≈ 0 в невидимую ячейку, неотличимую от –, которое означает «не вычислено». Знаковые методы не затрагиваются: их размер и цвет передают |r| на фиксированной шкале −1…+1.

Знак передаётся вторым каналом, а показ незначимых связей перестраивает раскладку, но не шкалы. Один цвет плохо передаёт знак: экспорт, печать или особенности цветового зрения его стирают. Поэтому отрицательная связь рисуется пунктиром, а отрицательная ячейка коррелограммы наклонена в другую сторону, и оба кодирования зеркальны друг другу. У беззнакового метода знака нет, и ни того ни другого он не получает. Два сетевых графа выводят порядок узлов, расстояния и силы из видимого набора связей, поэтому Показывать незначимые связи (приглушённо) перестраивает диаграмму, а не меняет её оформление: картинка с приглушёнными связями — правильная раскладка для этого набора, а не раскладка только значимых связей с дорисованными поверх линиями. Шкалы интенсивности в перестройку намеренно не входят: цвет и толщина нормируются по всем вычислимым парам матрицы, значимым или нет, так что связь сохраняет цвет и толщину в обоих состояниях, а легенда выводит максимум по всей матрице. Нормировка по видимому набору рисовала бы сильнейшую значимую связь в полную силу, даже если существует более сильная незначимая. Одно расходится с другим, как только попарное удаление даёт парам разные объёмы выборки, поскольку только при общем n самая значимая связь одновременно и самая сильная, и переключение флажка без предупреждения перекрашивало бы каждое оставшееся ребро. Пунктир остаётся за знаком, так что незначимая отрицательная пара и в приглушённом виде воспринимается как отрицательная. На силовом графе приглушение задаётся прозрачностью всего элемента, а не прозрачностью линии, поскольку маркер стрелки рисуется собственной заливкой и иначе остался бы в полную силу на приглушённой линии. Расчёт без значимых пар сохраняет карточку и переключатель, чтобы вместо пустой карточки можно было показать приглушённые связи. При включённом переключателе ничего не фильтруется, так что пустой набор тогда означает отсутствие пар, пригодных для графика, и сообщение о пустом состоянии указывает именно на это, а не на фильтр значимости.

Направленный расчёт получает на силовом графе изогнутые дуги со стрелками, а связывание рёбер для него недоступно. При асимметричном методе или получастном расчёте A → B и B → A — разные оценки, и сохраняются обе, но они лежат на одной геометрии, так что прямая линия скрыла бы одну за другой. Каждый порядок рисуется пологой дугой с фиксированным изгибом, поэтому взаимная пара выгибается в противоположные стороны и остаётся различимой. Радиус дуги равен удвоенной хорде, так что она достаточно полога и стрелка попадает туда же, где прямая пересекла бы плашку с подписью целевого узла. Стрелка отодвинута к краю плашки, чтобы подпись её не закрывала, рисуется в единицах пользовательского пространства, чтобы все стрелки были одного размера при любой толщине линии, и для каждого цвета связи определён свой маркер, поскольку маркер не наследует цвет своей линии. В симметричном расчёте стрелок нет, так что направленное изображение никогда не появляется там, где оно было бы бессмысленным. Связывание рёбер не скрыто, а отключено: его дуги соединяют две точки окружности и одинаково выглядят в обоих направлениях, а для направленного варианта понадобились бы соглашение о дугах и второй проход раскладки, и при любой плотности такое изображение трудно разобрать. Поэтому флажок отключён, а примечание отсылает к силовому графу.

Кластерный порядок коррелограммы — метод средней связи по 1 − |r|, вычисленный по собственным коэффициентам расчёта и по умолчанию выключенный. Расстояние равно 1 − |r|, а не знаковому 1 − r, так что сильная отрицательная связь считается сильным согласием внутри блока и не отодвигается в дальний конец оси. Коэффициенты беззнакового метода предварительно делятся на их наблюдаемый максимум (по тому же правилу, что и элементы коррелограммы: одиночное значение сохраняет полный диапазон 0–1), поскольку исходная взаимная информация выходит за 1, и метод с самой широкой шкалой иначе единолично определял бы порядок в смешанном расчёте. Пара с ошибкой или невычисленная пара получает максимальное расстояние, так что отсутствующий коэффициент никогда не принимается за согласие, а два порядка направленной пары усредняются, поскольку это два взгляда на одну связь, а ось одна. Метод связи — hclust(method = "average") по мере различия, которую уже дают коэффициенты, так что второго прохода по данным нет, а порядок — это порядок листьев дерева. Его получают обе оси, поэтому нужны одинаковые переменные на обеих: у прямоугольного расчёта две несвязанные оси, и он сохраняет порядок выбора, о чём сообщает примечание. По умолчанию опция выключена намеренно: набор переменных, выбранных в осмысленном порядке, подшкала за подшкалой, не должен терять этот порядок без запроса.

Каждое наложение на диаграмме рассеяния — та подгонка, которую выражает коэффициент, а сглаживание LOWESS рядом с прямой служит проверкой формы. r Пирсона измеряет линию МНК, поэтому рисуется именно она. При Аналитические она получает полосу условного среднего при n − 2 (n − 2 − k при ковариатах) степенях свободы на общем уровне доверия, а в режиме бутстрэпа — процентильную огибающую переподгонок МНК. Число переподгонок ограничено 400 сверху и 100 снизу при любой настройке повторов, поскольку цикл выполняется синхронно внутри отрисовки без индикатора хода и без возможности отмены, а полоса по нескольким сотням переподгонок на глаз не отличается от полосы при заданном пользователем числе, которое по-прежнему определяет собственный интервал коэффициента. Переподгонки используют зерно бутстрэпа расчёта со сдвигом для каждой пары, так что при заданном зерне полоса воспроизводится. Кривизна — единственное, о чём прямая сообщить не может, и именно её пропускает r, поэтому пунктирное сглаживание LOWESS сопровождает линию, когда у пары набирается пять различных значений x. При меньшем числе (дихотомический предиктор) оно лишь повторило бы линию и потому не рисуется. Сглаживание — локальная линейная подгонка с трикубическими весами в окне из двух третей выборки, уточнённая тремя робастными проходами с бивесовой функцией, которые понижают вес точек, оставленных предыдущим проходом далеко от кривой. Локально-линейная подгонка выбрана вместо локального среднего, поскольку последнее переносит в подгонку наклон плотности значений x, сильнее всего на концах, где скошенное наложение оценивать труднее всего. При числе строк больше 128 робастные остатки берутся по подгонке, интерполированной между равномерно расставленными опорными точками, а не по отдельной локальной подгонке для каждой строки (это приём delta самой функции lowess), и кривая охватывает только наблюдаемый диапазон x, поскольку у непараметрической подгонки нет опоры вне данных. Точечно-бисериальный и бисериальный коэффициенты рисуют одну и ту же линию МНК разности средних, но бисериальный не получает аналитической полосы: как нормально-латентное перемасштабирование он не имеет корректной t-полосы условного среднего, поэтому рисуется только бутстрэп-огибающая. Спирмен, Кендалл, латентные методы, γ, D Сомерса и три меры общей зависимости получают одно сглаживание: их число не выражает никакая параметрическая линия, а реагируют они на монотонную или нелинейную структуру. β Бломквиста определяется совпадением знаков относительно двух медиан, поэтому её наложение — медианное перекрестие. η² — межуровневая доля дисперсии, поэтому выводимой величине соответствует отметка на среднем непрерывной переменной для каждого уровня, соединённая пунктирным профилем, то есть k-групповой вариант линии средних двух групп. Для этого группирующая переменная должна быть закодирована числами: при строковых значениях все строки отбрасываются как нечисловые, и график сообщает о неприменимости, а не о нехватке данных. Две бинарные переменные тетрахорической корреляции дают сетку точек 2×2, где любая подогнанная линия или сглаживание бессмысленны, а φ, V Крамера и информационное семейство работают с категориями, где непрерывная подгонка вводила бы в заблуждение, поэтому все они рисуют только точки.

Точечно-бисериальный и бисериальный коэффициенты откладывают дихотомию по оси X. Из какого бы списка ни пришли переменные, бинарная идёт на горизонтальную ось, а непрерывная — на вертикальную. При бинарной переменной на оси Y наложение МНК было бы линией линейной вероятностной модели, доверительная полоса которой предполагает гомоскедастичные нормальные остатки, невозможные при отклике 0/1. При бинарной переменной на оси X та же подгонка — линия средних двух групп, допущения которой уже контролирует карточка допущений для методов сравнения средних. Полисериальная корреляция оставляет по оси X непрерывную переменную, поскольку сглаживанию нужен предиктор, а пара, где обе переменные одного типа, сохраняет порядок выбора: упорядочивать её не по чему.

Сгруппированные диаграммы рассеяния не рисуют полос и исключают влияние внутри каждой группы, а совмещённые диаграммы исключают его один раз и выбирают одну ориентацию. K перекрывающихся полос разобрать невозможно, поэтому групповая раскладка их не рисует и отсылает за формальным Δr и его интервалом к таблице сравнений. Коэффициент каждой группы получает звёздочки по вердикту значимости (по скорректированному p, если оно есть, как и во всех остальных фильтрах), поскольку p для групп не выводится, и незначимый r иначе выглядел бы наравне со значимым. Исключение влияния при частном расчёте выполняется на собственном подмножестве каждой группы, так что облако остатков отражает условную связь этой группы: объединённое исключение влияния размыло бы именно те групповые различия, ради которых и проводится сравнение. При этом столбцы преобразуются до разбиения на группы, чтобы кодирование 0/1 не различалось между группами, если в одной из них нет какого-то уровня. Совмещённая диаграмма исключает влияние по переменным, а не по парам, поскольку все серии сравниваемых переменных используют один и тот же остаток якорной переменной на общей оси X, и пересчитывать его для каждой пары нельзя. В получастном режиме очищается строка или столбец ячейки, а панель структуры с опорной ячейкой может смешивать оба случая, поэтому ориентацию панели фиксирует первая сравниваемая переменная: решение для каждой серии отдельно поместило бы на одну общую ось остатки и исходные данные. Сравниваемая переменная без общей переменной с опорной ячейкой не показывается, поскольку наложение на общую ось без общей переменной было бы некорректным, но её Δr в таблице всё равно проверяется. Наложение панели берётся по общему методу сравниваемых переменных, если он у них один, и по методу расчёта в противном случае, так что расчёт «Смешанная/авто» никогда не навязывает линию МНК ранговой или категориальной паре. Изображения одной матрицы (связывание рёбер, силовой граф, коррелограмма) в групповом расчёте пропускаются, поскольку у них нет погруппового варианта, а общий критерий равенства структуры для одной выборки не получает диаграммы рассеяния для сравнения: его наглядное представление — коррелограмма.