Воспроизводимость и согласие #

Модуль проверяет, воспроизводятся ли измерения у разных экспертов, в разные моменты времени или разными методами. Согласие в нём оценивают ICC, каппа и α Криппендорфа, точность отдельного балла — SEM и SDC, совпадение двух методов — границы согласия Блэнда — Альтмана, а чувствительность эксперта и его склонность к определённому ответу — индексы теории обнаружения сигнала. Данные нужны в длинном формате: каждая строка — одно измерение одного испытуемого в одном условии. В приложении это модуль Воспроизводимость и согласие. Внутреннюю согласованность шкалы проверяет анализ надёжности, а модели на уровне пунктов строит теория тестовых заданий.

Внутренняя согласованность или воспроизводимость? Внутренняя согласованность относится к одному измерению и показывает, насколько пункты шкалы согласуются между собой, а воспроизводимость сравнивает экспертов или моменты времени и показывает, даст ли повторное измерение тот же результат (см. согласие). Шкала может одновременно обладать отличной внутренней согласованностью и плохим согласием между экспертами.

1. Приведите данные к длинному формату — по строке на испытуемого в каждом условии. Широкий файл преобразует компоновщик столбцов
2. Выберите переменную условия и ID испытуемого. Остальные выбранные переменные станут переменными оценок
3. Отметьте метрики, а для ICC или SEM и SDC задайте модель и форму
4. Нажмите Рассчитать воспроизводимость

Требования #

• ID испытуемого и переменная условия в двух разных столбцах, не меньше двух условий и хотя бы одна выбранная переменная сверх этих двух — она войдёт в анализ как переменная оценок.
• Отмечена хотя бы одна метрика.
• Каждый испытуемый встречается в каждом условии не больше одного раза. Исключение одно — метод Блэнда — Альтмана, если в параметрах повторных измерений указано, что это за повторы.

Структура данных #

Структуру данных задают три выпадающих списка:

• Переменная условия — столбец, задающий эксперта, момент времени или отдельный замер, то есть уровни, между которыми сравниваются оценки. Уровней нужно не меньше двух, иначе расчёт останавливается, ничего не вычислив. Два уровня соответствуют схеме тест-ретест или двум экспертам, три и больше — межэкспертной схеме, и некоторые метрики работают только в одном из этих случаев.
• ID испытуемого — столбец, идентифицирующий испытуемого. Если данные переведены из широкого формата в длинный компоновщиком столбцов, он выбирается автоматически.
• Нет — столбец ещё не выбран (в любом из двух списков ролей). Расчёт не запустится, пока не заданы обе роли, и это должны быть разные столбцы.
• Сеанс — необязательный список, нужный только методу Блэнда — Альтмана. В нём указывают столбец, связывающий повторные измерения испытуемого, если оба условия измерялись вместе в каждом сеансе, а истинное значение у испытуемого могло меняться от сеанса к сеансу (см. повторные измерения). Выбранный столбец перестаёт быть переменной оценок и должен отличаться от двух других ролей.
• Нет — значение по умолчанию. Столбца сеанса нет, каждая пара испытуемого и условия считается одним измерением, и повтор такой пары останавливает расчёт, если в параметрах повторных измерений не указано, что это за повторы.

Все остальные выбранные переменные считаются переменными оценок и анализируются все сразу.

Когда столбцы испытуемого и условия выбраны, над списком метрик появляется сводка того, что модуль нашёл в данных: число условий и полных испытуемых, а если такие есть, то и число неполных испытуемых (без строки в каком-либо условии) и число строк, повторяющих пару испытуемого и условия. Её стоит просмотреть до запуска: если данные устроены не так, как вы ожидали, это видно здесь, а не по ошибке после расчёта.

Каждый испытуемый может встречаться в каждом условии только один раз. Если какая-то пара испытуемого и условия повторяется, анализ останавливается и сообщает, сколько строк затронуто. Сначала агрегируйте дубликаты или заново приведите данные к длинному формату: все метрики здесь предполагают одну оценку на ячейку. Единственное исключение — метод Блэнда — Альтмана, если вы указали, что это за повторы (см. повторные измерения). Тогда выполняется только он, а остальные выбранные метрики сообщение перечисляет как отклонённые.

Метрики воспроизводимости #

Метрики можно включать в любом сочетании. Для каждой переменной оценок рассчитываются те из них, что подходят к её типу данных:

• Внутриклассовая корреляция (ICC) — доля дисперсии непрерывной оценки, которая приходится на истинные различия между испытуемыми, а не на различия между экспертами или моментами измерения и не на шум (см. внутриклассовая корреляция). Какие дисперсии учитываются, определяют модель и форма, выбранные ниже, и тот же выбор указан в заголовке столбца: ICC(2,1) для двухфакторной случайной модели и единичных измерений. Выводится с аналитическим доверительным интервалом и p-значением и оценивается по шкале Ку и Ли.
• Каппа Коэна / Лайта / Флейсса (κ) — согласие порядковых и категориальных оценок с поправкой на случайное совпадение (см. каппа Коэна). Вариант зависит от данных и указывается в заголовке столбца. При двух условиях это κ Коэна, для порядковой оценки — взвешенная, а при трёх и более — κ Лайта для порядковых оценок и κ Флейсса для категориальных. Интервалы строятся бутстрэпом.
• Альфа Криппендорфа — согласие с поправкой на случайное совпадение при любом числе экспертов, любой шкале измерения и пропущенных оценках, поэтому метрика работает с оценками любого типа (см. альфа Криппендорфа). Функция расстояния зависит от типа оценки: номинальная для категориальных, порядковая для порядковых, интервальная для непрерывных. Столбец результатов — α Криппендорфа. Интервал строится бутстрэпом, и именно он замедляет расчёт при большом числе переменных или испытуемых.
• W Кендалла — согласие трёх и более условий в упорядочении испытуемых, по шкале от 0 до 1, для непрерывных и порядковых оценок (см. коэффициент конкордации Кендалла). Выводится только начиная с трёх условий: при двух коэффициент лишь повторил бы ρ Спирмена в другой шкале, и примечание под таблицами объясняет, почему столбца нет. Оценивается по шкале Шмидта, с бутстрэп-интервалом и p-значением.
• Корреляция Пирсона (тест-ретест) — обычный коэффициент корреляции между оценками двух условий, для непрерывных оценок ровно при двух условиях. Это мера согласованности, а не согласия (см. корреляция — не согласие). При трёх и более условиях столбец пуст, и примечание под таблицами объясняет почему. Столбец результатов — r Пирсона.
• Корреляция Спирмена (тест-ретест) — то же по рангам, для непрерывных и порядковых оценок ровно при двух условиях. Столбец результатов — ρ Спирмена.
• SEM и SDC — стандартная ошибка измерения и наименьшее обнаружимое изменение непрерывной оценки. Обе величины берутся из дисперсионного анализа, соответствующего модели ICC, которая выбирается ниже, поэтому при выборе этой метрики тоже появляются параметры ICC (см. стандартное отклонение повторных измерений и наименьшее обнаружимое изменение). Выводятся два столбца, SEM и SDC, с бутстрэп-интервалами и без p-значения.
• Согласие по Блэнду — Альтману — насколько расходятся измерения двух условий у отдельного испытуемого, тогда как коэффициенты выше показывают, насколько тесно эти измерения связаны. Метод даёт среднюю разность, границы, в которые укладывается большинство индивидуальных разностей, наклон, показывающий, как расхождение меняется с величиной измерения, и график (см. график Блэнда — Альтмана). Он работает с непрерывными оценками для каждой пары условий, результаты выводит в отдельном подразделе карточки, а его параметры появляются под флажком.
• Теория обнаружения сигнала — метод, который рассматривает два условия бинарной оценки как истинное состояние и ответ наблюдателя и по получившейся таблице 2 × 2 вычисляет чувствительность (d′, A′) и смещение ответа (c, β, B″) (см. обнаружение сигнала). Нужны ровно два условия и переменная оценок ровно с двумя различными значениями, каким бы ни был её объявленный тип. Результаты выводятся в отдельном подразделе, а два параметра метода появляются под флажком.

Результаты группируются по типу переменных, поэтому запускать анализ отдельно для непрерывных и категориальных переменных не нужно.

Параметры ICC #

Если выбрана Внутриклассовая корреляция (ICC) или SEM и SDC, появляются две группы переключателей. Дисперсионный анализ для SEM строится по тому же выбору.

Модель:

• Однофакторная случайная (абсолютное согласие) — каждого испытуемого оценивает свой случайный набор экспертов, поэтому систематическую склонность эксперта нельзя отделить от шума и она входит в ошибку. Даёт наименьший из трёх коэффициентов (см. однофакторная модель случайных эффектов). В заголовке столбца — ICC(1,·).
• Двухфакторная случайная (абсолютное согласие) — выбрана по умолчанию. Все испытуемые оценены одними и теми же экспертами, а эксперты — случайная выборка из более широкой совокупности, поэтому эксперт, систематически завышающий оценки, снижает коэффициент (см. двухфакторная модель случайных эффектов). ICC(2,·).
• Двухфакторная смешанная (согласованность) — все испытуемые оценены одними и теми же экспертами, и интересуют только эти эксперты, поэтому постоянный сдвиг между экспертами на коэффициент не влияет (см. двухфакторная модель смешанных эффектов). ICC(3,·).

Абсолютное согласие или согласованность? Отдельного переключателя нет, это следует из модели: обе модели со случайными эффектами проверяют, ставят ли эксперты одинаковые баллы, а смешанная — только одинаково ли они упорядочивают испытуемых (см. абсолютное согласие и согласованность).

Форма:

• Единичные измерения — надёжность оценки одного эксперта. Выбрана по умолчанию и подходит всякий раз, когда на практике оценку будет ставить один эксперт или она будет получена за один сеанс. ICC(·,1).
• Усреднённые измерения — надёжность среднего по всем экспертам, всегда более высокая, чем у единичной оценки. Выбирайте эту форму, только если на практике каждая оценка будет средним одного и того же числа экспертов (см. единичные и усреднённые измерения). ICC(·,k).

Какой ICC выбрать? В большинстве исследований подходит двухфакторная случайная модель с единичными измерениями, ICC(2,1): все испытуемые оценены одними и теми же экспертами, эксперты представляют более широкую совокупность, а вопрос в том, насколько надёжна оценка одного эксперта (см. внутриклассовая корреляция).

Чтение результатов воспроизводимости #

Карточка начинается с описания структуры, на которой выполнен расчёт: столбцы испытуемого, условия и сеанса, число условий и переменные оценок. Далее результаты сгруппированы по типу переменных под отдельными заголовками:

• Непрерывные переменные — ICC, r Пирсона, ρ Спирмена, SEM, SDC, W Кендалла, α Криппендорфа
• Порядковые переменные — ρ Спирмена, W Кендалла, κ, α Криппендорфа
• Категориальные переменные — κ, α Криппендорфа

В каждой таблице по строке на переменную оценок и по столбцу на каждую применимую метрику. Рядом с метрикой стоят N, по которому она рассчитана, доверительный интервал, если включены Доверительные интервалы, p-значение, если оно у метрики есть, и интерпретация. У метрик с известным нулевым распределением (ICC, κ Коэна и Флейсса, W Кендалла, r Пирсона и ρ Спирмена) есть столбец p-значения, а рядом с коэффициентом стоят звёздочки значимости. У κ Лайта, SEM, SDC и α Криппендорфа p-значения в замкнутой форме нет, и для них выводятся только коэффициент и интервал. Группа, переменным которой не подошла ни одна из выбранных метрик, не выводится, а если из-за этого карточка осталась пустой, об этом сообщает примечание.

• Доверительные интервалы — флажок в группе Параметры вывода, по умолчанию включён. Добавляет рядом с каждым коэффициентом столбец {level}% ДИ на уровне доверия из настроек. ICC, r Пирсона и ρ Спирмена получают аналитические интервалы, которые вычисляются мгновенно. Для κ Коэна / Лайта / Флейсса, W Кендалла, SEM и SDC, α Криппендорфа и индексов обнаружения сигнала строятся интервалы процентильного бутстрэпа по испытуемым, с числом повторов из настройки Повторы бутстрэпа и с зерном бутстрэпа. При большом числе переменных или большой выборке это заметно замедляет расчёт, а если значение дали меньше половины повторов, интервал остаётся пустым. Интервалы Блэнда — Альтмана аналитические и тоже зависят от этого флажка.
• Переменная — переменная оценок, к которой относится строка.
• N — число испытуемых, по которым рассчитана метрика этого столбца. Пока N у всех метрик во всех строках таблицы совпадает, столбец один, а как только хотя бы одна метрика расходится, N выводится для каждой отдельно: каждая метрика по-своему обходится с пропущенными оценками (см. пропущенные данные).
• r Пирсона — корреляция между оценками двух условий с аналитическим интервалом и p-значением cor.test(). Оценивается по шкале силы корреляции, потому что измеряет согласованность, а не согласие (см. r Пирсона).
• ρ Спирмена — ранговая корреляция между оценками двух условий с интервалом на основе z-преобразования Фишера и p-значением cor.test(). Оценивается по шкале силы корреляции (см. ρ Спирмена).
• SEM — стандартная ошибка измерения: насколько отдельная оценка обычно отклоняется от истинного балла испытуемого, в единицах самой оценки. Берётся из дисперсионного анализа, соответствующего выбранной модели ICC. Интервал строится бутстрэпом, p-значения нет (см. стандартное отклонение повторных измерений).
• SDC ({level}%) — наименьшее обнаружимое изменение, $\text{SEM}\cdot z\cdot \sqrt{2}$, где $z$ соответствует уровню доверия из настроек, и этот процент указан в заголовке. Если оценка испытуемого изменилась меньше чем на SDC, изменение не выходит за пределы ошибки измерения. Интервал SDC — интервал SEM, умноженный на тот же множитель (см. наименьшее обнаружимое изменение).
• α Криппендорфа — коэффициент с функцией расстояния, которую задаёт тип оценки в строке. Интервал строится бутстрэпом, p-значения нет, интерпретация — по собственной шкале Криппендорфа.
• κ Коэна — два условия, категориальная оценка: согласие с поправкой на случайное совпадение, с аналитическим p-значением irr::kappa2() и бутстрэп-интервалом (см. каппа Коэна).
• Взвешенная κ Коэна — два условия, порядковая оценка: κ Коэна с квадратичными весами, так что расхождение на одну категорию снижает коэффициент меньше, чем расхождение на четыре. Интервал и p-значение — как у κ Коэна (см. взвешенная каппа).
• κ Лайта — три и более условий, порядковая оценка: среднее κ Коэна с квадратичными весами по всем парам условий. Интервал строится бутстрэпом, p-значения нет (см. каппа Лайта).
• κ Флейсса — три и более условий, категориальная оценка, с аналитическим p-значением irr::kappam.fleiss() и бутстрэп-интервалом (см. каппа Флейсса).
• Интерпретация — заключение по одному коэффициенту в строке: первому из имеющихся в порядке ICC, κ, W Кендалла, α Криппендорфа, r Пирсона и ρ Спирмена. В ячейке назван оценённый коэффициент, а шкала взята из литературы об этом коэффициенте (таблица ниже). Столбец выводится, пока включена настройка столбца интерпретации.

Согласие по Блэнду — Альтману #

Если выбрано Согласие по Блэнду — Альтману, после сгруппированных таблиц на карточке появляется отдельный подраздел: сначала графики для каждой непрерывной переменной, затем одна общая таблица. Метод работает с непрерывными переменными для каждой пары условий: при двух условиях это одно сравнение на переменную, при большем числе — k(k−1)/2, и для каждого указаны сравниваемая пара и направление разности. Если условий больше двух, графики переменной сворачиваются в одну раскрывающуюся группу и строятся при первом её открытии.

График Блэнда — Альтмана. По оси x отложено среднее двух измерений испытуемого, по оси y — их разность, по точке на пару. Смещение показано сплошной линией, две границы согласия — пунктирными, линия пропорционального смещения — точечной, и у каждой подписано значение. Доверительные интервалы смещения и границ показаны полупрозрачными полосами. При наведении на точку показывается, какому испытуемому она принадлежит: так проще найти случай, который стоит перепроверить по исходным данным.

В таблице по строке на сравнение:

• Сравнение — какую пару условий охватывает строка и в каком направлении: первое − второе, где условия взяты в том порядке, в каком их метки впервые встречаются в данных. Столбец выводится, только когда условий больше двух и пар несколько. При двух условиях пара указана в примечании под таблицей, и положительное смещение означает, что в первом условии значения выше.
• N — число испытуемых с полной парой измерений.
• Пары — при заданной переменной сеанса число пар испытуемого и сеанса, по которым рассчитана строка. Выводится вместо N, поскольку в этом случае один испытуемый даёт несколько пар.
• Испытуемые — при заданной переменной сеанса число испытуемых, от которых получены эти пары.
• Смещение — средняя разность с доверительным интервалом. Смещение, отличное от нуля, означает, что в одном условии значения систематически выше, чем в другом (см. систематическое различие). В логарифмической шкале столбец называется Смещение (отношение) и содержит среднее геометрическое отношение: 1.04 означает, что в первом условии значения на 4% выше. Проверки смещения на равенство нулю нет.
• Нижняя граница — нижняя граница согласия, $\text{bias}-z\cdot \text{SD}$ разностей, со своим доверительным интервалом. В логарифмической шкале столбец называется Нижняя граница (отношение) (см. границы согласия).
• Верхняя граница — верхняя граница согласия, $\text{bias}+z\cdot \text{SD}$, со своим доверительным интервалом. В логарифмической шкале столбец называется Верхняя граница (отношение). Между двумя границами лежит доля индивидуальных разностей, равная заданному уровню доверия, а в логарифмической шкале границы задают кратности, в пределах которых измерения большинства пар отличаются друг от друга.
• Наклон — тренд пропорционального смещения с интервалом: регрессия разностей на средние пар, а в логарифмической шкале — разности логарифмов на среднее логарифмов. Интервал, не включающий ноль, означает, что расхождение меняется с величиной измерения, и тогда под таблицей появляется предупреждение об этом (см. пропорциональное смещение).

Границы и интервалы рядом с ними — разные вещи. Границы описывают отдельных испытуемых, а интервал рядом с каждой границей — точность, с которой выборка эту границу определила. Широкий интервал означает, что нужно больше испытуемых, а широкий промежуток между границами — что условия расходятся, сколько испытуемых ни собери (см. границы согласия).

При модели ICC Двухфакторная смешанная (согласованность) SDC и полуширина границ согласия — одно и то же число. При любой из моделей абсолютного согласия SDC получается больше: оно включает систематическую разность между условиями, которую метод Блэнда — Альтмана выносит отдельно в смещение.

Анализ в логарифмической шкале #

• Анализировать в логарифмической шкале — весь расчёт Блэнда — Альтмана выполняется по натуральным логарифмам измерений. Это нужно, когда расхождение растёт пропорционально величине измерения: на графике видна воронка, а интервал наклона не включает ноль. Смещение становится средним геометрическим отношением, границы — границами отношения, каждый интервал потенцируется вместе со своей оценкой, а к заголовкам столбцов добавляется (отношение), чтобы разности и отношения нельзя было спутать. Наклон остаётся коэффициентом регрессии, теперь разности логарифмов на среднее логарифмов. График остаётся в логарифмических единицах, что указано на его осях, а примечание под таблицей объясняет это расхождение. Нужны положительные значения: у неположительного измерения нет логарифма, и оно выпадает так же, как пропущенное, а число потерянных пар указывается под таблицей.

Повторные измерения #

Все метрики модуля предполагают одну оценку на испытуемого в каждом условии, и по умолчанию повтор пары испытуемого и условия останавливает расчёт. Метод Блэнда — Альтмана — исключение: повторы в нём допустимы, но только если вы укажете, что это за повторы, потому что одни и те же дублирующиеся строки возникают при двух совершенно разных схемах измерения.

Укажите столбец сеанса, если оба условия измерялись вместе в каждом сеансе: тогда повтор j одного условия составляет пару с повтором j другого, а истинное значение у испытуемого может меняться от сеанса к сеансу. Каждый испытуемый даёт по разности на сеанс, в таблице выводятся Пары и Испытуемые, а интервалы (но не смещение и не границы) расширяются, поскольку разности одного испытуемого не независимы. Если в ячейке испытуемого и сеанса оказалось больше одного измерения одного и того же условия, они усредняются перед составлением пар, и предупреждение под таблицей сообщает число таких ячеек.

• Повторные измерения — два переключателя в параметрах Блэнда — Альтмана для повторов без такого сопоставления. Повторы каждого испытуемого сводятся к среднему, а переключатель определяет, что должны описывать границы. Он действует, только когда у испытуемого больше одной строки в условии и переменная сеанса не задана: сеанс имеет приоритет, а без повторов при любом выборе выполняется обычный расчёт.
• Границы для одного измерения — границы расширяются на дисперсию повторных измерений и описывают разность между одним измерением в каждом условии. Предполагается, что истинное значение у испытуемого не менялось от повтора к повтору, а разброс повторных измерений не зависит от величины измерения.
• Границы для среднего повторных измерений — границы описывают разность между средними повторов испытуемого и не расширяются. Предполагается, что истинное значение у испытуемого не менялось от повтора к повтору.

Какой бы путь вы ни выбрали, примечание под таблицей называет схему и её допущение, так что карточка остаётся понятной и после того, как попадёт к другим читателям. Если строки повторяются, а не указано ни то ни другое, метод Блэнда — Альтмана отклоняется вместе с остальными метриками, и сообщение называет оба элемента управления.

Теория обнаружения сигнала #

Если выбрана Теория обнаружения сигнала, рядом с подразделом Блэнда — Альтмана на карточке появляется её собственный подраздел: в одной таблице — сводка ответов, в другой — пять индексов. Два условия модуля рассматриваются как истинное состояние и ответ наблюдателя и сводятся в таблицу 2 × 2. Так разделяется то, что коэффициенты согласия смешивают: плохое согласие может означать, что эксперт не отличает случаи друг от друга, а может — что он их различает, но слишком часто отвечает «да» (см. обнаружение сигнала). Под флажком появляются два параметра:

• Условие с истинным состоянием — какой из двух уровней условия считается истиной. Второй рассматривается как ответ наблюдателя, и вместе они дают таблицу попаданий и ложных тревог. В списке уровни идут в порядке первого появления в данных, по умолчанию выбран первый. Перестановка ролей транспонирует таблицу и меняет все доли, поэтому этот выбор оставлен вам.
• Крайние доли — что делать с долей попаданий или ложных тревог, равной ровно 0 или 1: z тогда уходит в бесконечность, и d′, c и β не определены. Три варианта описаны ниже.

Сводка ответов — исходный материал, по строке на переменную. Все индексы вычисляются из двух долей в её последних столбцах, поэтому смотрите её первой:

• Уровень сигнала — значение переменной оценок, принятое за «сигнал есть»: большее из двух её значений (для текста — последнее в порядке сортировки). Его выбирает сам модуль, поэтому оно и показано здесь. Если поменять метки в обеих ролях, d′ и A′ не изменятся, а у индексов смещения лишь сменится знак, поэтому в отличие от истинного состояния это не параметр. Если последний уровень означает отсутствие признака (как «нет», которое при сортировке идёт после «да»), сначала перекодируйте переменную в 0/1.
• Попадания — случаи, когда истинным состоянием был сигнал и ответ был положительным.
• Пропуски — случаи, когда истинным состоянием был сигнал, а ответ был отрицательным.
• Ложные тревоги — случаи, когда сигнала не было, а ответ был положительным.
• Правильные отвержения — случаи, когда сигнала не было и ответ был отрицательным.
• Доля попаданий — число попаданий, делённое на число всех случаев, где истинным состоянием был сигнал. Считается по наблюдаемым данным, какую бы поправку ни применяли параметрические индексы (см. доля попаданий и доля ложных тревог).
• Доля ложных тревог — число ложных тревог, делённое на число всех случаев, где сигнала не было, тоже по наблюдаемым данным.

В таблице индексов — пять статистик на переменную, с доверительными интервалами процентильного бутстрэпа по испытуемым, если включены Доверительные интервалы:

• d′ — чувствительность: расстояние между распределениями шума и сигнала в единицах SD, то есть z-оценка доли попаданий минус z-оценка доли ложных тревог. Значение 0 соответствует случайному угадыванию, и чем оно больше, тем лучше различение (см. d-штрих).
• A′ — чувствительность в непараметрической шкале от 0 до 1: 0.5 соответствует случайному угадыванию, а ниже 0.5 она опускается, когда ложных тревог больше, чем попаданий. Определена там, где d′ не определена, и всегда вычисляется по наблюдаемым долям, какой бы ни была поправка.
• c — смещение ответа: удалённость критерия от нейтральной точки в тех же единицах SD, что и d′. Выше нуля — консервативный наблюдатель, который слишком редко отвечает «да», ниже нуля — либеральный (см. смещение ответа).
• β — то же в шкале отношений, где отсутствию смещения соответствует 1.
• B″ — непараметрический индекс смещения Дональдсона в шкале от −1 до 1, где отсутствию смещения соответствует 0. Вычисляется по наблюдаемым долям и остаётся пустым, когда обе доли равны 0 или 1 (все ответы верны, все неверны или все одинаковы), поскольку тогда обе части его отношения равны нулю.

Чувствительность и смещение — разные вещи. d′ и A′ показывают, насколько вообще различимы два состояния, c, β и B″ — только то, где наблюдатель провёл границу, а единый коэффициент согласия сводит то и другое в одно усреднённое число. Приводите индекс чувствительности вместе с индексом смещения, иначе ни один из них не истолковать (см. смещение ответа).

Нужны ровно два условия и переменная оценок ровно с двумя различными непропущенными значениями. Проверяются сами значения, а не объявленный тип, поэтому подходит и столбец из 0 и 1, который импорт определил как непрерывный. Если не подходит ничего, карточка сообщает, какое из двух требований не выполнено, а не пропускает раздел без объяснений. В примечаниях под таблицами указаны роли двух условий и применённая поправка, а ещё три примечания появляются в особых случаях: если истинное состояние переменной не менялось (тогда нет доли ложных тревог для сравнения с долей попаданий, и все индексы остаются пустыми), если доля достигла 0 или 1 без поправки (тогда примечание указывает на параметр, который заполнил бы пустые ячейки) и если не определён B″.

Крайние доли и поправка на них #

Доля попаданий или ложных тревог, равная ровно 0 или 1, уводит z в бесконечность, а на z построены d′, c и β. Что происходит в этом случае, определяет параметр Крайние доли:

• Лог-линейная (прибавить 0.5 к каждой частоте) — по умолчанию: к каждой частоте прибавляется 0.5, а к каждому итогу 1, независимо от того, крайняя ли доля. Все доли немного сжимаются, зато особых случаев нет.
• Заменять только доли 0 и 1 — крайняя доля заменяется на $1/(2N)$ или $1-1/(2N)$, где N — число случаев с той же стороны истинного состояния, а остальные доли остаются наблюдаемыми.
• Нет — поправки нет, и крайняя доля оставляет d′, c и β пустыми.

Поправка затрагивает только d′, c и β. A′ и B″ не опираются на распределение и определены в крайних точках, поэтому всегда вычисляются по наблюдаемым долям, а сводка ответов всегда показывает доли такими, какими они были, что бы ни использовали параметрические индексы. Примечание под таблицей называет поправку и индексы, к которым она применена.

Допущения #

• Испытуемые независимы. Каждый испытуемый — отдельный человек (или иная единица наблюдения). Повторные измерения одного испытуемого в разных условиях допустимы: именно их и задаёт переменная условия.
• Все испытуемые оценены в одних и тех же условиях. В идеале у каждого испытуемого есть оценка в каждом условии (у каждого эксперта, в каждой временной точке). Недостающие сочетания обрабатываются, но могут снизить точность.
• ICC предполагает непрерывные нормально распределённые данные. Для порядковых и категориальных данных используйте каппу или альфу Криппендорфа.
• Метод Блэнда — Альтмана предполагает, что разности ведут себя одинаково при любой величине измерения. Границы — это среднее плюс-минус несколько SD, поэтому одна пара границ описывает данные, только если разброс сохраняет постоянную ширину по всему графику. Воронка, расширяющаяся с ростом значений, делает границы слишком широкими внизу и слишком узкими вверху. Столбец Наклон показывает тренд с интервалом, так что замечать его на глаз не нужно, а если воронка мультипликативная, помогает Анализировать в логарифмической шкале (см. пропорциональное смещение).
• Метод Блэнда — Альтмана предполагает одно измерение на испытуемого в каждом условии, если не указано иное. Повторные измерения анализировать можно, но только указав, что это за повторы (см. повторные измерения). Два способа указания опираются на разные допущения, и карточка называет использованное.
• Каппа предполагает категориальные данные. Для порядковых данных взвешенная каппа (с квадратичными весами, выбирается автоматически: взвешенная κ Коэна при 2 экспертах, κ Лайта при 3+) учитывает расстояние между категориями. Для непрерывных данных используйте ICC.

Пропущенные данные #

Пропущенные значения сначала обрабатываются по глобальной настройке пропущенных данных. Построчное удаление ещё до модуля убирает все строки с пропуском в любой из выбранных переменных, так что пустая ячейка в одной переменной оценок исключает эту строку испытуемого и условия для всех переменных оценок. Импутация заполняет пропуски, а попарное удаление (по умолчанию) оставляет их метрикам. Строка без испытуемого, условия или сеанса отбрасывается до начала расчёта, а сводка структуры данных подсчитывает испытуемых, у которых нет строки в каком-либо условии. Остальное каждая метрика решает по-своему: каппа, W Кендалла, r Пирсона и ρ Спирмена используют испытуемых, оценённых во всех условиях, α Криппендорфа — оценённых хотя бы в двух, ICC, SEM и SDC — все имеющиеся оценки, а метод Блэнда — Альтмана и обнаружение сигнала — полные пары двух сравниваемых условий. Поэтому каждая метрика сообщает N, по которому рассчитана: в одном общем столбце N, пока все метрики таблицы совпадают, и в отдельном столбце на метрику, как только хотя бы одна расходится.

По каким испытуемым рассчитан коэффициент? При попарном удалении коэффициенты одной строки могут опираться на разных испытуемых (каппа — на оценённых во всех условиях, α Криппендорфа — на всех, у кого есть две оценки), поэтому смотрите на N рядом с каждым. Если в статье за каждым коэффициентом должна стоять одна и та же выборка, выберите построчное удаление.

Контрольный список для отчёта #

Что стоит включить в описание исследования согласия или воспроизводимости:

Метод:

• Структуру данных: в каком столбце были условия (эксперты, временные точки или методы), в каком — испытуемые и сколько тех и других
• Какие метрики рассчитаны и почему: ICC для непрерывных оценок, каппа или α Криппендорфа для порядковых и категориальных, метод Блэнда — Альтмана, если вопрос в том, взаимозаменяемы ли два метода, а корреляции только как меры согласованности
• Модель и форму ICC в том виде, в каком они указаны в заголовке столбца («ICC(2,1), двухфакторная случайная модель, единичные измерения»), и то, что SEM взята из той же модели
• Какой вариант каппы использован (Коэна, взвешенная, Лайта или Флейсса), а для взвешенных вариантов — что веса квадратичные
• Для метода Блэнда — Альтмана: какое условие вычиталось из какого, выполнялся ли анализ в логарифмической шкале, а при повторных измерениях, сопоставлялись ли повторы через переменную сеанса или сводились к среднему и описывают ли в последнем случае границы одно измерение или среднее
• Для обнаружения сигнала: какое условие принято за истинное состояние, какое значение — за сигнал и какая поправка на крайние доли использована
• Как обрабатывались пропущенные данные: какая выбрана глобальная настройка и то, что N каждого коэффициента — это испытуемые, по которым он рассчитан (пропущенные данные)
• Уровень доверия, а для бутстрэп-интервалов — число повторов и зерно

Результаты:

• Каждый коэффициент с доверительным интервалом и N, p-значение, если оно у метрики есть, и интерпретацию по собственной шкале коэффициента с названием этой шкалы
• SEM и SDC, если речь идёт о точности измерения, в единицах оценки и с уровнем доверия, на котором построено SDC
• Для метода Блэнда — Альтмана: смещение и обе границы согласия с доверительными интервалами (в виде отношений, если анализ выполнялся в логарифмической шкале), наклон пропорционального смещения с интервалом и число пар
• Для обнаружения сигнала: доли попаданий и ложных тревог, по которым получены индексы, и индекс чувствительности в паре с индексом смещения, а не один из них

Воспроизводимость в R #

Каждый анализ выводит свой R-код в консоль R, где команды можно просмотреть, скопировать и запустить заново. ICC модуль вычисляет пакетом psych (компоненты дисперсии оценивает lme4), каппу, W Кендалла и α Криппендорфа — пакетом irr, а преобразование из длинного формата в широкий выполняет tidyr. Корреляции, дисперсионный анализ для SEM и регрессия пропорционального смещения выполняются средствами базового R (cor.test, aov, lm с confint). Бутстрэп для α Криппендорфа, смещение, границы и интервалы Блэнда — Альтмана, компоненты дисперсии и кластерно-робастные стандартные ошибки для повторных измерений, а также индексы обнаружения сигнала с поправками вычисляет собственный R-код модуля, без дополнительных пакетов. Все бутстрэп-интервалы (κ, W Кендалла, SEM и SDC, α Криппендорфа и индексы обнаружения сигнала) зависят от параметра Зерно бутстрэпа, и пустое зерно даёт новые случайные выборки при каждом запуске. Интервалы ICC, корреляций и Блэнда — Альтмана аналитические, зерно им не нужно. Ссылки на литературу автоматически появляются в начале раздела результатов и соответствуют тому, что было в расчёте: пакетам R и статистическим методам, то есть варианту каппы, каждому рассчитанному коэффициенту, схеме повторных измерений и поправкам. Обоснование каждой оценки, интервала, шкалы и отказа изложено в методических заметках.

Типичные ошибки #

Принимать высокую корреляцию за согласие. Если r Пирсона между двумя экспертами равен 0.98, они почти одинаково упорядочивают испытуемых, но из этого не следует, что они ставят одинаковые баллы: эксперт, систематически завышающий оценку на пять баллов, даст почти идеальную корреляцию и смещение в пять баллов. Если вопрос в том, взаимозаменяемы ли два измерения, ответ на него даёт метод Блэнда — Альтмана, а не корреляция (см. корреляция — не согласие).

Приводить ICC для усреднённых измерений, когда оценку будет ставить один эксперт. Из двух форм ICC(·,k) всегда даёт большее значение и описывает среднее по всем экспертам, то есть оценку, которой на практике ни у кого не будет, если только каждое будущее измерение не будет таким средним. Когда используемые оценки ставит один эксперт или они получены за один сеанс, приводить нужно коэффициент для единичных измерений, а модель и форму указывать в статье рядом с числом (см. единичные и усреднённые измерения).

Истолковывать каппу без учёта частот категорий. Невысокая κ при высоком проценте совпадений — не противоречие: когда одна категория преобладает, два эксперта совпадали бы в большинстве случаев, даже отвечая наугад, а каппа измеряет лишь то, что остаётся сверх этого уровня. Приводите частоты категорий вместе с коэффициентом и учитывайте, что при перекошенной таблице κ будет невысокой, как бы тщательно ни работали эксперты (см. случайное согласие).

Принимать звёздочки за вывод. Звёздочки рядом с ICC, κ или W Кендалла относятся к нулевой гипотезе об отсутствии всякого согласия, которую отвергнет любой работающий инструмент, и значимый ICC, равный 0.40, всё равно попадает в уровень «плохая». Достаточно ли согласие, показывают интерпретация и нижняя граница доверительного интервала (см. статистическая значимость).