Согласие и воспроизводимость #

Касса кафе записала средний чек за визит каждого участника программы лояльности за восемь недель до смены меню и за восемь недель после неё, то есть два измерения одних и тех же 200 участников. В анкете участников спрашивали, стали бы они рекомендовать кафе, а у владельца на этот счёт есть своё эмпирическое правило по общей оценке кафе от 0 до 10 (оценка): рекомендует тот, кто поставил 8 или выше. Когда есть два измерения одной величины, две классификации одного участника или шесть оценок одного впечатления, вопрос о том, совпадают ли их ответы, и называют вопросом согласия. Ниже разобрано, как его ставят и как на него отвечают: что такое согласие и почему корреляция его не измеряет; внутриклассовая корреляция и её формы; семейство каппы и альфа Криппендорфа для категорий; W Кендалла для ранжирований; ошибка отдельной повторной оценки и изменение, которое удаётся обнаружить; график Блэнда — Альтмана с границами согласия; наконец, индексы обнаружения сигнала, которые отделяют способность эксперта различать случаи от его готовности сказать «да». Числа получены в модуле воспроизводимости и согласия на данных кафе, подготовленных так, как описано на той странице, и переведённых в длинный формат конвертером таблиц: по строке на каждого участника в каждом условии. Данные кафе — не исследование согласия: ничего в них не измеряли дважды двумя методами. Поэтому там, где пара столбцов изображает такое измерение, на странице сказано, чего эта замена не передаёт.

Что такое согласие #

Согласие — это совпадение ответов, которые дают два или больше измерений одного и того же: одна и та же оценка у двух экспертов, одно и то же показание в двух замерах, одна и та же категория у двух классификаторов. Это вопрос о надёжности, который задают, когда есть второе измерение. Внутренняя согласованность отвечает на тот же вопрос по пунктам одного опросника, заполненного один раз. Шкала может быть безупречно согласованной внутри и всё же по-разному оцениваться двумя экспертами, поэтому в приложении это два отдельных модуля. В терминах ролей приложения испытуемый — объект измерения, условие — кто, когда или чем измерял (эксперт, момент времени, метод), а любая другая выбранная переменная — оценка, по которой условия сравниваются. Каждому испытуемому в каждом условии отводится одна строка (широкий и длинный формат). Испытуемыми в кафе всегда служат участники. Условиями служат либо чек_до и чек_после, сведённые в один столбец, либо ответ рекомендует и правило владельца оценка ≥ 8, либо шесть пунктов анкеты, если считать их шестью экспертами, оценивающими удовлетворённость одного участника. Клиницист: пациент → испытуемый, два томографа → условия, измеренный объём → оценка; учитель: сочинение → испытуемый, два проверяющих → условия, отметка → оценка; исследователь, кодирующий расшифровки интервью: фрагмент → испытуемый, два кодировщика → условия, категория → оценка.

Надёжность тест-ретест — согласие во времени: те же испытуемые измерены повторно в тех же условиях, так что любое расхождение объясняется ошибкой измерения (округлением на кассе, обычными колебаниями от недели к неделе), а не изменением самой измеряемой величины. Ближе всего к такому плану в кафе пара чеков до и после, но и она подходит не вполне. Между двумя периодами сменилось меню, поэтому в чеке после есть не только шум, но и реальное изменение. Любой коэффициент ниже, если считать эту пару повторным замером, засчитает это изменение как несогласие. На этой странице пара всё же используется: арифметика та же, а оговорка поучительна. Самый частый изъян исследований тест-ретест как раз в том, что между замерами что-то успело произойти.

Межэкспертная надёжность — согласие между экспертами: одних и тех же испытуемых в одно время оценивают два эксперта или больше, так что любое расхождение объясняется самими экспертами (тем, как они понимают критерии и где проводят границу между 3 и 4). Экспертов в кафе нет, и их заменяют двумя способами. Ответ рекомендует и правило владельца — два классификатора одного участника, а шесть пунктов анкеты — шесть оценок его удовлетворённости, каждая со своей шкалой, как у отдельного эксперта. Если экспертов в исследовании несколько, но у разных испытуемых они разные (оценивает та медсестра, что на смене), план всё равно межэкспертный, и для него предназначена однофакторная модель, описанная ниже.

Согласованность — согласие в порядке: два условия согласованы, если ранжируют испытуемых одинаково, какие бы оценки они ни ставили. Эксперт, который каждому сочинению ставит на два балла больше, чем коллега, полностью с ним согласован: лучшее сочинение остаётся лучшим для обоих. Так же согласованы касса, завышающая каждый чек на единицу, и касса, которая считает точно. После смены меню чек в среднем выше на 1.09 единицы, а согласованность двух периодов по двухфакторной смешанной ICC равна 0.70. Корреляция — тоже мера согласованности.

Абсолютное согласие — согласие в значениях: два условия согласуются в абсолютном смысле, если ставят одному испытуемому одну и ту же оценку, так что постоянный сдвиг между ними считается несогласием. Именно этот смысл важен, когда условия должны быть взаимозаменяемы: показание любого из двух томографов идёт в одну историю болезни, отметка любого из проверяющих становится итоговой. В этом смысле чеки до и после согласуются слабее: 0.67 по двухфакторной случайной ICC, потому что сдвиг на 1.09 засчитывается как несогласие. Разница между 0.70 и 0.67 отражает, насколько велик сдвиг по сравнению с различиями между участниками. Здесь он мал: стандартное отклонение чеков участников около 3.6. Выбор между согласованностью и абсолютным согласием зависит от того, как будут использоваться оценки, и делается до выбора коэффициента.

Корреляция — не согласие. Корреляция показывает, меняются ли два измерения вместе, а согласие — дают ли они одно и то же значение. Первое бывает идеальным и там, где второго нет. Прибавим 5 к чеку после смены меню у каждого участника, как если бы касса завышала показания на пять единиц. Корреляция двух периодов останется ровно 0.69, ICC согласованности — ровно 0.70, а ICC абсолютного согласия упадёт с 0.67 до 0.29, однофакторная ICC — до 0.01. Участники упорядочены так же, как раньше, но у каждого показания двух периодов разошлись ещё на пять единиц. Коэффициент корреляции такого сдвига в принципе не замечает, потому что прямая подгоняется со свободным наклоном и свободным членом, а ICC, каппа и метод Блэнда — Альтмана его замечают. Модуль приводит r Пирсона и ρ Спирмена между двумя условиями только как проверку согласованности: для чека они равны 0.69 и 0.68 и оцениваются по шкале силы корреляции, а не по шкалам согласия. Если вопрос исследования в том, могут ли два метода заменять друг друга, смотрят на ICC и границы согласия.

Внутриклассовая корреляция #

Внутриклассовая корреляция — доля дисперсии оценок, которая приходится на различия между испытуемыми, а не на различия между условиями или шум. Это та же идея надёжности (дисперсия истинных значений, делённая на общую), только вычисленная по повторным измерениям, а не по пунктам шкалы. Разложим дисперсию 399 значений чека на три части: 9.41 приходится на различия между участниками, 0.55 — на различие двух периодов (эффект меню), а 4.10 — на остаток, то есть на колебания каждого участника между периодами. Всего 14.06. ICC равна 9.41 ⁄ 14.06 = 0.67: две трети дисперсии чека определяются тем, какому участнику он принадлежит, а треть — периодом и шумом. Приложение оценивает ICC по шкале Ку и Ли: ниже 0.50 плохая, от 0.50 до 0.75 умеренная, от 0.75 до 0.90 хорошая, выше 0.90 отличная. Значение 0.67 попадает в уровень «умеренная», а его интервал [0.55, 0.76] заходит в оба соседних уровня. Какие дисперсии войдут в знаменатель, зависит от модели и формы, описанных ниже. В литературе этот выбор записывают как ICC(модель, форма), и вычисленная выше ICC(2,1) — двухфакторная случайная модель для единичного измерения. ICC — надёжность и в смысле формулы поправки на ослабление, поэтому ICC тест-ретест можно подставить туда, где планировщик анализа запрашивает надёжность меры.

Однофакторная модель случайных эффектов считает условия каждого испытуемого случайными и обезличенными: каждое сочинение проверяли те двое, кто был свободен, каждого пациента обследовал тот, кто дежурил. Систематическую склонность отдельного условия здесь не отделить от шума, и она остаётся в ошибке. Поэтому модель даёт наименьшую ICC из трёх, для чека 0.66: эффект меню, который двухфакторные модели выносят в различие периодов, здесь засчитан как ошибка. Модель предназначена для планов, где набор условий у разных испытуемых разный. Если же он у всех один и тот же, она теряет часть информации.

Двухфакторная модель случайных эффектов считает условия одним и тем же набором для всех испытуемых (одни и те же два проверяющих оценили все сочинения, каждый участник измерен в обоих периодах) и вместе с тем выборкой из более широкой совокупности возможных экспертов или замеров. Выводы исследования тогда распространяются на подобных экспертов. Модель отделяет эффект условия от ошибки и засчитывает его как несогласие: для чека получается 0.67, коэффициент абсолютного согласия, который сдвиг на 1.09 немного снижает. Это обычный выбор для межэкспертного исследования, поскольку эксперты в нём — выборка из тех, кого могла бы нанять клиника. В приложении эта модель выбрана по умолчанию.

Двухфакторная модель смешанных эффектов — тот же план, но исследователя интересуют только эти условия: эти два эксперта, эти два периода, без всякого обобщения. Она оценивает только согласованность: эффект условия выделяется и затем не учитывается, так что постоянный сдвиг на коэффициент не влияет. Для чека она даёт 0.70, наибольшее из трёх значений, и именно этот коэффициент приводят, когда вопрос в том, одинаково ли два условия упорядочивают испытуемых. Фиксированный набор экспертов с устранёнными сдвигами — это в точности набор пунктов опросника. Поэтому на пунктах шкалы эта модель в форме усреднённых измерений воспроизводит альфу Кронбаха: три пункта о еде дают 0.71, а шесть пунктов после обратного кодирования пункта медленно — 0.70, ровно те же значения, что и альфа.

Единичные и усреднённые измерения — это форма ICC: описывает ли коэффициент одно измерение (отметку одного эксперта, чек одного периода) или среднее всех $k$ измерений. ICC усреднённых измерений всегда выше, и насколько выше, определяет формула Спирмена — Брауна для перехода от одного показания к среднему $k$ показаний. Для среднего двух периодов единичные значения чека 0.66, 0.67 и 0.70 превращаются в 0.80, 0.80 и 0.82. Единичные измерения приводят, когда на практике оценку будет давать один эксперт или один замер, а так бывает почти всегда. Усреднённые приводят, только если каждая будущая оценка будет средним по тому же числу экспертов. Параметры ICC в руководстве — это как раз эти два выбора, модель и форма.

Согласие по категориям #

Случайное согласие — то, как часто два эксперта ставили бы одну и ту же категорию, если бы каждый угадывал с присущей ему частотой. С этим уровнем сравнивают простой процент совпадений. Правило владельца и ответы самих участников совпадают у 143 из 193 участников, поставивших общую оценку, то есть в 74% случаев, и это выглядит солидно. Но рекомендовать кафе готовы 68% этих участников, а правило относит к рекомендующим 48%. Два эксперта, столь часто отвечающих «да», случайно совпали бы в 0.68 × 0.48 + 0.32 × 0.52 = 49% случаев. Две трети наблюдаемого согласия дало бы простое угадывание. А если один эксперт ставит какую-то категорию в 90% случаев, случайное согласие становится таким высоким, что 85% совпадений могут оказаться хуже подбрасывания монеты. Все коэффициенты этого раздела по-разному вычитают этот уровень.

Каппа Коэна — наблюдаемое согласие двух экспертов за вычетом случайного, нормированное так, что 1 означает полное согласие, а 0 — согласие не лучше случайного. Если $p_o$ — наблюдаемая доля совпадений, а $p_e$ — доля случайных,

Для правила и ответа рекомендует κ = (0.74 − 0.49) ⁄ (1 − 0.49) = 0.49: сверх случайного два классификатора достигают примерно половины возможного согласия. Приложение оценивает каппу по шкале Лэндиса и Коха: ниже 0 плохая, до 0.20 слабая, до 0.40 удовлетворительная, до 0.60 умеренная, до 0.80 существенная, выше 0.80 почти полная. Каппа 0.49 попадает в уровень «умеренная». На карточке она выводится как κ Коэна с бутстрэп-интервалом и p-значением для гипотезы о нулевой каппе. Отрицательная каппа означает согласие хуже случайного. Обычно так бывает, когда у одного из экспертов категории перепутаны местами. Каппа Коэна рассчитана на двух экспертов и неупорядоченные категории, а три коэффициента ниже её обобщают.

Взвешенная каппа — каппа для упорядоченных категорий, где расхождение на одну ступень должно стоить меньше, чем на четыре. Каждая пара оценок получает вес по квадрату расстояния между ними, так что 4 по пункту вкус при 5 по пункту свежесть засчитывается почти как согласие, а 1 при 5 — как полное несогласие. Если считать вкус и свежесть двумя экспертами, оценивающими еду одного участника, их оценки совпадают у 41.5% участников и расходятся не больше чем на балл у 81.5%. Невзвешенная каппа учитывает только точные совпадения (41.5%) и равна 0.23, а каппа с квадратичными весами, которая засчитывает и близкие промахи, — 0.51. Приложение применяет квадратичные веса всякий раз, когда переменная оценки имеет порядковый тип, и выводит такую каппу как Взвешенная κ Коэна. С этими весами каппа близка к ICC согласованности на тех же оценках, поэтому именно эту версию каппы сопоставляют с ICC.

Каппа Лайта — каппа для трёх и более экспертов по упорядоченным категориям: каппа Коэна с квадратичными весами, вычисленная для каждой пары экспертов и затем усреднённая. Если три пункта о еде считать тремя экспертами, попарные каппы равны 0.51 для вкус и свежесть, 0.46 для вкус и цена, 0.37 для свежесть и цена, а каппа Лайта — 0.45. Точного нулевого распределения у неё нет, поэтому приложение выводит её с бутстрэп-интервалом и без p-значения.

Каппа Флейсса — каппа для трёх и более экспертов по неупорядоченным категориям. Случайное согласие в ней вычисляется по тому, как часто каждая категория встречается в целом, а не у каждого эксперта отдельно, поэтому она подходит и для планов, где у разных испытуемых разные эксперты. Разделим оценки каждого пункта о еде на высокие (4 или 5) и остальные и будем считать три пункта тремя экспертами, решающими, понравилась ли участнику еда. Единодушны они у 53% участников, а каппа Флейсса равна 0.37 (по той же шкале это удовлетворительное согласие). Высокую оценку по пункту свежесть поставили 58% участников, по вкус — 53%, по цена — 46%. Обобщение приложение выбирает по типу переменной оценки: для порядковой — каппу Лайта, для категориальной — каппу Флейсса.

Альфа Криппендорфа (α) — коэффициент согласия с поправкой на случайность, построенный так, чтобы работать там, где каппа не справляется: при любом числе экспертов, при пропущенных оценках (испытуемый, которого оценила лишь часть экспертов, всё равно учитывается) и при любой шкале измерения, будь она номинальной, порядковой или интервальной. Шкалу учитывает функция расстояния, которая определяет, насколько далеки друг от друга две оценки. Альфа равна единице минус отношение наблюдаемого несогласия к ожидаемому, поэтому для двух экспертов и номинальных данных она почти совпадает с каппой: 0.47 для правила и ответа рекомендует при κ = 0.49. На интервальных данных альфа ведёт себя как ICC абсолютного согласия (0.65 для чека при ICC(2,1) = 0.67) и так же засчитывает систематические сдвиги. Шесть пунктов анкеты в роли экспертов без обратного кодирования пункта медленно дают всего 0.07, потому что средние у пунктов разные, а один из них направлен в обратную сторону. Шкала, предложенная самим Криппендорфом, строже двух других: ниже 0.667 неприемлемая, до 0.800 условно приемлемая, от 0.800 приемлемая. Приложение применяет её, так что альфа 0.47 оказывается неприемлемой, тогда как каппа 0.49 была умеренной. Столбец Интерпретация на карточке оценивает только один коэффициент строки: первый из ICC, каппы, W, α, r и ρ, который в ней есть. Поэтому в строке, где есть и κ, и α, заключение относится к каппе, а уровень альфы определяют по её собственной шкале. Интервал для альфы строится бутстрэпом, p-значения у неё нет.

Коэффициент конкордации Кендалла (W) — согласие трёх и более экспертов в порядке испытуемых, от 0 (ранжирования экспертов не связаны) до 1 (все эксперты ранжируют испытуемых одинаково). Это ранговый аналог ICC согласованности. Шесть пунктов в роли шести экспертов, оценивающих удовлетворённость участника, в исходном виде дают W = 0.26. Если сначала обратно закодировать пункт медленно, чтобы все шесть пунктов были направлены одинаково, W вырастает до 0.40, а три пункта о еде отдельно дают 0.63. Приложение оценивает W по шкале Шмидта (Schmidt, 1997), опубликованной именно для этого коэффициента: ниже 0.3 очень слабая, от 0.3 слабая, от 0.5 умеренная, от 0.7 сильная, от 0.9 необычно сильная. Три значения выше попадают в уровни «очень слабая», «слабая» и «умеренная». Они невелики, потому что шесть пятибалльных пунктов ранжируют двести участников с множеством связанных рангов, а эксперт, ранжирующий в обратном порядке, снижает W так же неизбежно, как альфу. Для двух условий W равен ровно (1 + ρ) ⁄ 2, то есть это просто пересчитанное ρ Спирмена, поэтому приложение приводит W только начиная с трёх условий. На странице о размерах эффекта тот же коэффициент описан с переставленными ролями: там участники выступают экспертами, согласующими порядок шести пунктов, и W сопровождает критерий Фридмана. Там он равен 0.02 по той же шкале. Данные те же, вопрос другой, и W отвечает на оба: всё зависит от того, что в таблице считать экспертами, а что испытуемыми.

Насколько может колебаться одна оценка? #

Стандартное отклонение повторных измерений — стандартное отклонение повторных измерений испытуемого вокруг его собственного среднего, объединённое по всем испытуемым. Оно показывает, насколько далеко отдельное показание обычно отстоит от того, что испытуемый дал бы в среднем по многим замерам, и выражено в единицах самой оценки. Это стандартная ошибка измерения, только оценённая по повторным измерениям, а не через коэффициент надёжности. Именно её модуль рассчитывает в метрике SEM и SDC — по остаточному среднему квадрату дисперсионного анализа, соответствующего выбранной модели ICC. Для чека она равна 2.16 в двухфакторной случайной модели и 2.02 в двухфакторной смешанной. Ошибка смешанной модели — колебания участника за вычетом сдвига на 1.09, а случайная модель возвращает сдвиг в ошибку, потому что в смысле абсолютного согласия он тоже означает расхождение двух показаний. При среднем чеке 8.66 до смены меню и 9.75 после погрешность отдельного значения составляет около двух единиц в каждую сторону. Здесь это число — лишь верхняя граница шума кассы, ведь в нём есть и настоящая реакция участников на новое меню. План тест-ретест, в котором между замерами ничего не менялось, дал бы чистую ошибку измерения.

Наименьшее обнаружимое изменение — наименьшая разность двух измерений одного испытуемого, которую уже трудно объяснить ошибкой измерения. Начиная с неё изменение у отдельного человека можно считать реальным. Разброс каждого из двух показаний равен стандартному отклонению повторных измерений, разброс их разности в $\sqrt{2}$ раз больше, и при доверительной вероятности 95%

Для чека это 5.98 единицы в двухфакторной случайной модели и 5.60 в смешанной. Про участника, чей средний чек между периодами сдвинулся на 3 единицы, нельзя утверждать, что его поведение изменилось, а про того, у кого на 7, можно. Именно по этому числу клиницист судит, стало ли пациенту лучше, а учитель — продвинулся ли ученик. Если SDC составляет большую долю диапазона шкалы (6 единиц при чеках от 1.5 до 20), мера годится для слежения за группами, но едва ли за отдельными людьми. В смешанной модели SDC в точности равно полуширине границ согласия, о которых речь ниже, то есть 5.60. Это одна и та же идея в двух терминологиях, а разница между 5.98 и 5.60 — это сдвиг: SDC абсолютного согласия включает его в себя, а метод Блэнда — Альтмана приводит отдельно, как смещение. В литературе эту величину называют также минимальным обнаружимым изменением (MDC), а для группового среднего — наименьшей реальной разностью.

Блэнд — Альтман: насколько расходятся два измерения? #

График Блэнда — Альтмана изображает каждого испытуемого точкой: по горизонтали откладывается среднее двух его измерений, по вертикали — их разность. На таком графике видны три вещи, которые коэффициент скрывает: лежат ли разности вокруг нуля или смещены, насколько широко они разбросаны и меняется ли разброс с величиной измеряемого. Для чека на графике 199 точек, так как у одного участника чек после смены меню был заказом кейтеринга и оставлен пустым. Точки лежат вокруг −1.09 (разность берётся как до минус после, в том порядке, в котором условия встречаются в данных). У участников с чеком 5 разброс примерно такой же, как у участников с чеком 15. Картину подытоживают три горизонтальные линии: смещение и две границы согласия. Четвёртая линия, наклон, проверяет, не расходятся ли точки воронкой. Блэнд и Альтман предложили такой график для сравнения двух методов измерения одной величины, например нового тонометра со старым, когда нужно решить, может ли новый прибор заменить старый. Отсюда и терминология графика. В кафе такой пары нет, поэтому здесь график сравнивает два периода, и его смещение — реальное изменение, а не ошибка метода.

Систематическое различие — среднее разностей, то есть то, насколько одно условие в среднем показывает больше другого. На карточке Блэнда — Альтмана оно называется Смещение. Для чека это −1.09 единицы (до минус после): после смены меню участники стали тратить за визит на 1.09 больше, а доверительный интервал [−1.49, −0.69] не включает ноль. В исследовании сравнения методов смещение — ошибка калибровки нового прибора, и если его интервал не включает ноль, один метод систематически завышает показания. Здесь же это эффект меню, та самая величина, которую проверяет парное сравнение. Критерия для неё карточка намеренно не предлагает: важны ли 1.09 единицы, зависит от того, что значат эти деньги, а не от p-значения. Это тот же сдвиг, который ICC абсолютного согласия засчитала как несогласие, а ICC согласованности не учла.

Границы согласия — две линии, между которыми лежит большинство индивидуальных разностей: смещение плюс-минус 1.96 стандартного отклонения разностей. При уровне 95%, заданном по умолчанию, разность внутри них оказывается примерно у 95 испытуемых из 100. Стандартное отклонение разностей чека равно 2.86, так что границы равны −1.09 ± 1.96 × 2.86, то есть −6.69 и +4.51. Иначе говоря, чек участника после смены меню обычно лежит в пределах от 6.7 единицы выше прежнего до 4.5 единицы ниже, и внутрь попадают 190 участников из 199 (95.5%). Это ответ на вопрос о сравнении методов в единицах самого измерения: если границы для двух термометров равны ±0.3 градуса, допустимы ли 0.3 градуса, решает клиницист, и никакой коэффициент не решит этого за него. Рядом с каждой границей карточка выводит доверительный интервал, и он отвечает на другой вопрос: насколько точно сама граница оценена по этой выборке. Нижняя граница здесь равна −6.69 с интервалом [−7.37, −6.00]. Широкий промежуток между границами означает, что условия плохо согласуются, и увеличение выборки его не сузит. Широкий интервал у границы означает, что выборка мала, и дополнительные испытуемые его сузят. В отчёте приводят и то и другое, а читатель, путающий их, принимает точность выборки за согласие методов. Границы согласия опираются на два допущения: разности распределены приблизительно нормально, а разброс одинаков по всему диапазону. Оба проверяют по графику.

Пропорциональное смещение — расхождение, которое растёт вместе с величиной измеряемого. Так ведут себя, например, двое весов, которые сходятся на лёгких посылках и расходятся на тяжёлых: одна пара границ для них слишком широка на одном краю графика и слишком узка на другом. Карточка проверяет такое смещение регрессией разности каждого испытуемого на среднее его пары и выводит Наклон с интервалом. Для чека наклон равен −0.04 [−0.16, 0.08], и интервал включает ноль. Значит, эффект меню примерно одинаков у тех, кто тратит много, и у тех, кто тратит мало, а горизонтальные границы подходят для всех. Интервал, не включающий ноль, указывает на воронку. Тогда анализируют логарифмы: смещение и границы превращаются в отношения (одно условие показывает на 4% больше). Именно это делает параметр модуля Анализировать в логарифмической шкале.

Чувствительность и смещение #

Обнаружение сигнала рассматривает два бинарных условия как истинное состояние и ответ наблюдателя и сводит их в таблицу 2 × 2. Попадание — ответ «да» там, где истинно «да», пропуск — ответ «нет» там же, ложная тревога — «да» там, где истинно «нет», правильное отвержение — «нет» там же. Примем ответы участников в столбце рекомендует за истину, а правило владельца оценка ≥ 8 — за наблюдателя, который пытается их предсказать. Из 131 участника, готового рекомендовать кафе, правило находит 87 и пропускает 44, а из 62 не готовых ошибочно отмечает 6 и правильно не отмечает 56. Главная мысль подхода в том, что наблюдатель может плохо совпадать с истиной по двум совсем разным причинам: либо он не различает случаи, либо различает, но ставит порог слишком высоко или слишком низко. Единый коэффициент согласия смешивает эти причины: каппа для этой таблицы равна 0.49, но какая из причин действует, не показывает. Какое условие считать истиной, указывают в модуле, и от этого выбора зависят все числа ниже. А какое из двух значений переменной считать сигналом, модуль решает сам: он берёт большее (из 1 и 0 — единицу, из двух текстовых значений — последнее по алфавиту: у столбца рекомендует это «рекомендует», а не «не рекомендует») и называет его на карточке.

Доля попаданий и доля ложных тревог — два числа, из которых строятся все индексы. Доля попаданий — число попаданий, делённое на число всех истинных «да», 87 ⁄ 131 = 0.66. Доля ложных тревог — число ложных тревог, делённое на число всех истинных «нет», 6 ⁄ 62 = 0.10. Чувствительность классификатора — та же доля попаданий под другим названием, а его специфичность равна единице минус доля ложных тревог. Правило владельца в точности совпадает с разбиением, которое модель со страницы о регрессии получает на своём пороге, поэтому и чувствительность со специфичностью у них те же: 0.66 и 0.90. У хорошего наблюдателя доля попаданий высокая, а доля ложных тревог низкая. Беда в том, что чем чаще наблюдатель отвечает «да», тем выше обе доли, так что ни одна из них в отдельности не измеряет умение различать. Индексы ниже сводят их в два числа: одно описывает способность различать, другое — положение порога.

d-штрих (d′) — индекс чувствительности: расстояние между случаями «да» и случаями «нет» на шкале свидетельств, которыми располагает наблюдатель, в единицах стандартного отклонения. Он равен разности z-оценок доли попаданий и доли ложных тревог. Ноль соответствует наблюдателю, который вовсе не различает случаи (доля попаданий у него равна доле ложных тревог), а каждая единица — одному стандартному отклонению разделения. Для правила владельца d′ = 1.68: участники, готовые рекомендовать кафе, и остальные отстоят друг от друга примерно на одно и две трети стандартного отклонения на шкале общей оценки, по которой работает правило. Это неплохое различение. У доли, равной ровно 0 или 1, конечной z-оценки нет, и для этого в модуле есть поправка Крайние доли. По умолчанию она прибавляет к каждой ячейке по половине случая до вычисления долей, так что 87 ⁄ 131 входит в расчёт как 87.5 ⁄ 132. A′ на карточке — непараметрический аналог d′ на шкале от 0.5 (случайное угадывание) до 1, определённый и при крайних долях. Здесь он равен 0.87.

Смещение ответа — положение порога наблюдателя, то есть то, сколько свидетельств ему нужно, чтобы сказать «да», в отличие от того, насколько хорошо он различает случаи. Индекс c — расстояние от порога до нейтральной точки посередине между двумя распределениями, в тех же единицах стандартного отклонения, что и d′. Ноль означает наблюдателя без перекоса, значение выше нуля — консервативного, скупого на «да», ниже нуля — либерального, говорящего «да» слишком охотно. Для правила владельца c = 0.42: оно относит к рекомендующим 48% участников, тогда как сами себя к ним относят 68%. Правило консервативно: оно пропускает 44 участника, готовых рекомендовать кафе, чтобы не отметить ошибочно 6 не готовых. β выражает то же в шкале отношений (2.03 при нейтральном значении 1), а B″ — в шкале от −1 до 1 (0.44 при нейтральном 0). Чувствительность и смещение важно различать, потому что исправляют их по-разному. Низкий d′ означает, что правило опирается не на те свидетельства и никакой порог этого не исправит, а большое c — что свидетельства годятся, но порог стоит не там. Если снизить планку владельца до 7, правило скажет «да» 69% участников, почти как сами участники (68%). Смещение станет либеральным, c = −0.33, доля попаданий вырастет до 0.84, доля ложных тревог — до 0.37, а d′ снизится до 1.31. d′ меняется потому, что оценка от 0 до 10 — не вполне пара одинаковых нормальных распределений, при которых d′ не зависел бы от порога. Индекс чувствительности и индекс смещения приводят вместе, потому что каждый в отдельности описывает наблюдателя лишь наполовину.

Как сообщать о согласии #

В отчёте об исследовании согласия сначала описывают план: какие условия, сколько испытуемых, у всех ли испытуемых были одни и те же условия. Затем приводят коэффициент с моделью, формой и доверительным интервалом, а для непрерывного измерения ещё и SEM или границы согласия в единицах измерения, потому что по одному коэффициенту не видно, существенно ли несогласие: «Средний чек за визит в два восьминедельных периода согласуется на уровне ICC(2,1) = 0.67, 95% ДИ [0.55, 0.76] (двухфакторная случайная модель, единичные измерения, n = 200 участников). Средняя разность (до − после) составила −1.09 единицы, 95% ДИ [−1.49, −0.69], границы согласия — от −6.69 до 4.51». Для категорий указывают вариант каппы и маргинальные доли, по которым вычислено случайное согласие. Для обнаружения сигнала — какое условие принято за истину, а также индекс чувствительности вместе с индексом смещения. Полный перечень — в контрольном списке руководства.

Где это встречается в DataSuite #

• Воспроизводимость и согласие — все коэффициенты этой страницы: ICC с моделью и формой, семейство каппы и α Криппендорфа, выбираемые по типу переменной оценки, W Кендалла начиная с трёх условий, SEM и SDC в выбранной модели ICC, график и таблица Блэнда — Альтмана с логарифмической шкалой и повторными измерениями, а также таблица исходов и индексы обнаружения сигнала.
• Анализ надёжности — вопрос о надёжности при одном замере, то есть внутренняя согласованность. Понятия этого модуля разобраны на странице надёжности шкалы, а стандартная ошибка измерения там — та же величина, что и стандартное отклонение повторных измерений здесь, только оценённая через коэффициент, а не по повторным замерам.
• Сравнительный анализ — парные планы, где проверяют систематическое различие (метод Блэнда — Альтмана приводит его без проверки), а также W Кендалла как размер эффекта для критерия Фридмана, где роли переставлены.
• Регрессионный анализ — чувствительность и специфичность классификатора, то есть те же доли попаданий и ложных тревог под другими названиями, и ROC-анализ, перебирающий все пороги.
• Преобразование данных — конвертер таблиц, который сводит два столбца в длинный формат, нужный этому модулю.
• Планировщик анализа — калькулятор поправки на ослабление, который принимает ICC тест-ретест наравне с альфой.