Надёжность шкалы #

В анкете кафе шесть вопросов об удовлетворённости, и три из них предполагается сложить в балл шкалы «Еда», а три других — в балл шкалы «Обслуживание». Можно ли так делать, то есть достаточно ли согласованно три ответа измеряют одно и то же, чтобы их сумма имела смысл, и сколько шума в этой сумме остаётся, — это вопрос надёжности. Ниже разобрано, что такое надёжность, как её оценивает альфа Кронбаха и какие допущения при этом делаются, какие коэффициенты обходятся без этих допущений, как анализировать пункты по одному, почему обратно сформулированный пункт нужно сначала перевернуть, сколько пунктов нужно шкале и насколько точен балл отдельного человека. Числа получены в модуле анализа надёжности на данных кафе после трёх исправлений, которые описаны на странице о данных. Пункт медленно — обратный, и на этой странице его переворачивают не в данных, а отметкой в списке Обратные пункты модуля, так что файл остаётся таким, каким его описывает кодовая книга.

Что такое надёжность #

Надёжность — доля разброса баллов, которая отражает настоящие различия между людьми, а не шум. Это число от 0 до 1: при 1 каждый балл разницы между суммами по Еде у двух участников означал бы разницу в том, насколько им нравится еда, а при 0 суммы были бы ничем не лучше случайных. Надёжность шкалы Еда равна 0.71: примерно семь десятых дисперсии сумм составляет удовлетворённость едой, а три десятых — ошибка измерения. Надёжность — свойство баллов в конкретной выборке, а не опросника: те же шесть вопросов, заданные другим посетителям или на другом языке, дадут другое число. Поэтому её вычисляют и указывают для каждого набора данных, на котором применяется шкала. В терминах приложения шкала — это набор пунктов, отмеченных на левой панели, а балл — их сумма. Психолог: десять пунктов о тревоге → пункты, общий балл тревожности → балл; учитель: задания экзамена → пункты, отметка → балл; менеджер: вопросы опроса о вовлечённости → пункты, вовлечённость → балл.

Ошибка измерения — та часть ответа, которая оказалась бы другой, если бы тот же человек в том же состоянии ответил ещё раз: настроение в день опроса, двояко понятое слово, описка, пятёрка вместо задуманной четвёрки. Ни один вопрос от неё не свободен, и именно поэтому в шкале несколько пунктов: независимые ошибки при сложении ответов отчасти гасят друг друга, и сумма получается устойчивее любого отдельного ответа. Все методы этой страницы — разные способы оценить, сколько ошибки в сумме осталось.

Истинный балл — средний балл, который человек получил бы по бесконечному числу равноценных опросников: при таком усреднении ошибки измерения полностью гасят друг друга. Наблюдать его нельзя. Наблюдаемый балл равен истинному плюс ошибка данного измерения, а надёжность — это отношение дисперсии истинных баллов к дисперсии наблюдаемых. Все коэффициенты ниже оценивают её по тому единственному, что можно наблюдать: насколько согласуются между собой пункты. Эти понятия относятся к классической теории тестов, а теория ответов на задания подходит к тому же вопросу иначе.

Шкала — набор пунктов, ответы на которые объединяют (складывают или усредняют) в один балл, представляющий конструкт. Шкала Еда состоит из пунктов вкус, свежесть и цена: их сумма лежит в пределах от 3 до 15, а среднее — от 1 до 5. В модуле надёжности слово везде употребляется именно в этом смысле: матрица Шкалы распределяет пункты по шкалам, а на карточке с несколькими шкалами каждый блок озаглавлен Шкала: Еда. Тем же словом называют и набор ответов, допустимых для пункта («шкала от 1 до 5»), но для этого значения в модуле есть отдельный термин — шкала ответов.

Внутренняя согласованность — вид надёжности, который можно оценить по одному проведению опроса: насколько согласованно ведут себя пункты. Если три пункта о еде измеряют одну и ту же удовлетворённость, участник, поставивший за вкус 5, скорее всего, высоко оценит также свежесть и цена. Свидетельство тому — корреляции между пунктами. Это один из трёх способов проверить, воспроизводимо ли измерение. Два других выясняют, получают ли те же люди сходные баллы при повторном измерении (тест–ретест) или при оценке другим экспертом (межэкспертная надёжность). Оба требуют второго измерения, которого в опросе кафе нет, и разобраны на странице о согласии. Все коэффициенты этой страницы — коэффициенты внутренней согласованности.

Альфа Кронбаха #

Альфа Кронбаха — самый распространённый в публикациях коэффициент надёжности. Она сравнивает дисперсию суммарного балла с суммой дисперсий входящих в него пунктов. Если пункты измеряют одно и то же, участник с высоким баллом по одному пункту получает высокие баллы и по остальным, отклонения складываются в одну сторону, и сумма разбросана сильнее, чем при независимых пунктах. Альфа и есть этот избыток, приведённый к шкале от 0 до 1. Если $k$ — число пунктов, $s_i^2$ — дисперсия пункта, а $s_X^2$ — дисперсия суммы, то

Дисперсии трёх пунктов о еде равны 1.42, 1.32 и 1.46 (вместе 4.20), дисперсия суммарного балла — 7.98, так что α = 1.5 × (1 − 4.20 ⁄ 7.98) = 0.71. Приложение выводит альфу с точным доверительным интервалом: 0.71 [0.63, 0.77] для Еды и 0.67 [0.58, 0.74] для Обслуживания. В столбце Интерпретация значение сопоставляется с градациями: ниже 0.5 надёжность неприемлемая, от 0.5 до 0.6 плохая, от 0.6 до 0.7 сомнительная, от 0.7 до 0.8 приемлемая (такого уровня обычно требуют от шкалы, по которой сравнивают группы), от 0.8 до 0.9 хорошая, от 0.9 отличная, а выше 0.95 появляется предупреждение, что пункты могут почти дублировать друг друга. Еда едва переходит порог 0.70, Обслуживание немного до него не дотягивает, и для шкал из трёх пунктов в этом нет ничего необычного (см. формулу Спирмена — Брауна). Альфа предполагает тау-эквивалентность. Когда это допущение нарушено, альфа занижает истинную надёжность, поэтому приложение выводит рядом омегу Мак-Дональда.

Стандартизованная альфа — альфа, вычисленная по корреляционной матрице вместо ковариационной, как если бы каждый пункт предварительно привели к стандартному отклонению 1. Через среднюю межпунктовую корреляцию $\bar{r}$ она выражается так:

Для Еды она равна 0.712 при нестандартизованной альфе 0.711: на все три пункта отвечают по шкале от 1 до 5, стандартные отклонения у них от 1.15 до 1.21, и стандартизация ничего не меняет. Две альфы расходятся, когда пункты измерены в разных шкалах. Ползунок от 0 до 100, сложенный с пунктами от 1 до 5, заглушает их и в нестандартизованной сумме, и в нестандартизованной альфе, а стандартизованная альфа описывает шкалу, которая получилась бы, если бы перед сложением стандартизовали каждый пункт. Указывать следует ту альфу, которая соответствует тому, как балл подсчитывают на деле. Когда выбрана альфа, приложение выводит обе.

Тау-эквивалентность — допущение, что все пункты измеряют конструкт с одинаковым весом, то есть с одной и той же факторной нагрузкой, и различаются только ошибкой. Именно при этом условии альфа точно оценивает надёжность, а не только ограничивает её снизу. Выполняется оно редко: стандартизованные нагрузки пунктов о еде в конфирматорной модели лежат от 0.57 до 0.77, и вкус отражает конструкт сильнее, чем цена. При неравных нагрузках альфа оказывается ниже истинной надёжности, и разница тем больше, чем сильнее разброс нагрузок. Здесь она невелика (альфа 0.711 против омеги 0.718), но на шкале, где один сильный пункт соседствует со слабыми, может достигать нескольких сотых. Шкалу с неравными нагрузками пунктов называют конгенерической, и коэффициенты следующего раздела рассчитаны именно на неё.

Межпунктовая корреляция — корреляция между двумя пунктами шкалы. Из таких корреляций построен каждый коэффициент на этой странице. У Еды их три: 0.51 (вкус и свежесть), 0.46 (вкус и цена) и 0.38 (свежесть и цена), в среднем 0.45. У Обслуживания после переворота медленно они равны 0.43, 0.42 и 0.36, в среднем 0.40. Для пунктов, которые измеряют один широкий конструкт и не повторяют друг друга, обычны значения примерно от 0.15 до 0.50. Выше 0.80 два пункта по сути дублируют друг друга. Корреляция около нуля или отрицательная означает, что один из пунктов измеряет что-то другое или это обратный пункт, который забыли перевернуть. Таблица Статистика шкалы на карточке приводит среднее и диапазон, а параметр Матрица межпунктовых корреляций выводит все корреляции. Для шести пунктов кафе вместе диапазон составляет от 0.06 до 0.51, и по матрице видно почему: внутри каждой тройки корреляции от 0.36 до 0.51, а между тройками от 0.06 до 0.28, то есть пункты образуют два блока, а не один.

Формула Спирмена — Брауна показывает, какой была бы надёжность шкалы с другим числом пунктов, если бы новые пункты были не хуже старых:

Это та же формула стандартизованной альфы, только как функция от $k$. При средней межпунктовой корреляции Еды 0.45 три пункта дают 0.71, пять — 0.80, шесть — 0.83, десять — 0.89. Надёжность растёт с длиной шкалы, но всё медленнее, потому что каждый новый пункт гасит ещё немного ошибки. Правило работает в обе стороны: шкала из трёх пунктов с надёжностью 0.71 для своей длины вполне хороша, а шкала из двадцати пунктов с той же 0.71 собрана из слабых пунктов. Раздел Надёжность по числу пунктов в модуле планирования анализа считает в обоих направлениях: чтобы достичь 0.80, Еде понадобилось бы около пяти пунктов того же качества. Изначально формула служила для пересчёта надёжности половины теста на весь тест, и отсюда происходят методы расщепления, описанные ниже.

Коэффициенты на основе факторной модели #

Омега Мак-Дональда оценивает надёжность не по дисперсиям пунктов, а по факторной модели. К пунктам подгоняют модель с одним фактором, берут нагрузку каждого пункта ${\lambda }_i$ и вычисляют

В числителе дисперсия, которую общий фактор вносит в сумму, в знаменателе — дисперсия самой суммы. Нагрузки здесь могут различаться, поэтому омеге не нужна тау-эквивалентность, и если омега расходится с альфой, доверять стоит омеге. На шкалах кафе расхождение почти незаметно: ω = 0.72 для Еды и 0.67 для Обслуживания при альфах 0.71 и 0.67. В терминах КФА та же величина называется составной надёжностью. Интервал для омеги строится бутстрэпом и потому немного меняется от запуска к запуску, если не задано зерно бутстрэпа. Одна оговорка: омега описывает сумму, а не отдельный конструкт. Если объединить все шесть пунктов кафе в одну шкалу, ω вырастет до 0.77, а α останется на уровне 0.70. Факторная модель нашла два фактора и отнесла к надёжной части суммы оба. Как мера согласованности шести ответов такая омега верна, но измеряет ли их сумма что-то одно, она не показывает. На этот вопрос отвечает омега иерархическая.

Омега иерархическая (ω_h) — доля дисперсии суммарного балла, которую объясняет один общий фактор, проходящий через все пункты. Её получают из бифакторной модели, где каждый пункт имеет нагрузку на общий фактор и на один из групповых. Для шести пунктов кафе ω_h = 0.44 при общей ω 0.77: меньше половины дисперсии суммы шести пунктов приходится на «удовлетворённость кафе» как таковую, остальное — на удовлетворённость собственно едой и обслуживанием, а также на ошибку. У шкалы, измеряющей что-то одно, ω_h близка к ω. Большой разрыв выдаёт многомерную сумму и служит доводом за то, чтобы считать баллы по субшкалам отдельно. Бифакторную модель приложение подгоняет при шести пунктах и более, по одному групповому фактору на каждые три пункта, но не больше трёх, поэтому для более коротких шкал выводится только общая ω. Оценки достаточности на карточке у неё нет: она измеряет насыщенность общим фактором, а не надёжность. Преобразование Шмида — Леймана тех же шести пунктов в модуле факторного анализа (два фактора, облимин) даёт те же 0.44 и 0.77, то есть оба способа получить иерархическую структуру дают одно и то же. Рядом с ними карточка этого преобразования выводит три коэффициента, описанных ниже.

Омега иерархическая асимптотическая (ω_h ⁄ ω_t) — омега иерархическая, делённая на общую омегу. Это доля общего фактора в надёжной дисперсии суммарного балла, тогда как ω_h — его доля во всей дисперсии, включая ошибку. Величины отвечают на разные вопросы: ω_h показывает, какая часть суммы приходится на g, а ω_h ⁄ ω_t — какая часть того, что сумма измеряет надёжно. Для суммарного балла важнее отношение, потому что ошибка не относится ни к одной субшкале. Для шести пунктов кафе оно равно 0.44 ⁄ 0.77 = 0.58: чуть больше половины надёжной дисперсии суммы шести пунктов приходится на удовлетворённость кафе как таковую, остальное — на еду и обслуживание в отдельности. Родригес, Райз и Хэвиленд (Rodriguez, Reise & Haviland, 2016) приводят для этого отношения один порог, 0.80: выше него суммарный балл можно считать по существу одномерным. Приложение сравнивает отношение только с этим порогом и выводит Надёжная дисперсия преимущественно общая или Надёжная дисперсия во многом специфична для групповых факторов. Название связано с тем, что к этому значению стремится ω_h, если удлинять шкалу пунктами той же структуры, пока ошибка не усреднится. Карточка Шмида — Леймана в модуле факторного анализа выводит отношение как Омега иерархическая асимптотическая (ωh/ωt).

Омега субшкалы (ω_s) — надёжность субшкалы как самостоятельного балла: доля дисперсии суммы этой субшкалы, которая приходится на все факторы вместе, включая общий. Именно её указывают, когда балл Еды подсчитывают и используют отдельно. В преобразованном решении кафе ω_s равна 0.72 для тройки пунктов о еде и 0.67 для тройки об обслуживании. Это те же числа, которые модуль надёжности выводит как ω Мак-Дональда, если запустить каждую тройку как отдельную шкалу: ω_s и есть эта величина. Её оценивают по тем же градациям надёжности, что и остальные коэффициенты, потому что это надёжность балла. Модуль факторного анализа выводит по одной ω_s на каждый групповой фактор — Омега субшкалы F1 (ωs), Омега субшкалы F2 (ωs) и так далее — рядом с ω_hs, вместе с которой её и рассматривают.

Омега иерархическая субшкалы (ω_hs) — ω_s субшкалы за вычетом общего фактора, то есть доля дисперсии суммы субшкалы, которая приходится только на её групповой фактор. Иначе говоря, это то, что субшкала измеряет сверх уже содержащегося в суммарном балле. У тройки о еде она равна 0.42, у тройки об обслуживании 0.39 при ω_s 0.72 и 0.67. Эти величины рассматривают парой: разность ω_s − ω_hs (здесь 0.30 и 0.28) — доля общего фактора в каждой субшкале. Значит, каждая субшкала кафе даёт надёжный балл, и чуть больше половины его надёжной дисперсии принадлежит только этой субшкале. Субшкала с ω_s = 0.85 и ω_hs = 0.15 как балл вполне надёжна, но почти целиком отражает общий фактор, и отдельный подсчёт ничего не добавляет к суммарному баллу. Считать субшкалу самостоятельным конструктом позволяет именно большая ω_hs. Оценку надёжности получает только ω_s: обычные пороги рассчитаны на балл, а в применении к остаточной величине они признали бы вполне добротную субшкалу негодной, хотя её низкое значение отражает лишь широкий охват общего фактора. Модуль факторного анализа выводит её как Омега иерархическая субшкалы F1 (ωhs) и так далее, рядом с каждой ω_s.

Коэффициент H — надёжность, которой обладал бы конструкт, если бы пункты не просто складывали, а объединяли с оптимальными весами, взвешивая каждый пункт по тому, насколько хорошо он измеряет фактор:

Коэффициент H никогда не бывает ниже омеги, и разрыв между ними показывает, что дал бы взвешенный балл. У Еды H равен 0.74 при ω 0.72, у Обслуживания 0.68 при 0.67: взвешивание прибавило бы на этих шкалах две сотых, так что простая сумма почти ничего не теряет. Большой разрыв означает, что основную часть конструкта несут один-два пункта, а какие именно, видно по нагрузкам. Модуль факторного анализа выводит H и для иерархии Шмида — Леймана: один для общего фактора и по одному для каждого группового. На шести пунктах кафе это 0.58 для g и 0.53 и 0.50 для групповых факторов еды и обслуживания. Все три значения ниже порога 0.70, с которого конструкт считается достаточно чётко определённым, и ничего другого от шести пунктов, поделённых между тремя факторами, ждать не приходится.

Ещё два коэффициента на той же карточке относятся не к надёжности, а к валидности. Составная надёжность — это омега под названием, принятым в КФА, а средняя извлечённая дисперсия показывает, какую долю дисперсии каждого пункта объясняет фактор. Это уже другой вопрос со своим порогом.

Нижние границы и расщепление #

Надёжность методом расщепления — самая старая оценка надёжности. Пункты делят на две половины, для каждой подсчитывают балл, находят корреляцию двух половинных баллов и пересчитывают её на всю шкалу. Разные разбиения дают разные значения, поэтому приложение усредняет коэффициент Рулона — Фланагана (1 − дисперсия разности половин ⁄ дисперсия суммы) не более чем по десяти тысячам случайных разбиений и выводит Среднее по разбиениям пополам. При трёх пунктах любое разбиение — это один пункт против двух, и среднее равно 0.63 для Еды и 0.60 для Обслуживания. Это ниже альфы, потому что половины неравны. При чётном числе пунктов среднее по всем разбиениям в точности совпадает со стандартизованной альфой: для шести пунктов кафе оба способа дают 0.705. Лучшее и худшее из отдельных разбиений — это λ4 Гуттмана и β Ревелла.

Лямбды Гуттмана — шесть нижних границ надёжности, которые Гуттман вывел в 1945 году. В рамках классической теории тестов ни одна из них заведомо не превышает истинную надёжность. Альфа — третья из них (λ3), а приложение выводит λ2, λ4 и λ6: только они добавляют к альфе что-то новое. Нижнюю границу понимают иначе, чем оценку: она означает «надёжность не меньше этого значения», поэтому информативнее всего наибольшая из границ.

Лямбда Гуттмана 2 уточняет альфу: вместо суммы дисперсий пунктов в ней стоит член, полнее учитывающий ковариации пунктов, поэтому она никогда не бывает ниже альфы. Для Еды это 0.714 против 0.711, для шести пунктов вместе 0.717 против 0.703. Если две величины расходятся больше чем на одну-две сотых, пункты далеки от тау-эквивалентности, и омега тоже будет отличаться от альфы.

Лямбда Гуттмана 4 — наибольший коэффициент расщепления среди всех возможных разбиений пунктов на две половины, то есть лучший случай, а среднее по разбиениям даёт средний. У Еды она равна 0.68: это лучшее из трёх разбиений «один против двух». Для шести пунктов она равна 0.75: в лучшем разбиении пункты о еде и об обслуживании попадают в обе половины, так что у половин есть что-то общее. При большом числе пунктов λ4 завышается за счёт случайности (среди тысяч разбиений какое-нибудь окажется удачным), поэтому приложение выводит её без оценки.

Лямбда Гуттмана 6 оценивает надёжность по тому, насколько хорошо каждый пункт предсказывается всеми остальными, то есть по квадрату его множественной корреляции. Она выше у шкалы, где каждый пункт хорошо объясняется остальными: 0.63 для Еды и 0.70 для шести пунктов. На короткой шкале, где два пункта плохо предсказывают третий, λ6 ниже альфы, а на длинной — выше.

Бета Ревелла (β) — наименьший коэффициент расщепления среди всех разбиений, противоположность λ4: самый неудачный способ разделить шкалу надвое. Это нижняя граница доли дисперсии суммарного балла, которую объясняет один общий фактор: если пункты можно разбить на две почти не коррелирующие половины, то общего для всех пунктов ничего нет. У Еды β равна 0.59 при λ4 0.68, а у шести пунктов вместе 0.47 при 0.75. Такой большой разрыв подтверждает то, что было видно по матрице межпунктовых корреляций: худшее разбиение — Еда против Обслуживания, и шесть пунктов образуют две шкалы, а не одну. Оценки на карточке у неё нет.

Точная нижняя граница (GLB) — наибольшая надёжность, которую допускает какой-либо набор дисперсий ошибок пунктов, совместимый с наблюдаемой ковариационной матрицей. Это наибольшее значение, какого может достичь нижняя граница, и находят его итеративной подгонкой. Для Еды она равна 0.72, для шести пунктов 0.77, и в обоих случаях совпадает с омегой. Из всех границ она самая оптимистичная и, как λ4, завышается за счёт случайности в малой выборке с большим числом пунктов. Поэтому её рассматривают как ориентир сверху, а не как вердикт. Подгонка сходится не всегда, и если она не сошлась, карточка об этом сообщает.

Анализ пунктов #

Корреляция пункт–сумма — корреляция между ответами на один пункт и суммарным баллом шкалы, в которую он входит. Она показывает, насколько пункт согласуется со шкалой в целом. Пункт сам входит в сумму, с которой его коррелируют, поэтому значение завышено, и тем сильнее, чем меньше пунктов: у трёх пунктов Еды оно от 0.78 до 0.83. На карточке эта величина выводится как r пункт–сумма, но ориентироваться стоит на скорректированную версию, описанную ниже.

Скорректированная корреляция пункт–сумма — корреляция пункта с суммой остальных пунктов (корреляция пункт–остаток), так что пункт не может завысить её сам. Это классический показатель того, насколько хорошо пункт различает участников с высоким и низким уровнем конструкта, и столбец Интерпретация применяет к нему общепринятые градации: ниже 0.20 дискриминативность очень слабая, от 0.20 до 0.30 слабая, от 0.50 хорошая. Отрицательное значение означает, что пункт направлен против остальной шкалы, и почти всегда это неперевёрнутый обратный пункт. У Еды значения равны 0.59, 0.52 и 0.49, у Обслуживания 0.47, 0.52 и 0.46: каждый пункт вносит свой вклад, ни один не выделяется. На карточке эта величина выводится как Скорректированная r пункт–сумма (пункт–остаток).

Корреляция пункт–сумма с поправкой на ненадёжность — корреляция пункт–остаток, скорректированная на ненадёжность остальной части шкалы. Она оценивает, как коррелировал бы пункт с самим конструктом, измеренным без ошибки. По построению она выше корреляции пункт–остаток (у Еды 0.70, 0.62 и 0.57 против 0.59, 0.52 и 0.49), и градации дискриминативности к ней не применяют. Поправка делит на надёжность и потому теряет смысл, когда надёжность шкалы близка к нулю или отрицательна. На неперевёрнутых пунктах Обслуживания, о которых речь пойдёт ниже, модуль целиком убирает этот столбец и оставляет под таблицей примечание, пока обратный пункт не перевёрнут. На карточке величина выводится как r пункт–сумма с поправкой на перекрытие и надёжность.

Альфа при удалении пункта — коэффициент, пересчитанный без данного пункта. Для каждого выбранного коэффициента выводится свой столбец с заголовком α при удалении, ω при удалении и так далее. Если без пункта коэффициент растёт, пункт ухудшал шкалу, а если падает, улучшал. На пунктах Обслуживания с неперевёрнутым медленно альфа равна −0.52, а после удаления медленно поднимается до 0.60, что типично для обратного пункта. На Еде удаление любого пункта снижает альфу до 0.55, 0.63 или 0.68, как и должно быть, когда из шкалы в три пункта убирают треть. Однако этот столбец не повод прореживать шкалу. Рост на одну-две сотых — выборочный шум, и приложение отмечает выигрыш только тогда, когда он заметен при отображаемой точности. Исключать пункт из шкалы следует по содержательной причине (двусмысленная формулировка, другой конструкт), а не потому, что какое-то число выросло. Подробнее об этом — в разделе типичных ошибок руководства.

Эффект потолка — большая доля респондентов на верхней границе диапазона пункта, а эффект пола — то же на нижней. Пункт, на который треть участников отвечает максимальным баллом, не различает этих участников, как бы ни различалась их удовлетворённость, и его вклад в шкалу меньше, чем можно ожидать по его корреляциям. Приложение отмечает любой из этих эффектов, если на крайнем значении оказывается больше 15% ответивших. Все шесть пунктов кафе отмечены как Возможный эффект потолка: от 21% участников с высшим баллом по пункту цена до 33% по пункту приветливо. Так обычно и ведёт себя пятибалльный пункт об удовлетворённости, когда клиенты в целом довольны, и это одна из причин, по которым надёжность шкал не выше. У теста, который сдают все, есть потолок, а у шкалы боли, где большинство пациентов отмечают ноль, — пол. Потолок есть и у пункта, которому большинство клиентов ставят высший балл, и чем короче шкала ответов, тем раньше он наступает.

Обратное кодирование #

Обратный пункт — пункт, сформулированный так, что согласие с ним означает меньшую выраженность конструкта: «обслуживание было медленным» в шкале удовлетворённости, «я чувствую себя бесполезным» в шкале самооценки, «лекцию было трудно понять» в анкете оценки преподавания. Такие пункты включают в опросники намеренно, чтобы выявить респондентов, которые отмечают один и тот же столбец сверху донизу. Какие пункты обратные, указано в инструкции по подсчёту баллов. В кафе это медленно: 5 означает плохое обслуживание, и кодовая книга это оговаривает.

Обратное кодирование переворачивает обратный пункт, чтобы он был направлен так же, как остальные: новое значение = наименьшее + наибольшее − старое, так что на пункте от 1 до 5 единица становится пятёркой, двойка четвёркой, а тройка остаётся на месте. Без переворота последствия видны сразу. Пункты Обслуживания с медленно в исходном виде дают альфу −0.52: корреляции медленно с двумя другими пунктами равны −0.36 и −0.42, с их суммой −0.46, и карточка выделяет его красным. После переворота корреляции равны 0.36 и 0.42, а альфа — 0.67. Отрицательная альфа или отрицательная корреляция пункт–остаток почти всегда вызвана именно этим. В модуле достаточно отметить пункт в списке Обратные пункты: он переворачивается только для анализа, а данные остаются прежними. Кнопка Обнаружить предлагает отметки по данным, а если какой-то пункт всё ещё выглядит направленным против остальных, карточка выводит для него действие Отметить этот пункт как обратный. Модуль IRT ведёт собственный такой же список и переворачивает пункты для подгонки, так что данные остаются в том виде, в каком на вопросы ответили, что и нужно для его проверки на небрежные ответы. Чтобы сохранить перевёрнутую копию для подсчёта балла шкалы, в преобразовании данных есть метод Обратное кодирование, который записывает результат в новую переменную.

Шкала ответов — набор ответов, допустимых для пункта: от 1 до 5 у пунктов кафе, от 0 до 10 у оценка. При обратном кодировании значения отражаются относительно её концов. Приложение берёт концы из наблюдаемых ответов, если они не введены в поле Диапазон шкалы ответов. Разница существенна, когда крайним значением никто не воспользовался. Если ни один участник не поставил за медленно 1, наблюдаемый диапазон — от 2 до 5, отражение относительно него превращает 5 в 2, а не в 1, и перевёрнутый пункт оказывается сдвинут на балл относительно остальных. По той же причине диапазон определяется по всей шкале, а не по каждому пункту отдельно: пункты с одним форматом ответов остаются сопоставимыми. Если настоящие концы шкалы опросника известны, их стоит ввести.

Насколько точен балл одного человека? #

Стандартная ошибка измерения переводит надёжность в неопределённость индивидуального балла, выраженную в единицах самого балла:

У сумм Еды стандартное отклонение 2.83, а надёжность 0.71, так что SEM равна 1.52 балла на сумме от 3 до 15, или 0.51 на среднем от 1 до 5. Истинный балл участника с суммой Еды 10 лежит где-то в пределах 10 ± 3 с доверительной вероятностью 95%, то есть с равным успехом может оказаться и 7, и 13. У Обслуживания SEM равна 1.66. По этому числу судят, действительно ли различаются баллы двух участников и действительно ли изменился балл одного участника. Именно SEM объясняет, почему шкала, достаточно надёжная для сравнения групп (0.7), недостаточно надёжна для решений об отдельных людях (для них нужно 0.9 и выше). SEM — не стандартная ошибка среднего, которая уменьшается с ростом объёма выборки: SEM описывает одного человека и от объёма выборки не зависит. Таблица Статистика шкалы на карточке выводит её, когда выбрана альфа.

Аттенуация — ослабление корреляции из-за ошибки измерения. Две переменные, измеренные с ошибкой, коррелируют слабее, чем соответствующие истинные величины: наблюдаемая корреляция равна истинной, умноженной на $\sqrt{\text{reliability of one}\times \text{reliability of the other}}$. Корреляция средних баллов Еды и Обслуживания в данных кафе равна 0.30. После деления на $\sqrt{0.71\times 0.67}$ получается 0.44 — оценка корреляции между самими конструктами. Она близка к 0.45 — корреляции, которую КФА оценивает напрямую, поскольку латентная переменная измерена без ошибки. Раздел Аттенуация корреляции в модуле планирования анализа считает по этой формуле в обе стороны. Практический вывод такой: скромная корреляция между двумя ненадёжными шкалами может скрывать сильную связь между тем, что они измеряют, и никакое увеличение объёма выборки её не восстановит.

Надёжность в отчёте #

Для каждой шкалы, используемой в исследовании, указывают название коэффициента с доверительным интервалом, число пунктов, выборку, на которой он вычислен, и перевёрнутые обратные пункты: «Удовлетворённость едой — среднее трёх пунктов (вкус, свежесть, цена), α Кронбаха = 0.71, 95% ДИ [0.63, 0.77], ω Мак-Дональда = 0.72, n = 200. Удовлетворённость обслуживанием — среднее трёх пунктов с обратным кодированием пункта медленно, α = 0.67 [0.58, 0.74], ω = 0.67». Омегу стоит приводить рядом с альфой всегда, когда аудитория готова её принять. Удалённые пункты называют вместе с причиной удаления, а если шкала служит для классификации отдельных людей, приводят и SEM. Контрольный список — в руководстве по анализу надёжности.

Где это встречается в DataSuite #

• Анализ надёжности — альфа и омега по умолчанию, нижние границы и коэффициенты на основе факторной модели по выбору, анализ пунктов с отметками, обратные пункты, отмечаемые в списке, и несколько субшкал за один запуск.
• Моделирование структурными уравнениями и конфирматорный факторный анализ — составная надёжность и AVE для каждого фактора по тем же нагрузкам, на которых построена омега. Подробнее о них — на странице о латентных переменных.
• Факторный анализ — ω_h, ω_h ⁄ ω_t и омеги субшкал из преобразования Шмида — Леймана косоугольного решения, коэффициент H для общего и групповых факторов и проверка одномерности, которая показывает, образует ли набор пунктов одну шкалу или две.
• Планирование анализа — расчёт по формуле Спирмена — Брауна для длины шкалы и расчёт аттенуации, показывающий, как ненадёжность ослабляет корреляцию.
• Руководство по подсчёту баллов по опросникам — обратное кодирование и суммарные баллы как этап подготовки данных, до любого анализа.