Анализ надёжности #

Анализ надёжности оценивает внутреннюю согласованность шкалы, то есть то, в какой мере её пункты измеряют один и тот же конструкт. Модуль вычисляет α Кронбаха, ω Мак-Дональда, нижние границы надёжности и коэффициенты на основе факторной модели. Кроме того, он проводит анализ пунктов с отметками о тех, что снижают надёжность шкалы, переворачивает отмеченные в списке обратные пункты и обрабатывает несколько субшкал за один запуск. На другие вопросы о надёжности отвечают два соседних модуля: Воспроизводимость и согласие оценивает согласие между экспертами, повторными измерениями или методами, а Теория тестовых заданий моделирует трудность и дискриминативность каждого пункта в отдельности.

Что такое внутренняя согласованность? Это вопрос о том, достаточно ли пункты согласуются друг с другом, чтобы складывать их в один балл. Подробнее — в разделе о внутренней согласованности и на странице о надёжности шкалы.

1. Выберите пункты шкалы — не меньше двух числовых переменных
2. Отметьте обратные пункты, если они есть
3. Выберите метрики надёжности
4. Настройте параметры вывода
5. Нажмите Рассчитать надёжность

Несколько субшкал в одном файле? Запускать анализ вручную для каждой шкалы по очереди не нужно — см. раздел Несколько шкал (субшкалы).

Требования #

• Нужно выбрать не меньше двух числовых переменных. Категориальные переменные исключаются автоматически и перечисляются в выводе.
• Должна быть отмечена хотя бы одна метрика надёжности.

Несколько шкал (субшкалы) #

Большинство опросников состоит из нескольких субшкал, и их пункты обычно хранятся в одном наборе данных: например, в файле личностного опросника могут быть отдельные шкалы ANX, EXT и OPE. Вместо того чтобы для каждой субшкалы выбирать её пункты и запускать анализ заново, задайте все шкалы сразу. Модуль рассчитает надёжность каждой из них и сведёт результаты в одну таблицу для сравнения.

• Анализировать как несколько шкал (субшкалы) — надёжность вычисляется отдельно для каждой заданной шкалы, а перед подробными результатами выводится сводная таблица для их сравнения. Внутренняя согласованность предполагает, что пункты измеряют один конструкт, поэтому общий коэффициент по смеси субшкал вводит в заблуждение — см. одномерность.

Если установить флажок Анализировать как несколько шкал (субшкалы), появляется матрица Шкалы: в строках — выбранные пункты, в столбцах — шкалы. Щелчок по ячейке относит пункт к шкале, повторный щелчок снимает отметку.

• Автоопределение по именам — группирует пункты по префиксу до первого подчёркивания (ANX_1, ANX_2 → шкала ANX, а anxiety1 и anxiety2 в одну шкалу не попадут). Если пункты названы по схеме scale_item, все шкалы заполняются одним щелчком, а при первом включении режима автоопределение запускается само. Если пункты названы иначе, распределите их по шкалам щелчками по ячейкам: результат будет тем же.
• Добавление и удаление шкал — кнопки + и × в заголовке каждого столбца. Чтобы переименовать шкалу, отредактируйте текст заголовка.
• Очистить — возвращает матрицу к одной пустой шкале.

Для расчёта в шкале должно быть не меньше двух пунктов. Пункты, не отнесённые ни к одной шкале, не учитываются, а при необходимости один пункт можно включить в несколько шкал.

Список обратных пунктов слева остаётся одним общим элементом управления, но для удобства он сгруппирован по шкалам. Направление — свойство самого пункта, поэтому отмеченный пункт переворачивается во всех шкалах, в которые он входит.

Обратные пункты #

На панели слева перечислены все выбранные числовые переменные. Щёлкните по пунктам, которые нужно перевернуть перед анализом, или выделите несколько сразу, протянув по ним мышью. Переворот действует только внутри анализа, а сами данные не меняются: каждое значение заменяется на наименьшее + наибольшее − старое, то есть отражается относительно заданного ниже диапазона шкалы ответов.

Под списком три кнопки:

• Снять все отметки — снимает отметки со всех пунктов
• Инвертировать выбор — меняет отметку каждого пункта на противоположную
• Обнаружить — заполняет список по данным в их текущем виде, не запуская анализ: отмечаются пункты, направленные против большинства пунктов своей шкалы, причём при нескольких шкалах каждая проверяется по своим пунктам. Пункт, слишком слабо связанный с остальными, чтобы определить его направление, остаётся неотмеченным и называется под кнопками как неклассифицируемый. Так же модуль поступает с пунктом, направление которого в двух шкалах получилось разным. Если пунктов, направленных в одну сторону, столько же, сколько в другую, строка под кнопками называет пункт, направление которого принято за основное. Обнаружение лишь предлагает отметки, а в анализ идёт список в том виде, в каком вы его оставите. Обратный пункт может остаться незамеченным, если склонность соглашаться со всеми утверждениями выражена в выборке так же сильно, как сама черта, поэтому сверьте результат с ключом опросника. Правило то же, что в модуле IRT: оба модуля пользуются одной и той же процедурой.

Ниже в группе Диапазон шкалы ответов задаются концы шкалы, относительно которых переворачиваются пункты:

• Наименьшее — наименьшее значение, допустимое на шкале ответов (1 для пункта со шкалой 1–5). Если оставить поле пустым, берётся наименьший ответ по всем выбранным пунктам (при нескольких шкалах — по пунктам каждой шкалы). Для одной шкалы он виден в пустом поле серым шрифтом.
• Наибольшее — наибольшее значение, допустимое на шкале ответов. Если оставить поле пустым, берётся наибольший ответ по всем выбранным пунктам (при нескольких шкалах — по пунктам каждой шкалы). Для одной шкалы он виден в пустом поле серым шрифтом.

Зачем задавать диапазон? Если крайним значением в выборке никто не воспользовался, наблюдаемый диапазон окажется уже, чем в опроснике, и перевёрнутый пункт сдвинется относительно остальных — см. шкалу ответов.

Какие пункты переворачивать: любой пункт, согласие с которым означает меньшую выраженность конструкта, — см. обратный пункт. Пошаговые примеры собраны в руководстве по подсчёту баллов опросников.

Метрики надёжности #

Каждый коэффициент включается и выключается отдельно. Выбранный коэффициент становится строкой таблицы метрик, в режиме нескольких шкал — столбцом сводной таблицы, а в анализе пунктов — столбцом «при удалении».

• Альфа Кронбаха (α) — включена по умолчанию. Самый распространённый в публикациях коэффициент, вычисляется по дисперсиям пунктов и суммарного балла. В таблице рядом с ним выводится и стандартизованная альфа. Альфа предполагает, что все пункты отражают конструкт в равной мере, — см. альфу Кронбаха.
• Омега Мак-Дональда (ω) — включена по умолчанию. Оценивается по факторной модели, поэтому пункты могут вносить в неё неодинаковый вклад. Если омега расходится с альфой, доверять стоит омеге. Начиная с шести пунктов подгоняется бифакторная модель, и дополнительно выводится иерархическая ω — см. омегу Мак-Дональда.
• Составная надёжность (CR) — та же омега под названием, принятым в конфирматорном факторном анализе, вычисленная по однофакторной модели. На одномерной шкале она даёт то же число, что и ω, — см. составную надёжность.
• Надёжность методом расщепления — коэффициент расщепления Рулона — Фланагана, усреднённый по множеству случайных разбиений пунктов на половины. В таблице он выводится как Среднее по разбиениям пополам и при чётном числе пунктов равен стандартизованной альфе — см. надёжность методом расщепления.
• Лямбда Гуттмана (λ2, λ4, λ6) — три нижние границы надёжности: λ2 никогда не бывает ниже альфы, λ4 равна наибольшему коэффициенту расщепления, а λ6 вычисляется по квадрату множественной корреляции каждого пункта с остальными — см. лямбды Гуттмана.
• Средняя извлечённая дисперсия (AVE) — включена по умолчанию. Средний квадрат нагрузки, то есть доля дисперсии пункта, которую в среднем объясняет фактор. Её оценивают по порогам конвергентной валидности, а не надёжности, — см. AVE.
• Коэффициент H — надёжность оптимально взвешенной суммы пунктов. Он никогда не бывает ниже омеги — см. коэффициент H.
• Бета Ревелла (β) — наименьший коэффициент расщепления среди всех разбиений, нижняя граница доли, которую объясняет единственный общий фактор, — см. бету Ревелла.
• Точная нижняя граница (GLB) — наибольшая надёжность, совместимая с наблюдаемой ковариационной матрицей. На некоторых данных её подгонка не сходится — см. точную нижнюю границу.

Допущения:

• Одномерность — все коэффициенты предполагают, что пункты измеряют один конструкт. Для шкалы, в которой смешаны две субшкалы, общее значение вводит в заблуждение, поэтому считайте надёжность по субшкалам в режиме нескольких шкал — см. одномерность.
• Тау-эквивалентность — одна только альфа предполагает ещё и то, что все пункты отражают конструкт в равной мере. Если нагрузки различаются, альфа занижает надёжность, а омега нет — см. тау-эквивалентность.
• Единая шкала ответов — если смешать пункты с разными диапазонами (пункт 1–5 и ползунок 0–100), исказятся все коэффициенты. Сначала стандартизуйте пункты или анализируйте их отдельно.
• Достаточный объём выборки — чем больше данных, тем устойчивее коэффициенты, а на выборке меньше 50 наблюдений они заметно колеблются. При малом N доверительные интервалы резко расширяются, поэтому не отключайте их и приводите в отчёте.
• Единое направление пунктов — пункты с обратной формулировкой нужно сначала перевернуть, иначе они занижают все коэффициенты.

Параметры вывода #

Можно включить или выключить пять разделов вывода:

• Статистика пунктов — включена по умолчанию. Среднее, стандартное отклонение и N каждого пункта в анализе пунктов, а в его столбце Интерпретация — отметки об эффектах пола и потолка, а также о низкой дисперсии.
• Статистика шкалы — включена по умолчанию. Таблица статистики шкалы: число пунктов и наблюдений, среднее, SD и дисперсия суммарного балла, стандартная ошибка измерения, а также среднее и диапазон межпунктовых корреляций.
• Корреляции пункт–сумма — включены по умолчанию. Три столбца для каждого пункта: нескорректированная корреляция пункта с суммой, скорректированная (пункт–остаток), по которой ставятся отметки, и корреляция с поправкой на ненадёжность — см. скорректированную корреляцию пункт–сумма.
• Надёжность при удалении пункта — каждый выбранный коэффициент пересчитывается с поочерёдно удалённым пунктом, по столбцу на коэффициент. Нужно не меньше трёх пунктов — см. альфу при удалении пункта.
• Матрица межпунктовых корреляций — выводит полную матрицу попарных корреляций пунктов — см. межпунктовую корреляцию.

Дополнительные параметры #

• Доверительные интервалы для оценок надёжности — включены по умолчанию. Добавляют в таблицу метрик столбец ДИ на заданном уровне доверия. Интервал для альфы точный (F-интервал Фельдта), для остальных коэффициентов интервалы строятся бутстрэпом с заданным числом повторов. Поэтому время расчёта растёт с числом повторов, особенно при выбранных ω или GLB. Чтобы интервалы воспроизводились, задайте зерно бутстрэпа.

Чтение результатов #

Результаты выводятся в карточке Анализ надёжности, которая состоит из следующих разделов.

Сводная таблица (несколько шкал) #

В режиме нескольких шкал карточка начинается со сравнительной таблицы, а за ней под заголовком Шкала: {name} следует полный вывод по каждой шкале (разделы ниже).

• Сводка — по строке на шкалу и по столбцу на каждый выбранный коэффициент, с доверительными интервалами в тех же ячейках, если они включены. Такое сравнение шкал иначе пришлось бы собирать вручную.
• Шкала — название шкалы из матрицы Шкалы. Тем же названием озаглавлен блок её таблиц ниже.
• Пункты — по скольким пунктам подсчитана шкала после всех исключений.

Столбцы коэффициентов озаглавлены символами:

• α — альфа Кронбаха
• α (std) — стандартизованная альфа
• ω — ω Мак-Дональда (полная)
• ω_h — ω Мак-Дональда (иерархическая), если подогнано бифакторное решение
• CR — составная надёжность
• Расщепление — среднее по разбиениям пополам
• λ2 — лямбда Гуттмана 2
• λ4 — лямбда Гуттмана 4
• λ6 — лямбда Гуттмана 6
• AVE — средняя извлечённая дисперсия
• H — коэффициент H
• β — бета Ревелла
• GLB — точная нижняя граница

Сведения о шкале #

В начале карточки выводится сводный блок, где перечислены:

• Пункты шкалы, вошедшие в анализ
• Перевёрнутые обратные пункты, если они есть
• Переменные, исключённые как нечисловые или как не имеющие дисперсии, если такие есть

Таблица метрик надёжности #

Метрики надёжности. Первая таблица карточки: по строке на выбранный коэффициент, со значением, доверительным интервалом и интерпретацией.

• Показатель — название коэффициента
• Значение — вычисленный коэффициент или Нет сходимости, если метод оценивания не дал значения
• ДИ — доверительный интервал (если включён)
• Интерпретация — словесная оценка по приведённым ниже порогам (если включена интерпретация)

Некоторые параметры добавляют строки сверх той, что носит их название:

• Стандартизованная альфа Кронбаха — альфа, вычисленная по корреляционной матрице, как если бы стандартное отклонение каждого пункта было равно 1. Выводится вместе с альфой — см. стандартизованную альфу.
• ω Мак-Дональда (полная) — омега, выводимая параметром Омега Мак-Дональда (ω): доля дисперсии суммарного балла, которую факторная модель относит на общие факторы пунктов.
• ω Мак-Дональда (иерархическая) — доля, которая приходится на один общий фактор. Выводится начиная с шести пунктов, когда модель бифакторная, — см. иерархическую омегу.
• Среднее по разбиениям пополам — коэффициент расщепления, усреднённый по случайным разбиениям. Эту строку добавляет параметр Надёжность методом расщепления — см. надёжность методом расщепления.
• Лямбда Гуттмана 2 (λ2) — нижняя граница, которая никогда не бывает ниже альфы, — см. λ2 Гуттмана.
• Лямбда Гуттмана 4 (λ4) — наибольший коэффициент расщепления среди всех разбиений — см. λ4 Гуттмана.
• Лямбда Гуттмана 6 (λ6) — вычисляется по квадрату множественной корреляции каждого пункта с остальными — см. λ6 Гуттмана.

Пороги интерпретации:

Для AVE используется своя шкала:

Коэффициенты без словесной оценки. У λ4, GLB, β Ревелла и иерархической омеги в столбце Интерпретация вместо оценки стоит длинное тире, и примечание под таблицей объясняет причину: эти коэффициенты служат границами надёжности или измеряют насыщенность общим фактором, а приведённые выше пороги разработаны для α и ω.

Если метод оценивания не сработал. Коэффициенты получаются из четырёх отдельных подгонок: альфы, факторного анализа, расщепления и омеги. Если одна из них не удалась на ваших данных, зависящие от неё коэффициенты сохраняют свои строки, но вместо значения в них стоит Нет сходимости, а примечание под таблицей называет отказавший метод и перечисляет, каких коэффициентов из-за него нет.

Выше 0.95 — слишком хорошо? Очень высокая надёжность обычно означает, что пункты почти дублируют друг друга. Проверьте, нет ли в матрице межпунктовых корреляций значений выше 0.90, — см. межпунктовую корреляцию.

Статистика шкалы #

Статистика шкалы. Таблица «показатель — значение» для суммарного балла, то есть суммы всех пунктов после переворота обратных.

• Количество пунктов — число пунктов, по которым подсчитана шкала
• Количество наблюдений — число строк, дошедших до анализа
• Наблюдения с полными данными — выводится при попарном удалении, если у части наблюдений пропущены пункты. Среднее, SD, дисперсия шкалы и стандартная ошибка измерения вычисляются только по этим наблюдениям
• Среднее шкалы — среднее суммарного балла. Если разделить его на число пунктов, получится средний ответ на пункт, по которому можно сравнивать шкалы разной длины
• SD шкалы — стандартное отклонение суммарного балла
• Дисперсия шкалы — дисперсия суммарного балла
• Стандартная ошибка измерения — $\text{SD}\times \sqrt{1-\alpha }$, выводится, если выбрана альфа Кронбаха: точность суммарного балла отдельного респондента — см. стандартную ошибку измерения
• Средняя межпунктовая корреляция — среднее недиагональных корреляций между пунктами
• Диапазон межпунктовых корреляций — наименьшая и наибольшая из недиагональных корреляций

Анализ пунктов #

Анализ пунктов. Сводная таблица, по строке на пункт. Какие в ней столбцы, зависит от параметров вывода.

• Пункт — название пункта. Если обнаружение и после применения списка обратных пунктов находит пункт направленным против остальной шкалы, примечание под таблицей метрик называет его, а название пункта становится действием Отметить этот пункт как обратный. Щелчок по нему ставит отметку в списке обратных пунктов слева, а при повторном запуске анализа пункт переворачивается.
• Среднее значение — средний ответ на пункт
• SD — стандартное отклонение пункта
• N — число наблюдений, в которых есть ответ на пункт
• r пункт–сумма — корреляция пункта с суммарным баллом, в который входит и сам пункт
• Скорректированная r пункт–сумма (пункт–остаток) — корреляция пункта с суммой всех остальных пунктов: классический скорректированный коэффициент, по которому ставятся отметки о дискриминативности, — см. скорректированную корреляцию пункт–сумма
• r пункт–сумма с поправкой на перекрытие и надёжность — корреляция пункт–остаток с дополнительной поправкой на ненадёжность шкалы. Она систематически выше и оценивает связь пункта с конструктом, а не его дискриминативность. Если общая дисперсия пунктов не положительна (обычно из-за неперевёрнутого обратного пункта), поправка не определена, и столбец не выводится, о чём сообщает примечание под таблицей, — см. корреляцию пункт–сумма с поправкой на ненадёжность
• {symbol} при удалении — коэффициент, пересчитанный без этого пункта, по столбцу на каждый выбранный коэффициент (α при удалении, ω при удалении, …) — см. альфу при удалении пункта
• Анализ пунктов — Интерпретация — отметки по каждому пункту, если включена интерпретация: Отрицательная корреляция — проверьте обратное кодирование; Очень слабая дискриминативность (r пункт–остаток ниже 0.20), Слабая дискриминативность (ниже 0.30) или Хорошая дискриминативность (0.50 и выше); Возможный эффект пола или Возможный эффект потолка (больше 15% ответов на минимуме или максимуме пункта); Низкая дисперсия (SD меньше десятой части диапазона пункта); Удаление улучшит с названием коэффициента и приростом, если прирост заметен при выводимой точности; либо Хороший пункт, если отметок нет.

Удалять ли пункты? Не автоматически: пункт удаляют по содержательной причине (неудачная формулировка, низкая дискриминативность, несоответствие теории), а не ради роста коэффициента. См. альфу при удалении пункта и типичную ошибку ниже.

Матрица межпунктовых корреляций #

Матрица межпунктовых корреляций. Симметричная матрица попарных корреляций всех пунктов: по ней видны группы тесно связанных пунктов и пары, которые плохо сочетаются друг с другом. Это моментные корреляции Пирсона, какой бы тип ни был задан у пунктов. Если все пункты заданы как порядковые, примечание под матрицей напоминает об этом. Все коэффициенты на карточке оцениваются по этой же матрице, поэтому они описывают надёжность суммы баллов по пунктам.

На что смотреть: большинство корреляций должно лежать между 0.20 и 0.80. Корреляции ниже этого диапазона означают, что пункты измеряют разное, а выше — что пункты избыточны (см. межпунктовую корреляцию). Блок высоких корреляций внутри части пунктов может оказаться отдельным субфактором, и его можно выявить факторным анализом.

Пропущенные данные #

Пропущенные значения обрабатываются по глобальной настройке пропущенных данных. При построчном удалении наблюдение с пропуском хотя бы в одном пункте исключается до анализа. При попарном удалении коэффициенты оцениваются по попарно полным корреляциям, статистика пунктов — по всем ответам на каждый пункт, а статистика шкалы — только по полным наблюдениям, число которых карточка выводит в строке Наблюдения с полными данными. При импутации пропуски заполняются до анализа.

Пропуски и надёжность: если пропуски разбросаны по многим пунктам, построчное удаление может сильно уменьшить выборку. Сравните Количество наблюдений с числом строк в файле — см. построчное удаление и попарное удаление.

Контрольный список для отчёта #

Что включить в описание результатов анализа надёжности:

Метод:

• Какие метрики надёжности вычислялись и почему (например, «рассчитаны альфа Кронбаха и омега Мак-Дональда»)
• Число пунктов в шкале
• Были ли перевёрнуты обратные пункты и какие именно
• Как обрабатывались пропущенные данные
• Объём выборки

Результаты:

• Значения коэффициентов надёжности с доверительными интервалами
• Корреляции пунктов с суммарным баллом (или хотя бы упоминание проблемных пунктов)
• Удалялись ли пункты и почему
• Для многомерных шкал — надёжность каждой субшкалы, а не только общая (режим нескольких шкал выводит все субшкалы сразу)

Воспроизводимость в R #

Модуль выводит R-код каждого анализа в консоль R, где команды можно просмотреть, скопировать и запустить заново. Внутреннюю согласованность вычисляет пакет R psych. Ссылки на использованные пакеты R автоматически появляются в начале раздела результатов. Бутстрэп-интервалы (для ω, составной надёжности, расщепления, λ Гуттмана, AVE, коэффициента H, β Ревелла и GLB) зависят от параметра Зерно бутстрэпа: задайте его, чтобы интервалы совпадали от запуска к запуску. Обоснование оценок, интервалов и порогов модуля изложено в методических заметках.

Типичные ошибки #

Приводить только альфу. Альфу Кронбаха по-прежнему требуют чаще других коэффициентов, но она предполагает одинаковый вклад всех пунктов (тау-эквивалентность), а это допущение выполняется редко. Если альфа и омега расходятся, менее точна обычно альфа. Приводите обе: журналы всё чаще ждут омегу.

Считать альфу мерой одномерности. Шкала может иметь высокую альфу и при этом быть многомерной: альфа отражает среднюю межпунктовую корреляцию, а не факторную структуру. Шкала из 20 пунктов с двумя разными субфакторами легко даёт α = 0.85. Если нужно показать одномерность, воспользуйтесь факторным анализом.

Ошибки с обратными пунктами. Самая частая причина неожиданно низкой надёжности — забытые обратные пункты. Их выдаёт отрицательная корреляция одного или нескольких пунктов с суммарным баллом. Перед анализом сверьтесь с инструкцией по подсчёту баллов исходного опросника. Кнопка Обнаружить предложит список по данным, а примечание под таблицей метрик назовёт пункты, которые по-прежнему направлены против остальной шкалы.

Удалять пункты ради максимальной альфы. Если убирать все пункты, без которых альфа «улучшается», получится более короткая шкала, хорошо работающая на вашей выборке, но плохо — на других. Удаляйте только пункты с явными содержательными проблемами (низкая дискриминативность, неоднозначная формулировка, несоответствие теории), а не потому, что число выросло на 0.01.

Не учитывать, что результат зависит от выборки. Надёжность — свойство баллов в вашей выборке, а не самого теста. Шкала с опубликованной альфой 0.90 может дать на ваших данных 0.65, если ваша совокупность однороднее или пункты в вашем контексте работают иначе. Всегда вычисляйте и приводите надёжность на собственных данных.