IRT-анализ #

Модуль подгоняет к пунктам анкет, тестов и опросников одномерные модели теории тестовых заданий (IRT) и многомерные модели (MIRT). Классические метрики надёжности модуля «Анализ надёжности» описывают шкалу в целом, а IRT моделирует каждый пункт отдельно: оценивает, насколько он труден и насколько хорошо различает респондентов, а также положение каждого респондента на латентной черте.

КТТ или IRT? Классическая теория тестов оценивает суммарный балл, а IRT — каждый пункт на всём диапазоне черты (см. теорию тестовых заданий и классическую теорию тестов).

Что такое θ? Оценка положения человека на измеряемой черте в шкале со средним 0 и SD 1 (см. θ).

Как пользоваться #

1. Выберите пункты — не меньше двух, прошедших требования, — и отметьте среди них обратные, если они есть
2. Нажмите Диагностика и Моккен, чтобы проверить пункты до подгонки модели
3. Выберите размерность, тип модели, метод оценивания и метод расчёта оценок
4. При необходимости выберите группирующую переменную для DIF и задайте параметры вывода
5. Нажмите Запустить IRT-анализ

Требования #

• Нужно не меньше двух пунктов, прошедших проверки ниже. Если их меньше, и Диагностика и Моккен, и Запустить IRT-анализ останавливаются с сообщением.
• Пункт должен быть числовым, меняться и иметь не больше половины пропущенных ответов. Выбранная переменная, не прошедшая хотя бы одну из этих проверок, исключается, и карточка называет её вместе с причиной.
• Пункт с двумя различными значениями считается дихотомическим при любом типе. Пункт с типом «порядковая» в панели данных считается политомическим. Непрерывный пункт считается политомическим, если его значения — от 3 до 10 различных целых чисел (примечание на карточке сообщает, что классификация определена автоматически), а при нецелых значениях или при числе значений больше 10 исключается. Чтобы сохранить такой пункт, задайте ему тип «порядковая».
• Группирующая переменная для DIF никогда не входит в число пунктов, даже если она выбрана.
• Конфирматорная MIRT подгоняется только по пунктам, назначенным какому-либо фактору, а неназначенный пункт исключается и перечисляется (см. Конфирматорная).

Предварительный анализ #

Предварительный IRT-анализ. Эту карточку открывает кнопка Диагностика и Моккен: быстрые проверки выбранных пунктов без подгонки IRT-модели, чтобы проблемы обнаружились до того, как вы приступите к подгонке. Если проверка завершилась ошибкой в R, её раздел остаётся на карточке с надписью Не удалось вычислить и сообщением R.

• Диагностика и Моккен — выполняет описанные ниже проверки на пунктах, допущенных требованиями, с учётом глобальной настройки пропущенных данных: при построчном удалении все проверки, кроме подсчёта пропусков, видят только полные наблюдения. Из настроек модели читается лишь тип модели — для оценки объёма выборки. Группирующая переменная DIF и здесь не входит в пункты.
• Нижняя граница AISP (H) — порог шкалируемости c, при котором читается вывод автоматического подбора шкал, по умолчанию 0.3. Значение выше 0.99 читается как 0.99, пустое поле — как 0.3. Таблица при любом значении перебирает собственный диапазон c.

Сводка по данным #

Карточка начинается с числа пунктов, разбитого на дихотомические и политомические, и строки Объём выборки со всеми наблюдениями, а при построчном удалении — ещё и с числом полных наблюдений рядом. Если классификация определена автоматически, а не задана, следует примечание, а строка Исключённые переменные перечисляет не вошедшие в анализ переменные с причинами: нечисловая, нет дисперсии, пропущено больше 50% ответов, нецелые значения или слишком много уникальных значений.

Достаточность объёма выборки #

Объём выборки. N, на котором выполнялась диагностика (полные наблюдения при построчном удалении, иначе все строки), сравнивается с порогом для выбранного типа модели: если N ниже порога, выводится предупреждение, иначе — строка о том, что N представляется достаточным.

Остальные типы моделей предупреждают только при N меньше 100. Размерность при этом не учитывается, хотя многомерной модели нужно больше респондентов, чем её одномерному аналогу, и тем больше, чем больше в ней факторов.

Сводка по пунктам #

Сводка по пунктам. По строке на каждый пункт.

• Тип — дихотомический или политомический, по правилам из раздела Требования
• Категории — число различных значений пункта
• Пропусков — число пустых ответов на пункт, а Пропусков % — их доля от всех строк

Проверка одномерности #

Проверка одномерности. Два наибольших собственных числа матрицы межпунктовых корреляций, сопоставленные с критерием существенной одномерности Рекейза (см. одномерность и собственное число). В столбцах Показатель и Значение — четыре строки, описанные ниже.

• Первое собственное число — дисперсия, приходящаяся на первую компоненту, в единицах одного пункта. Второе собственное число — то же для второй компоненты
• Отношение (1-е / 2-е) — первое собственное число, делённое на второе. Критерий требует не меньше 3. Если второе собственное число неположительно, в ячейке стоит «–»
• Доля дисперсии, объяснённая 1-й компонентой — первое собственное число в процентах от числа пунктов, то есть от общей дисперсии матрицы. Критерий требует не меньше 20%

Вывод под таблицей учитывает оба критерия: выполнены оба — набор пунктов существенно одномерен, выполнен один — свидетельства неоднозначны, не выполнен ни один — стоит рассмотреть многомерную модель. Если второе собственное число неположительно, корреляционная матрица не является положительно определённой, отношение не определено, и проверяется только критерий по дисперсии, о чём сообщает примечание.

Последнее примечание называет корреляции, по которым получены собственные числа: полихорические, если ни у одного пункта нет больше 8 категорий; смешанная матрица (полихорические корреляции между порядковыми пунктами, тетрахорические между бинарными, корреляции Пирсона для любого пункта с числом категорий больше 8), если такие пункты есть; корреляции Пирсона, если больше 8 категорий у всех пунктов (см. полихорическую корреляцию). Если категориальную оценку вычислить не удалось, примечание сообщает, что вместо неё использованы корреляции Пирсона, и приводит сообщение R.

Не выполнен ни один критерий? На многомерном наборе пунктов параметры и баллы одномерной модели искажаются: изучите структуру факторным анализом или подгоните разведочную или конфирматорную MIRT.

Проверка качества ответов #

Качество ответов. Шесть индексов отмечают респондентов, чьим ответам, возможно, нельзя доверять: небрежные, однообразные или выбивающиеся ответы, описанные в разделе о небрежных ответах. В каждой строке указан порог, фактически применённый к этим данным. Пороги для доли пропусков и расстояния Махаланобиса фиксированы, а остальные четыре — это границы Тьюки по распределению самого индекса в этом наборе данных, так что флаг означает «необычно для этой выборки». Длинная серия и IRV берут ответы в исходном виде, остальные индексы — пункты, перевёрнутые согласно списку обратных пунктов.

• Пометка — буква, которую индекс записывает в столбцы флагов: M, L, V, C, R или D, в порядке списка ниже
• Проблема — что ищет индекс (шесть индексов описаны ниже)
• Порог — граница, за которой респондент отмечается. Порог «–» или порог за пределами возможных значений индекса не отмечает никого: разброс индекса слишком велик или его нет вовсе, и ни одно наблюдение не выходит за границу
• Количество — сколько респондентов отметил индекс, а % от выборки — их доля среди проверенных строк

Шесть индексов:

• Много пропусков — пропущено больше 50% пунктов (M)
• Длинная серия (одинаковые ответы подряд) — самая длинная серия одинаковых ответов на идущие подряд пункты без учёта пропусков. Это «прямая линия», когда один и тот же вариант отмечается сверху донизу страницы. Отмечается выше границы (L), см. длинную серию
• Низкая вариабельность ответов (нормированный IRV) — разброс ответов самого человека в долях наибольшего разброса, допустимого шкалой ответов, — так сопоставимы шкалы с разным числом категорий. Отмечается ниже границы (V), см. IRV. Если все пункты дихотомические, этот индекс не проверяется, о чём сообщает примечание
• Низкая корреляция «человек–сумма» — насколько ответы человека следуют средним по пунктам у остальной выборки. Низкое значение означает паттерн, идущий вразрез со всеми остальными. Отмечается ниже границы (C), см. корреляцию «человек–сумма»
• Низкая индивидуальная надёжность по случайным половинам — согласованность ответов человека между двумя случайными половинами пунктов, усреднённая по 30 разбиениям. Отмечается ниже границы (R), см. индивидуальную надёжность по случайным половинам. Нужно не меньше шести пунктов, при меньшем числе в ячейке стоит «–»
• Выброс по расстоянию Махаланобиса — полный паттерн ответов, необычно далёкий от центра выборки, при p < 0.001 (D), см. расстояние Махаланобиса. Примечание называет оценку: минимальный определитель ковариации, если полных наблюдений более чем вдвое больше, чем пунктов, и его ковариация невырождена, иначе — выборочные среднее и ковариацию с указанием причины. Если полных наблюдений не больше, чем пунктов плюс один, расстояния не вычисляются

Последнее примечание подсчитывает респондентов, отмеченных двумя и более индексами: именно их стоит просмотреть до подгонки. Единичный флаг по одному индексу ожидаем в любой выборке.

• Вставить флаги качества в набор данных — добавляет в данные два столбца: IRT_QC_nFlags с числом флагов у каждого респондента и категориальный IRT_QC_Flags с их буквами (например, LV; -, если флагов нет). При построчном удалении строки, не вошедшие в проверку, значений не получают

Анализ шкалы Моккена #

Анализ шкалы Моккена. Методами непараметрической IRT проверяется, образуют ли пункты шкалу Моккена, на которой вероятность более высокого ответа только растёт с ростом черты, а логистическая кривая, как в параметрической модели, не предполагается. Это предварительный отсев: пункты, не образующие шкалы здесь, редко подходят для параметрической модели. Анализ выполняется только на полных наблюдениях, и если их меньше, чем строк в проверках выше, примечание приводит оба числа. Если полных наблюдений меньше трёх или среди них есть пункт без дисперсии, раздел сообщает об этом и останавливается.

Раздел открывается таблицей шкалируемости: по строке на пункт, под ними строка Вся шкала (H), и у каждой строки своя SE.

• Hi — коэффициент шкалируемости пункта Hi: насколько согласованно с остальными пунктами он упорядочивает респондентов (см. H Лёвингера)
• Вся шкала (H) — H Лёвингера для всей шкалы
• Интерпретация — показывается при включённой интерпретации: строка шкалы оценивается по диапазонам Сейтсмы и Моленара ниже, строка пункта — как Допустим при Hi ≥ 0.3 и Недопустим ниже

Матрица H по парам пунктов #

Шкалируемость по парам пунктов (H_ij). Симметричная матрица парных коэффициентов шкалируемости, то есть H Лёвингера для каждой пары пунктов, с «–» на диагонали. Высокие значения отмечают пары, шкалирующиеся вместе, значения около нуля — пары, почти не шкалирующиеся совместно, а отрицательное значение — пункт, который, возможно, нужно перевернуть или исключить.

Проверки нарушений #

Три следующие проверки перечисляют только пункты с нарушениями, а если нарушений нет ни у одного пункта, выводят строку об этом. Столбцы их таблиц общие:

• Нарушения — число нарушений пункта, превысивших минимальный размер, заданный пакетом
• Значимые нарушения — сколько из них значимы
• Макс. нарушение — наибольшее из них
• z(max) — статистика критерия для наибольшего нарушения. t(max) — та же статистика при проверке инвариантного упорядочения политомических пунктов, где используется t-критерий
• crit — индекс серьёзности, сводящий предыдущие столбцы в одно число. Примечание под таблицей оценивает наибольшее значение: ниже 40 — серьёзных нарушений нет, от 40 до 80 — незначительное нарушение, выше 80 — серьёзное

Монотонность. Растёт ли (или хотя бы не убывает ли) с ростом черты вероятность согласиться с каждым пунктом. Серьёзное нарушение означает, что пункт не соответствует модели монотонной гомогенности.

Инвариантное упорядочение пунктов. Сохраняют ли пункты один и тот же порядок трудности у всех респондентов. Если сохраняют, утверждение «пункт A труднее пункта B» верно для каждого, а не в среднем, и только тогда порядок пунктов можно истолковывать (см. инвариантное упорядочение пунктов). Примечание под таблицей приводит коэффициент шкалы H_T. Значения от 0.3 и выше подтверждают упорядочение.

Непересечение (метод rest-score). Пересекаются ли пошаговые функции ответа пунктов. Эта проверка — вторая половина двойной монотонности. Там, где функции пересекаются, единый порядок пунктов верен не на всех уровнях черты.

Непараметрическая надёжность #

Непараметрическая надёжность. Три не зависящие от модели оценки надёжности рядом.

• Моленар — Сейтсма (ρ) — непараметрическая надёжность для шкал Моккена, и именно её следует приводить
• α — альфа Кронбаха для сравнения
• λ₂ — λ2 Гуттмана, нижняя граница надёжности, никогда не меньшая α

Автоматический подбор шкал (AISP) #

Автоматический подбор шкал (AISP). Разбивает пункты на шкалы Моккена при нижней границе шкалируемости c, причём не при одном значении, а при целом ряде: по столбцу на каждое c от 0 до 0.55 с шагом 0.05 и ещё столбец для значения поля Нижняя граница AISP (H). В ячейке — шкала, в которую пункт вошёл при этом c, или «–», если он не вошёл ни в одну. Разбиение, устойчивое в нескольких соседних столбцах, — результат, а меняющееся от столбца к столбцу — артефакт выбранного c: поиск может остановиться на хорошем разбиении, а не на лучшем из возможных (см. автоматический подбор шкал).

Вывод под таблицей читается при вашем c: все пункты в одной шкале подтверждают одномерность, несколько шкал указывают на многомерную структуру, а пункты вне всех шкал, возможно, ей вообще не соответствуют. Значение c выше наибольшего H по парам пунктов не перебирается (шкалируемым ничего бы не оказалось), и его столбец не выводится, а вместо вывода об этом сообщает примечание.

Размерность #

• Размерность — сколько черт в модели и кто решает, какой пункт что измеряет: вы или данные. От выбора зависит остальная панель: типы моделей, которые в этом режиме подогнать нельзя, становятся недоступны, а если такой тип был выбран, он сменяется на Авто (определить по данным). Параметры вывода, относящиеся к одной структуре, показываются только при ней.
• Одномерная — по умолчанию: все пункты измеряют одну черту θ (см. одномерность). Стандартная постановка IRT для шкалы, созданной для измерения одного конструкта.
• Разведочная — модель многомерной IRT (MIRT) с заданным вами числом измерений, где каждый пункт может нагружать любое измерение. Это аналог разведочного факторного анализа в IRT, но подгоняется модель к самим ответам на пункты, а не к корреляционной матрице. Подходит, когда черт предположительно несколько, но неизвестно, какой пункт что измеряет.
• Конфирматорная — модель MIRT с заданной вами структурой: каждый пункт нагружает только назначенные ему факторы. Это аналог конфирматорного факторного анализа в IRT для шкалы, субшкалы которой известны заранее. Подгоняются только назначенные пункты.

Разведочная #

• Число измерений — сколько латентных черт извлекать, по умолчанию 2. При значении меньше 2 запуск останавливается с сообщением. При методе EM начиная с 3 измерений под полем Метод оценивания появляется предупреждение.
• Метод вращения — критерий, по которому вращаются нагрузки: ортогональное вращение оставляет измерения некоррелированными, косоугольное позволяет им коррелировать (см. вращение). По умолчанию — Облимин. Вращение затрагивает только решение для нагрузок: таблицу факторных нагрузок, её тепловую карту и корреляции факторов. Оценки испытуемых, надёжность, ожидаемые баллы, карта Райта и информационные кривые остаются в исходном, невращённом базисе подгонки, поэтому вращённая таблица нагрузок рядом с невращённой θ — не противоречие. Корреляции факторов предлагаются только при косоугольном вращении.
• Без вращения — подогнанное решение как есть, где первое измерение забирает на себя столько, сколько может. При числе измерений больше двух такое решение редко удаётся истолковать.

Ортогональные критерии:

• Варимакс — у каждого измерения несколько больших нагрузок и много малых (см. варимакс). Выполняется без нормализации Кайзера.
• Квартимакс — у каждого пункта одна большая нагрузка и малые на остальных измерениях, поэтому обычно остаётся общее первое измерение (см. квартимакс).
• Минимальная энтропия — минимизирует энтропию квадратов нагрузок и тем самым тоже ведёт к простой структуре.
• Тандем I — первый тандемный критерий Комри: коррелирующие пункты помещаются на одно измерение, что благоприятствует общему измерению.
• Тандем II — второй тандемный критерий Комри: некоррелирующие пункты разводятся по разным измерениям, и нагрузки распределяются между ними. Обычно Тандем II применяют следом, если Тандем I оставил общее измерение.
• Геомин T — ортогональный геомин: требует лишь, чтобы у каждого пункта была одна близкая к нулю нагрузка, поэтому настоящая перекрёстная нагрузка сохраняется (см. геомин).
• T-инвариант Бентлера — ортогональная форма критерия инвариантной простоты паттерна Бентлера, на практике близкая к варимаксу (см. инвариант Бентлера).
• Кроуфорда — Фергюсона T — ортогональное семейство Кроуфорда — Фергюсона, где сложность пунктов уравновешивается сложностью измерений с весом κ Кроуфорда — Фергюсона. При значении по умолчанию κ = 0 это квартимакс, и решение совпадает с решением Квартимакс.
• Инфомакс T — ортогональная форма критерия инфомакс Мак-Кеона, который описывает простую структуру в терминах теории информации.
• Бифакторное — одно общее измерение на всех пунктах плюс групповые измерения, все некоррелированные (см. бифакторную модель). Задайте число измерений на единицу больше ожидаемого числа групп.

Косоугольные критерии:

• Облимин — по умолчанию: простая структура, при которой измерения могут коррелировать (см. облимин). Его вес — γ облимина. При значении по умолчанию γ = 0 это квартимин, поэтому Квартимин даёт то же решение.
• Промакс — сначала варимакс, затем косоугольное вращение к целевой матрице, где малые нагрузки прижаты к нулю возведением в степень 4 (см. промакс).
• Квартимин — косоугольный аналог квартимакса, при γ по умолчанию дающий то же решение, что и Облимин (см. квартимин).
• Облимакс — максимизирует эксцесс нагрузок, подталкивая каждую либо к нулю, либо к большому значению.
• Симплимакс — вращает к целевой матрице, в которой наименьшие нагрузки равны нулю (см. симплимакс).
• Геомин Q — косоугольный геомин (см. геомин).
• Q-инвариант Бентлера — косоугольный инвариант Бентлера, на практике близкий к облимину (см. инвариант Бентлера).
• Кроуфорда — Фергюсона Q — косоугольное семейство Кроуфорда — Фергюсона с весом κ Кроуфорда — Фергюсона. При значении по умолчанию κ = 0 это квартимин, и решение совпадает с решением Квартимин.
• Инфомакс Q — косоугольная форма критерия инфомакс.
• Биквартимин — косоугольный аналог бифакторного вращения (Бифакторное): общее измерение плюс групповые, которые могут коррелировать (см. бифакторную модель).

У двух семейств есть параметр, который задаётся в поле под методом вращения:

• γ облимина — показывается при методе Облимин: вес семейства облимин, по умолчанию 0. При 0 вращение — квартимин, при 0.5 — биквартимин, при 1 — коваримин. Чем выше значение, тем сильнее могут коррелировать измерения, а отрицательное значение ослабляет их корреляцию. Пустое поле останавливает запуск с сообщением.
• κ Кроуфорда — Фергюсона — показывается при методах Кроуфорда — Фергюсона T и Кроуфорда — Фергюсона Q: вес между сложностью пунктов (κ = 0) и сложностью измерений (κ = 1), от 0 до 1, по умолчанию 0. При 0 вращение — квартимакс (T) или квартимин (Q). В ортогональной форме 1/p для p пунктов даёт варимакс, а k/(2p) для k измерений — эквамакс. Пустое значение или значение вне диапазона останавливает запуск с сообщением.

Конфирматорная #

• Переменная — первый столбец матрицы модели, по строке на каждый выбранный числовой пункт. Каждый следующий столбец — фактор, и отмеченная ячейка означает, что пункт нагружает этот фактор. Матрица, её столбцы факторов и кнопка Автоопределение по именам работают так же, как в конфирматорном факторном анализе. Название фактора начинается с буквы и содержит только буквы, цифры и подчёркивания. Служебные слова синтаксиса mirt (COV, MEAN, CONSTRAIN, PRIOR, START, FIXED) не допускаются. Для запуска нужны хотя бы два фактора, у каждого хотя бы по одному пункту. Пункт, не назначенный ни одному фактору, исключается и перечисляется.
• Коррелирующие факторы (косоугольное) — включено по умолчанию: корреляции факторов оцениваются, а если флажок снят, факторы считаются некоррелированными. Вывод корреляций факторов предлагается только при установленном флажке.
• Синтаксис mirt — та же матрица в синтаксисе модели mirt: по строке Factor = items на фактор и строка COV, если факторы коррелируют. Синтаксис обновляется вместе с матрицей. После правки кнопка Применить записывает его обратно в матрицу, и строка COV устанавливает флажок Коррелирующие факторы (косоугольное). Отмена отменяет правку, а Копировать копирует текст в буфер обмена. Пункты указываются по именам или по номерам от 1 в порядке предпросмотра, по одному или диапазонами (1-4). Другие строки mirt (MEAN, PRIOR, …) отбрасываются, поскольку матрица не может их хранить. Если строку не удалось прочитать или факторов меньше двух, под полем выводится сообщение, и ничего не применяется.

Типы моделей #

• Тип модели — IRT-модель, подгоняемая ко всем пунктам. В списке недоступно то, что нельзя подогнать при выбранной размерности: модели рейтинговой шкалы, развёртывания и непараметрические модели бывают только одномерными, а частично компенсаторные — только конфирматорными. Модель для одного формата ответа на пунктах другого формата (например, дихотомическая модель на пункте со шкалой 1–5) останавливает запуск с сообщением, где названы эти пункты.
• Авто (определить по данным) — по умолчанию: 2PL для каждого дихотомического пункта и Модель градуированных ответов (GRM) для каждого политомического. Если в шкале есть пункты обоих типов, обе модели объединяются в одну.

Дихотомические пункты #

Для пунктов с двумя категориями: верно или неверно, да или нет.

• Модель Раша (1PL) — только трудность и одна дискриминация на все пункты, поэтому вся информация о θ содержится в сыром суммарном балле (подробнее о модели). На политомических пунктах подгоняется модель частичного зачёта. Только одномерная.
• 2PL — трудность и дискриминация у каждого пункта: стандартный выбор, когда пункты могут различаться тем, насколько резко они разделяют людей (см. 2PL). Только для дихотомических пунктов.
• 3PL — 2PL плюс нижняя асимптота для угадывания, подходящая для тестов с выбором ответа (см. 3PL). Предварительная проверка предупреждает, если респондентов меньше 500.
• 3PLu (верхняя асимптота, без угадывания) — 2PL плюс верхняя асимптота ниже 1: даже самый способный респондент иногда ошибается в пункте («промах»). Предварительная проверка предупреждает при N меньше 500.
• 4PL — обе асимптоты, то есть и угадывание, и промахи. Предварительная проверка предупреждает при N меньше 1000.
• Идеальная точка (развёртывание) — для утверждений об установках: респондент охотнее всего соглашается с утверждением, близким к его собственной позиции, и отвергает слишком радикальное в любую сторону. Поэтому кривая ответа одновершинная, а не растёт с θ (см. развёртывание). Только дихотомические пункты и только одномерная модель.

Политомические пункты #

Для упорядоченных категорий, например шкалы Лайкерта или рейтинговой оценки.

• Модель градуированных ответов (GRM) — 2PL для упорядоченных категорий: одна дискриминация на пункт и по порогу на каждый шаг. Моделируется вероятность ответить в данной категории или выше (см. модель градуированных ответов). Обычный выбор для рейтинговых пунктов.
• Обобщённая модель частичного зачёта (GPCM) — одна дискриминация на пункт. Моделируется каждый шаг между соседними категориями, а не накопленные вероятности. Это альтернатива модели градуированных ответов, и по существу они расходятся редко (см. обобщённую модель частичного зачёта). Шаги этой модели могут оказаться неупорядоченными (см. неупорядоченные шаги).
• GPCM (IRT-параметризация) — та же модель, но вместо свободных членов выводятся пороги в духе трудностей.
• Обобщённая модель рейтинговой шкалы (GRSM) — у всех пунктов один общий набор порогов, сдвинутый на положение пункта, и у каждого своя дискриминация. Подходит для пунктов с единым форматом ответа (см. обобщённую модель рейтинговой шкалы). Только политомические пункты и только одномерная модель.
• GRSM (IRT-параметризация) — та же модель с параметрами в IRT-форме. Только политомические пункты и только одномерная модель.
• Модель рейтинговой шкалы (Андрич) — модель Раша для рейтинговых шкал: общие пороги и одна дискриминация на все пункты (см. модель рейтинговой шкалы). Только одномерная.
• Номинальная модель ответов — свой наклон у каждой категории, порядок категорий не предполагается. Подходит для категорий с сомнительным порядком, а для рейтинговой шкалы нужна редко (см. номинальную модель ответов).
• GGUM (политомическое развёртывание) — модель развёртывания для рейтинговых пунктов: согласие максимально вблизи собственной позиции респондента (см. Идеальная точка (развёртывание) и развёртывание). Только одномерная.
• Последовательная модель ответов — каждая категория достигается через предыдущую, шаг за шагом: для последовательных достижений, а не для степени согласия (см. последовательную модель ответов).

Непараметрические пункты #

Кривые ответа оцениваются гибко, а не предполагаются логистическими. Такие модели нужны для пунктов, плохо описываемых параметрической моделью при сохранившейся шкалируемости по Моккену. Только одномерные. Ни одна из них не даёт наклонов и трудностей: таблица параметров пунктов показывает собственные коэффициенты модели.

• На основе сплайнов — кривая каждого пункта строится из кусков B-сплайна, что подходит для пунктов своеобразной формы. Только дихотомические пункты. Модель подгоняется без стандартных ошибок и не определяет информацию пункта и теста, поэтому маргинальная надёжность, информационные кривые и условная стандартная ошибка измерения не выводятся вовсе (а не показываются нулями), и карточка объясняет почему. Характеристические кривые и кривые ожидаемого балла оцениваются как обычно, и именно по ним следует судить о пунктах.
• Внутренние узлы сплайна — показывается при модели На основе сплайнов: 1, 2 или 3 узла (по умолчанию 3), равномерно расставленные по черте от −2 до +2. Каждый узел добавляет по параметру на пункт: кривая становится гибче, а подгонка — труднее. Хотя бы один узел используется всегда.
• Монотонный полином — кривая, которая только растёт с θ и задаётся полиномом, а не логистической функцией.

Частично компенсаторные (только конфирматорные) #

В стандартной MIRT-модели высокое значение на одном измерении может компенсировать низкое на другом, а в частично компенсаторной вклад должно внести каждое измерение. Только конфирматорные модели и только дихотомические пункты.

• PC2PL — частично компенсаторная 2PL.
• PC3PL — частично компенсаторная 3PL с параметром угадывания.

Метод оценивания #

• Метод оценивания — алгоритм, которым mirt подгоняет модель, по умолчанию EM. Каждый метод работает с собственными настройками mirt, если их не переопределяют дополнительные настройки. При числе измерений больше трёх подгонка и оценивание θ интегрируют по точкам квази-Монте-Карло, а не по полной сетке. Стандартные ошибки параметров пунктов вычисляются для всех одномерных моделей, кроме На основе сплайнов, а для многомерной — только при MHRM или если в поле Расчёт SE выбрано что-то кроме значения по умолчанию. Если они пропущены, карточка сообщает об этом. MCEM, MHRM и SEM — стохастические методы без фиксированного зерна, поэтому результаты двух запусков слегка различаются.
• EM — по умолчанию: EM-алгоритм (ожидание–максимизация) на фиксированной сетке квадратурных точек. Быстрый и детерминированный при одном-двух измерениях, но сетка растёт с каждым измерением, поэтому начиная с трёх примечание под полем советует другой метод.
• MCEM — EM по методу Монте-Карло: E-шаг интегрирует по случайным точкам, а не по сетке.
• QMCEM — EM по методу квази-Монте-Карло: интегрирует по квазислучайному набору точек, более равномерному, чем случайные точки MCEM, и остаётся применимым при большом числе измерений.
• MHRM — алгоритм Метрополиса — Гастингса и Роббинса — Монро: стохастический метод для трёх и более измерений, по умолчанию вычисляющий стандартные ошибки и для многомерной модели.
• SEM — стохастический EM, то есть только первые стадии MHRM, в некоторых случаях более быстрый.
• BL — метод Бока — Либермана: максимизирует полное маргинальное правдоподобие напрямую, а не через EM. Подходит только для коротких тестов.

Метод расчёта оценок #

• Метод расчёта оценок — как θ каждого человека оценивается по подогнанной модели, по умолчанию EAP. От метода зависят оценки испытуемых и всё, что по ним вычисляется (надёжность и разделение, соответствие испытуемых, нацеленность теста), а примечание на карточке называет использованный метод.
• EAP (апостериорное ожидание) — по умолчанию: среднее апостериорного распределения (см. EAP). Оценка всегда конечна, в том числе для крайних паттернов, но стянута к среднему, поэтому SD θ занижает SD черты, о чём и говорит примечание на карточке.
• MAP (максимум апостериорной плотности) — мода апостериорного распределения: оценка конечна для любого паттерна и, как EAP, стянута к среднему (см. MAP).
• MLE (максимальное правдоподобие) — без априорного распределения и потому без стягивания, но у паттерна из одних минимальных или одних максимальных ответов нет конечной оценки. Такие респонденты исключаются из всех индивидуальных статистик, и карточка приводит их число (см. MLE).
• WLE (взвешенное правдоподобие Варма) — максимальное правдоподобие с поправкой Варма: без стягивания к среднему, без свойственного MLE смещения к краям и с конечной оценкой для крайних паттернов, которые MLE отбрасывает (см. WLE).

Дополнительные настройки #

Раздел Дополнительные настройки переопределяет собственные настройки mirt для подгонки. Поле, оставленное на первом варианте, ничего не передаёт, и действуют настройки самого метода оценивания. Изменённое поле действует на все модели запуска, включая модели DIF, модели сравнения и повторные подгонки бутстрэпа Q3*.

• Расчёт SE — как вычисляются стандартные ошибки параметров пунктов. Любой вариант, кроме По умолчанию, заставляет вычислять их и многомерную подгонку, которая вне MHRM их обычно пропускает. На стохастических методах mirt другие типы не принимает, поэтому при MHRM и SEM недоступны все три, а при MCEM — Сэндвич-оценка (робастная) и Кросс-произведение. Недоступный вариант сменяется на По умолчанию.
• По умолчанию — поле ничего не передаёт, и mirt применяет собственную настройку для данной модели и метода оценивания. Какая это настройка, сказано в описании каждого поля. Для поля Расчёт SE это информационная матрица Оукса в семействе EM.
• Сэндвич-оценка (робастная) — сэндвич-оценка ковариационной матрицы, остающаяся состоятельной, даже когда модель верна лишь приближённо. Подходит для подгонки, в спецификации которой вы сомневаетесь.
• Кросс-произведение — внешнее произведение векторов градиента по каждому респонденту. Из трёх вариантов этот вычисляется быстрее всего.
• Полные данные — информация по правдоподобию полных данных, как если бы θ наблюдалась. Неопределённость θ не учитывается, поэтому стандартные ошибки получаются заниженными.
• Латентное распределение — какую форму модель предполагает у θ в популяции. Эмпирическая гистограмма доступна только при размерности Одномерная и методе EM. В остальных случаях вариант недоступен, и запуск использует Гауссово.
• Гауссово — по умолчанию: θ распределена нормально.
• Эмпирическая гистограмма — распределение θ оценивается вместе с пунктами в виде гистограммы по квадратурным точкам. Подходит для черты, распределённой в популяции асимметрично или бимодально.
• Оптимизатор — численная процедура, максимизирующая правдоподобие внутри каждого цикла. По умолчанию mirt выбирает BFGS, если ни один параметр не ограничен, и nlminb, если ограничен хотя бы один, так что умолчание зависит от типа модели. GGUM подгоняется оптимизатором L-BFGS-B, если здесь не выбран другой, и карточка сообщает об этом. Явный выбор всегда имеет приоритет. Попробуйте другой оптимизатор, если подгонка не сходится.
• Ньютон — Рафсон — шаги по вторым производным: быстро сходится вблизи оптимума.
• Нелдер — Мид — симплексный поиск без производных: медленный, запасной вариант на случай, когда градиентные методы не справляются.
• L-BFGS-B — квазиньютоновский метод, учитывающий границы параметров. Его по умолчанию получает GGUM.
• Точки квадратуры — по скольким точкам на измерение методы семейства EM интегрируют θ. По умолчанию — число mirt: 61 на одном измерении и меньше при добавлении измерений (31 на двух). Более частые сетки предлагаются только при размерности Одномерная, в остальных случаях они недоступны.
• Точные (91) — 91 точка: более точное интегрирование, особенно на хвостах черты, ценой пропорционального роста времени.
• Очень точные (121) — 121 точка и ещё такой же выигрыш.
• Ускоритель EM — ускорение циклов EM в методах EM, QMCEM и MCEM, а остальные методы его не используют.
• Рамсей — по умолчанию: ускорение Рамсея в реализации mirt.
• SQUAREM — квадратичный итерационный метод, который на медленно сходящейся задаче может обойтись меньшим числом циклов.
• Нет — обычные шаги EM: самый медленный вариант и способ проверить, не ускорение ли мешает подгонке сойтись.
• Допуск сходимости — изменение между циклами, ниже которого подгонка останавливается. Пустое поле означает значение mirt по умолчанию: 0.0001 в семействе EM и 0.001 при MHRM. Чем меньше допуск, тем точнее и медленнее подгонка.
• Макс. итераций — предельное число циклов. Пустое поле означает значение mirt: 500 в семействе EM и 2000 при MHRM. Увеличьте его, если карточка предупреждает, что подгонка не сошлась, но оценки выглядят устойчивыми.

Дифференциальное функционирование пунктов (DIF) #

Если выбрана группирующая переменная, каждый пункт проверяется на дифференциальное функционирование между её группами. Подгоняется многогрупповая модель, где латентные среднее и дисперсия свободны во всех группах, кроме опорной, и каждый проверяемый пункт сравнивается по критерию отношения правдоподобия χ² между двумя моделями: в одной пункт приравнен во всех группах, в другой может различаться. Критерий сравнивает оцениваемые моделью дискриминации и свободные члены пункта, и вывод их называет. Результаты описаны в разделе Результаты DIF.

• Группирующая переменная — столбец, задающий группы. В списке все категориальные столбцы и все столбцы с двумя значениями, а выбранный столбец исключается из числа пунктов. Наблюдения без значения исключаются, и всплывающее уведомление сообщает их число. Запуск останавливается, если осталось меньше двух групп, и предупреждает, если в наименьшей группе меньше 100 наблюдений: параметры пунктов каждой группы опираются только на её собственные наблюдения.
• Нет — по умолчанию: без анализа DIF.
• Якорные пункты — показываются, когда выбрана группирующая переменная: пункты, которые приравниваются между группами и никогда не проверяются, а тем самым ставят группы на одну шкалу θ (см. якорные пункты). По умолчанию не выбран ни один, и тогда каждый пункт проверяется относительно всех остальных. Если выбрать пункты, заведомо свободные от DIF, прочие пункты проверяются только относительно них. Список обслуживают кнопки Выбрать все и Снять все отметки. Если выбраны все пункты, проверять нечего, и запуск останавливается.
• Подбирать якоря эмпирически (очистка) — если якоря не выбраны, предварительный проход проверяет каждый пункт относительно всех остальных, и пункты с наименьшим DIF становятся якорным набором (пятая часть пунктов, но не меньше четырёх и никогда не все). Относительно этого набора затем проверяются остальные. Пока выбран хотя бы один якорь, флажок не действует. Он удваивает стоимость подгонки, а вывод называет оставленные якоря.
• Добавить попарные сравнения групп — показывается, если у группирующей переменной три группы или больше: основной критерий тогда общий и говорит лишь о том, что пункт где-то различается, но не между какими группами. Флажок добавляет таблицу, где каждый пункт проверяется в каждой паре групп на модели, заново подогнанной только к этим двум группам, с размерами эффекта для каждой пары. Все проверки «пункт × пара» корректируются как одно семейство. На каждую пару приходится по одной подгонке модели.

Обратные пункты #

Обратные пункты. Пункты, сформулированные против черты. Модуль переворачивает их сам. Одномерные подгонки и диагностика читают их перевёрнутыми, а проверка на небрежные ответы — в исходном виде. Если подогнать такой пункт как есть, он получит отрицательную дискриминацию и будет выглядеть несогласованным с остальными по коэффициенту H Моккена и корреляции «человек–сумма» (см. обратный пункт). Храните в данных ответы в том виде, в каком их дали респонденты, и укажите направление здесь: проверке на небрежные ответы нужны неперевёрнутые ответы, а обнаружение не видит переворачивания, сделанного до импорта или в Преобразовании данных. По умолчанию ничего не выбрано.

• Обнаружить — заполняет список по данным в их текущем виде, не запуская анализ: отмечаются пункты, направленные против большинства набора. Пункт, слишком слабо связанный с остальными, чтобы определить его направление, остаётся неотмеченным и называется под кнопками как неклассифицируемый. Если пунктов, направленных в одну сторону, столько же, сколько в другую, строка под кнопками называет пункт, чьё направление сохраняет выбор. Обнаружение пропускает обратный пункт, когда привычка соглашаться со всем выражена в выборке так же сильно, как сама черта, поэтому решает список, а не обнаружение: сверьте его с ключом опросника. Кнопка недоступна, пока установлен флажок Уже перевёрнуты в данных. Кнопка Снять все отметки очищает список, а Инвертировать выбор меняет отмеченные пункты на неотмеченные.
• Уже перевёрнуты в данных — по умолчанию выключено. Если флажок установлен, подгонка и диагностика читают выбранные пункты как есть, а проверка на небрежные ответы переворачивает их обратно, чтобы увидеть ответы в исходном виде. Обнаружение не может отличить заранее перевёрнутый пункт от прямого, поэтому это указывается вручную. Лучше оставить данные неперевёрнутыми.

Диапазон шкалы ответов. Концы шкалы, относительно которых пункты переворачиваются по формуле наименьшее + наибольшее − старое. Концы одни и те же для всех выбранных пунктов.

• Наименьшее — наименьшее значение, допустимое шкалой ответов (1 для пункта со шкалой 1–5). Если оставить поле пустым, используется наименьший ответ, встретившийся среди всех пунктов, он виден в пустом поле серым шрифтом.
• Наибольшее — наибольшее значение, допустимое шкалой ответов. Если оставить поле пустым, используется наибольший ответ среди всех пунктов, он виден в пустом поле серым шрифтом.

Обе карточки называют пункты, перевёрнутые в запуске (Обратные пункты, перевёрнутые для этого запуска: {items} или … уже перевёрнутые в данных: {items}), и каждый запуск применяет обнаружение к данным в том виде, в каком их читает анализ. Пункт, по-прежнему направленный против остальных (направление забыли указать, пункт перевёрнут дважды или заранее перевёрнута лишь часть пунктов), называется в примечании со ссылкой на этот список. Разведочная и конфирматорная модели читают данные как есть, и об этом сообщает примечание.

Параметры вывода #

Таблицы #

• Параметры пунктов — включено по умолчанию: таблица параметров пунктов со стандартными ошибками, если они вычислены. В ней дискриминация и трудность или пороги, у многомерной модели — свободные члены и MDISC/MDIFF, а также нижняя и верхняя асимптоты там, где они есть в модели (см. статистику пунктов).
• Сводка соответствия модели — включено: информационные критерии (AIC, BIC, логарифм правдоподобия) и критерий M2 с RMSEA, SRMSR, TLI и CFI (см. соответствие модели).
• Статистика соответствия пунктов — включено: S-X² для каждого пункта с его p, а также средние квадраты infit и outfit с их стандартизованными формами.
• Оценки способности испытуемых (θ) — включено: сводка распределения θ (у многомерной модели — по каждому измерению) с кнопкой, вставляющей θ и её SE в набор данных, а также статистики соответствия испытуемых, если они вычислены.
• Индексы надёжности и разделения — включено: маргинальная и эмпирическая надёжность, разделение испытуемых и пунктов и нацеленность теста. У многомерной модели — эмпирическая надёжность, разделение испытуемых и нацеленность по каждому измерению.
• Статистика соответствия испытуемых — выключено: число респондентов с Zh ниже −2 (плохое соответствие) и выше 2 (избыточное соответствие), а также с infit или outfit выше 1.5.
• Локальная зависимость (Q3 и LD-X²) — выключено: пары пунктов с Q3* выше порога (0.2, если порог не оценивается бутстрэпом) и пары со значимым после поправки LD-X² (p < 0.05). Флажок открывает дополнительный параметр Оценивать критическое значение Q3* бутстрэпом (см. локальную зависимость).
• Сравнение моделей (LR-тесты) — выключено, доступно только для одномерной модели и скрыто для моделей развёртывания, последовательной и непараметрических моделей. Заново подгоняет стандартную для шкалы пару моделей и сравнивает их: модель Раша и 2PL на дихотомических пунктах — критерием отношения правдоподобия, модель градуированных ответов и GPCM на политомических пунктах (а на смешанной шкале — вместе с 2PL для дихотомических пунктов) — только по AIC и BIC, поскольку эти модели не вложены. Подогнанная модель вне пары добавляется отдельной строкой и проверяется против 2PL, если это 3PL, 3PLu или 4PL.
• Таблица перевода баллов (сырой → θ) — выключено, только для одномерной модели: каждый возможный сырой балл с его θ и SE по эквейтингу истинных баллов, а рядом θ по EAPsum, если модель это допускает (см. таблицу перевода баллов).
• Ожидаемые баллы по измерениям — включено, только для многомерной модели: ожидаемый суммарный балл при θ от −3 до 3 на каждом измерении, когда остальные зафиксированы на 0 (см. ожидаемые баллы по измерениям).
• Сравнить размерности — выключено, только для разведочной модели: заново подгоняет модель при каждой размерности от 1 до выбранной и сравнивает AIC, BIC и логарифм правдоподобия, проверяя каждую пару соседних размерностей критерием отношения правдоподобия.
• Сравнить с неограниченной разведочной моделью — выключено, только для конфирматорной модели: подгоняет разведочную модель с тем же числом измерений и проверяет, не ухудшают ли конфирматорные ограничения соответствие модели данным, — критерием отношения правдоподобия, если конфирматорная модель вложена в разведочную, а если нет, карточка сообщает об этом.
• Факторные нагрузки — включено, только для многомерной модели: стандартизованные нагрузки (у разведочной модели — вращённые) с общностями (см. факторные нагрузки).
• Корреляции факторов — включено, показывается только при косоугольном вращении или коррелирующих конфирматорных факторах: корреляционная матрица факторов (см. корреляции факторов).

Параметры графиков #

• Характеристические кривые пунктов (ICC) — включено: вероятности ответов на каждый пункт в зависимости от θ. Для дихотомических пунктов это один общий график, а если есть хотя бы один политомический пункт — кривые отклика категорий и кривые ожидаемого балла (см. характеристические кривые пунктов).
• Информационные и характеристические кривые теста — включено: информация пунктов и теста, стандартная ошибка θ и характеристическая кривая теста на одном рисунке (см. функции информации).
• Карта Райта (карта «испытуемый–пункт») — включено: распределение θ испытуемых и положения пунктов рядом на одной оси θ (см. карту Райта).
• Кривая условной надёжности — выключено, только для одномерной модели: надёжность как функция θ с опорной линией на уровне 0.70 — отдельным разделом, а не панелью информационного рисунка (см. условную надёжность).
• Тепловая карта факторных нагрузок — включено, только для многомерной модели: таблица нагрузок в виде цветной сетки (см. тепловую карту факторных нагрузок).

Чтение результатов #

Карточка начинается со сводки по данным и примечаний о том, как подгонялась модель, а затем в указанном ниже порядке идут разделы — каждый при условии, что отмечен его параметр вывода и модель его допускает. Если вычисление раздела не удалось, заголовок остаётся, а вместо таблицы выводится сообщение R.

Соответствие модели #

Соответствие модели. Две таблицы: информационные критерии (AIC, BIC и Логарифм правдоподобия в столбцах Индекс и Значение) и абсолютное соответствие модели в столбцах Статистика, Значение и Подробности. Информационные критерии выводятся всегда, что бы ни случилось с расчётом абсолютного соответствия. Сами по себе они ничего не говорят: их сравнивают с критериями другой модели в сравнении моделей и сравнении размерностей, и меньшее значение лучше (см. AIC и BIC).

• M2 — χ² соответствия модели по ограниченной информации. Степени свободы (df) приводятся в столбце Подробности, а p — в строке p-значение. Если хотя бы один пункт политомический, строка называется M2*. Как и в критерии хи-квадрат соответствия модели, значимый результат говорит о том, что модель не воспроизводит данные точно, а на большой выборке он значим почти всегда. Если M2 вычислить не удалось, примечание вместо таблицы приводит сообщение R, и информационные критерии выводятся одни
• RMSEA — среднеквадратическая ошибка аппроксимации, построенная на M2, с 90-процентным доверительным интервалом в столбце Подробности (см. RMSEA). Примечание под таблицей оценивает её: хорошее соответствие ниже 0.05, приемлемое ниже 0.08, плохое от 0.08
• SRMSR — стандартизованный корень из среднего квадрата остатков: средний разрыв между корреляциями пунктов, которые предполагает модель, и наблюдаемыми. Так mirt называет SRMR. Выводится без оценки
• TLI — индекс Такера — Льюиса, построенный на M2, относительно базовой модели, в которой пункты не связаны (см. TLI). Выводится без оценки
• CFI — сравнительный индекс соответствия относительно той же базовой модели (см. CFI). Выводится без оценки

Сравнение моделей #

Сравнение моделей. Набор пунктов заново подгоняется стандартной для его формата ответов парой одномерных моделей при том же методе оценивания и тех же настройках, по таблице на пару. Модели сравниваются по AIC и BIC, и меньшее значение говорит в пользу модели.

• Модель — модель в строке. Если все пункты дихотомические, пара — Rasch и 2PL, если все политомические — GRM и GPCM, а на смешанной шкале — 2PL + GRM против 2PL + GPCM. Подогнанная модель вне пары добавляется в таблицу третьей строкой под своим названием из списка, и примечание говорит, какая это модель
• 2PL + GRM — смешанная шкала с моделью градуированных ответов для политомических пунктов, а дихотомические пункты в обеих подгонках остаются в 2PL
• 2PL + GPCM — смешанная шкала с обобщённой моделью частичного зачёта для политомических пунктов

Критерий отношения правдоподобия (χ², df и p) выводится там, где одна модель вложена в другую: в строке 2PL пары с моделью Раша, где значимый результат говорит в пользу свободно оцениваемых дискриминаций, и в строке подогнанной 3PL, 3PLu или 4PL, проверяемой против 2PL. В строке без критерия стоит «–». GRM и GPCM не вложены друг в друга, как и две смешанные подгонки, поэтому в их таблицах только информационные критерии (см. критерий отношения правдоподобия и вложенные модели).

Как читать сравнение. Оставляйте более простую модель, если LR-тест и оба информационных критерия не говорят в пользу более сложной. BIC штрафует каждый параметр сильнее, чем AIC, поэтому если они расходятся, данные не позволяют сделать выбор (см. BIC).

Сравнение размерностей #

Сравнение размерностей. Только для разведочной модели: модель заново подгоняется при каждой размерности от 1 до выбранной, по строке на каждое число измерений, с тем же типом модели, методом оценивания и настройками. Строка выбранного числа — это сама подогнанная модель. В каждой строке, кроме первой, есть критерий отношения правдоподобия (χ², df и p) против строки выше, где измерений на одно меньше. В первой строке стоит «–». Дополнительное измерение оправдано, если AIC и BIC уменьшаются, а критерий значим.

• Измерения — число измерений в подгонке этой строки

Сравнение соответствия конфирматорной и разведочной моделей #

Сравнение соответствия конфирматорной и разведочной моделей. Только для конфирматорной модели: неограниченная разведочная модель с тем же числом измерений, подогнанная к тем же пунктам, рядом с конфирматорной. Сравнение идёт по информационным критериям и по критерию отношения правдоподобия в строке конфирматорной модели. Незначимое p говорит, что заданные ограничения не ухудшают соответствие сколько-нибудь существенно, значимое — что данные предпочитают более гибкую структуру. Если спецификация освобождает столько же параметров, сколько разведочная модель, или больше (каждый пункт на каждом факторе при коррелирующих факторах), она не является её ограничением: критерий не выводится, а примечание советует сравнить информационные критерии.

• Структура — Разведочная для неограниченной подгонки, Конфирматорная для заданной. Измерения в обеих строках одинаковы

Факторные нагрузки #

Факторные нагрузки. Только для многомерной модели: по строке на пункт и по столбцу на измерение, стандартизованные нагрузки (у разведочной модели — после выбранного вращения, у конфирматорной — без вращения) с общностью h², то есть долей дисперсии пункта, объяснённой измерениями (см. факторную нагрузку и общность). Примечание под таблицей считает содержательной нагрузку выше 0.3.

Корреляции факторов #

Корреляции факторов. Только для многомерной модели и только при косоугольном вращении или для конфирматорной модели с коррелирующими факторами: корреляции между измерениями, по строке и столбцу на каждый Фактор. У разведочной модели это корреляции вращённого решения, у конфирматорной — оценённая латентная ковариация (см. корреляцию факторов).

Статистика пунктов #

Статистика пунктов. Одна таблица, по строке на пункт: параметры пунктов, если отмечено Параметры пунктов, и соответствие пунктов, если отмечено Статистика соответствия пунктов. Какие столбцы параметров появляются, зависит от модели и размерности, как описано ниже. Если стандартные ошибки вычислены, за каждой оценкой следует столбец SE(…), а если нет, примечание под таблицей объясняет причину: их пропустили, чтобы многомерная подгонка оставалась посильной, они недоступны для семейства моделей или не вычисляются, потому что mirt не смог обратить информационную матрицу (обычно это значит, что данные не идентифицируют модель).

Столбцы параметров одномерной модели:

• Дискриминация (a) — насколько резко пункт разделяет респондентов по обе стороны от своего положения (см. дискриминацию). Ячейка красная ниже 0.65 и жёлтая от 0.65 до 1.35 (диапазоны Бейкера), а примечание под таблицей считает значения от 1.35 высокими. Отрицательное значение означает пункт, идущий против черты, — обычно это пункт, который забыли внести в обратные пункты
• SE(a) — стандартная ошибка дискриминации. SE(b) и SE(b{n}) — то же для трудности и каждого порога
• Трудность (b) — для дихотомических пунктов: θ, при которой ключевой ответ становится вероятнее противоположного. Чем выше значение, тем труднее пункт (см. трудность)
• Порог {n} — для политомических пунктов: по столбцу на каждый шаг между соседними категориями, и каждый — положение этого шага на θ (см. порог). В обобщённой модели рейтинговой шкалы в каждой строке один общий набор порогов, сдвинутый к положению пункта, так что промежутки между порогами у всех пунктов одинаковы, о чём говорит примечание под таблицей
• Угадывание (c) — нижняя асимптота там, где модель её освобождает (3PL, 4PL): вероятность ключевого ответа в самом низу черты (см. угадывание). Её стандартная ошибка, SE(логит c), дана в шкале логитов, где асимптота и оценивается, а не в вероятностной шкале самой оценки
• Верхняя асимптота (u) — верхняя асимптота там, где модель её освобождает (3PLu, 4PL): предел вероятности ключевого ответа в самом верху черты. SE(логит u) тоже дана в шкале логитов

Столбцы параметров многомерной модели:

• a1, a2, … — наклон на каждом измерении под именами параметров mirt, рядом SE(a1), …
• Свободный член (d) — свободный член пункта, заменяющий трудность, когда наклонов несколько. У политомического пункта — Свободный член {n}, по одному на шаг (см. свободный член). Их стандартные ошибки — SE(d) и SE(d{n}). Модель идеальной точки выводит тот же столбец
• MDISC — многомерная дискриминация, то есть длина вектора наклонов пункта $\sqrt{{\sum }_k{a}_k^2}$: насколько резко пункт различает в том направлении, где он измеряет лучше всего
• MDIFF — многомерная трудность, $-d/\text{MDISC}$: положение пункта вдоль этого направления. У политомического пункта со свободным членом на каждый шаг столбец называется Среднее положение и содержит $-\bar{d}/\text{MDISC}$ — приближённую сводку, а не стандартную величину IRT, о чём говорит примечание под таблицей

Столбцы параметров отдельных семейств. Некоторые семейства моделей вообще не оценивают дискриминацию и трудность, поэтому, если шкала целиком подогнана одним из них, таблица показывает то, что эти модели действительно оценивают, а примечание о семействе заменяет диапазоны дискриминации и трудности. На шкале со смешанными семействами остаются общие столбцы, описанные выше.

• Наклон категории {n} — номинальная модель: наклон категории n, по одному на категорию вместо единой дискриминации. Стандартные ошибки не выводятся, поскольку mirt даёт их в иной параметризации, чем сами оценки
• Свободный член категории {n} — номинальная модель: свободный член категории n
• Идеальная точка (b) — GGUM: положение пункта на черте, где согласие максимально и откуда оно убывает в обе стороны. Дискриминация этого пункта — Дискриминация (a), как выше
• Широта {n} — GGUM: субъективные пороги категорий, расположенные по обе стороны от идеальной точки
• Наклон (a) — модель идеальной точки: наклон пункта, рядом со столбцом Свободный член (d)
• Идеальная точка (θ) — модель идеальной точки: θ, при которой вероятность ответа максимальна, то есть −d/a
• Коэффициенты базиса — модели сплайнов и монотонного полинома: каждый коэффициент под собственным именем mirt (s1, s2, … у сплайна) в том виде, в каком он оценён, и рядом его SE(…), если она вычислена. Как дискриминация или трудность такие коэффициенты не читаются: о пунктах этих моделей судят по характеристическим кривым и кривым ожидаемого балла

Положение пункта развёртывания везде на карточке — это позиция на черте, поэтому вывод о нацеленности ниже говорит о взаимном расположении пунктов и выборки, а не о слишком лёгком или слишком трудном тесте.

Столбцы соответствия:

• S-X² — χ² соответствия пункта Орландо и Тиссена с df и p. Пункты корректируются как одно семейство согласно поправке на множественные сравнения (см. S-χ²). Значимый результат отмечает пункт, ответы на который отклоняются от его кривой
• Infit MNSQ — взвешенный по информации средний квадрат, ожидаемое значение 1. Больший вес получают респонденты вблизи положения пункта (см. infit)
• Infit ZSTD — стандартизованный средний квадрат infit. Читается как z относительно ±2
• Outfit MNSQ — невзвешенный средний квадрат, ожидаемое значение 1. Сильнее реагирует на неожиданные ответы вдали от положения пункта (см. outfit)
• Outfit ZSTD — стандартизованный средний квадрат outfit. Читается как z относительно ±2

Для моделей семейства Раша примечание под таблицей оценивает средние квадраты: от 0.5 до 1.5 — продуктивно для измерения, выше 2.0 — пункт ухудшает измерение. Для остальных моделей этот диапазон приводится только для справки.

Локальная зависимость #

Локальная зависимость (Q3 и LD-X²). Пары пунктов, отмеченные хотя бы одной статистикой, по строке на пару. У пары, отмеченной только одной статистикой, значения другой нет. Если не отмечена ни одна пара, раздел сообщает об этом и о том, что допущение о локальной независимости подтверждается (см. локальную зависимость).

• Пункт 1 — первый пункт пары. Пункт 2 — второй
• Q3 — Q3 Йена: корреляция остатков двух пунктов после учёта θ (см. Q3 Йена). Приводится для справки, а отметку ставит Q3*
• Q3* — Q3 минус среднее всех недиагональных Q3, которое приводится в примечании под таблицей. Пара отмечается, когда |Q3*| превышает порог: 0.2 или значение, полученное бутстрэпом (см. ниже)
• LD-X² — χ² локальной зависимости Чена и Тиссена для пары, с p. Пара отмечается, если её p, скорректированное по всем парам пунктов как одному семейству согласно поправке на множественные сравнения, меньше фиксированной границы 0.05, а не уровня значимости

Оценивать критическое значение Q3* бутстрэпом. Дополнительный параметр флажка Локальная зависимость (Q3 и LD-X²): вместо порога 0.2 берётся процентиль уровня 1 − α (α — уровень значимости) наибольшего |Q3*| по наборам данных, смоделированным по подогнанной модели и подогнанным заново. Наборов столько, сколько задано повторов бутстрэпа, и генерируются они с зерном бутстрэпа. Примечание приводит процентиль и число повторов. Если бутстрэп не удался, примечание называет причину, и используется порог 0.2.

Есть отмеченные пары? Это два пункта с общей формулировкой, общим стимулом или общим вторым измерением: объедините их в один пункт, исключите один из пары или подгоните общее для них измерение (см. локальную независимость).

Оценки способности испытуемых #

Оценки способности испытуемых. Сводка θ, оценённых выбранным методом расчёта оценок: для одномерной модели — столбцы Статистика и Значение, для многомерной — по строке на каждое Измерение. Примечание называет метод и то, что он означает для разброса. Респонденты без конечной θ (при MLE это паттерны из одних минимальных или одних максимальных ответов) исключаются из всех индивидуальных статистик, и их число приводит примечание в начале карточки.

• Среднее θ — среднее оценок, близкое к 0, где модель фиксирует среднее черты
• SD θ — разброс оценок, при EAP и MAP заниженный относительно SD черты, поскольку эти оценки стянуты к среднему
• Мин. θ — наименьшая оценка. Макс. θ — наибольшая
• Средняя SE — средняя по респондентам стандартная ошибка θ. Чем она меньше, тем точнее оценки (см. SE(θ))
• Вставить θ и SE в набор данных — добавляет в данные θ каждого респондента и её стандартную ошибку под именами, в которых указан метод: IRT_Theta_EAP и IRT_SE_EAP для одномерной модели, IRT_Theta1_EAP, IRT_SE1_EAP, IRT_Theta2_EAP, … для многомерной. Если вычислялись показатели соответствия испытуемых, кнопка называется Вставить θ, SE и показатели соответствия испытуемых в набор данных и добавляет ещё IRT_Zh, IRT_Infit и IRT_Outfit. Строка, не вошедшая в расчёт, значений не получает

Соответствие испытуемых #

Соответствие испытуемых. Сколько респондентов ответили по паттерну, плохо соответствующему модели, в столбцах Критерий и Количество. Каждое число указано относительно общего числа оценённых респондентов (см. соответствие испытуемых). Примечание под таблицей говорит, сколько респондентов выходят за каждый порог Zh чисто случайно (число около этого — не находка), а для модели вне семейства Раша добавляет, что пороги среднего квадрата 1.5 — соглашение модели Раша и Zh здесь более надёжный показатель.

• Испытуемые с Zh < −2 (плохое соответствие) — Zh (стандартизованный логарифм правдоподобия ответов респондента) ниже −2: паттерн менее вероятен, чем ожидает модель (угадывание, небрежные или своеобразные ответы)
• Испытуемые с Zh > 2 (избыточное соответствие) — выше 2 паттерн согласованнее, чем ожидает модель, как бывает при жёстко регулярном стиле ответов
• Испытуемые с infit > 1.5 — взвешенный по информации средний квадрат респондента выше 1.5: неожиданные ответы на пункты вблизи его собственной θ
• Испытуемые с outfit > 1.5 — невзвешенный средний квадрат выше 1.5: неожиданные ответы на пункты вдали от его θ

Надёжность и разделение #

Надёжность и разделение. Насколько точно тест измеряет выборку и насколько тонко её различает, в столбцах Индекс и Значение. У многомерной модели — по строке на каждое Измерение, только с индексами для испытуемых и с примечанием о том, как в этом случае читается нацеленность. При включённой интерпретации столбец Интерпретация оценивает каждый индекс.

• Эмпирическая надёжность — надёжность, которой достигли оценки θ в выборке. Вычисляется по дисперсии оценок и их стандартным ошибкам в форме, нужной методу расчёта оценок (см. эмпирическую надёжность)
• Маргинальная надёжность — надёжность, которую модель предполагает для своей популяции: информация теста, усреднённая по латентному распределению (см. маргинальную надёжность). Только для одномерной модели. Для модели без информации теста, то есть семейства сплайнов, — N/A
• Разделение испытуемых — разброс θ испытуемых в единицах их ошибки измерения, вычисленный по эмпирической надёжности (см. разделение испытуемых)
• Число страт — сколько статистически различимых уровней черты даёт разделение: $(4G+1)/3$ при разделении G. Словесной оценки эта строка не получает
• Надёжность пунктов — тот же вопрос применительно к пунктам: насколько воспроизводимо упорядочены их положения. Вычисляется по разбросу положений относительно их стандартных ошибок. Только для одномерной модели. Нужны стандартные ошибки параметров пунктов, без них — N/A. Вне семейства Раша, которому принадлежит этот индекс, строка называется Надёжность пунктов (в стиле Раша)
• Разделение пунктов — аналог разделения испытуемых для пунктов, по надёжности пунктов. Вне семейства Раша строка соответственно называется Разделение пунктов (в стиле Раша)
• Нацеленность теста (среднее испытуемых − среднее пунктов) — среднее θ минус среднее положение пунктов в единицах θ: положительное значение означает, что выборка расположена выше пунктов и тест для неё лёгок, отрицательное — что ниже (см. нацеленность теста). Положение пункта — это его трудность, у политомического пункта — среднее его порогов, в моделях развёртывания — идеальная точка. У семейства без параметра положения (номинальная модель, сплайны) нацеленность — N/A
• Разделение — для многомерной модели: разделение испытуемых по измерению
• Страты — для многомерной модели: число страт по измерению
• Нацеленность — для многомерной модели: среднее испытуемых по измерению минус среднее положение на этом измерении тех пунктов, чья наибольшая нагрузка приходится на него. Если таких пунктов нет, нацеленность для измерения не определена
• Интерпретация — надёжности оцениваются по общим диапазонам надёжности: Неприемлемая ниже 0.50, Плохая до 0.60, Сомнительная до 0.70, Приемлемая до 0.80, Хорошая до 0.90, Отличная от 0.90 и Отличная (возможна избыточность) от 0.95. Разделение и нацеленность оцениваются по диапазонам ниже. В строке многомерной модели три вывода объединены

Выводы для развёртывания применяются, когда все пункты подогнаны GGUM или моделью идеальной точки: у их пунктов нет трудности, которая могла бы оказаться слишком малой или слишком большой.

Таблица перевода баллов #

Таблица перевода баллов (сырой → θ). Только для одномерной модели: каждый возможный сырой балл, от суммы наименьших наблюдённых значений пунктов до суммы наибольших, с соответствующей θ и её стандартной ошибкой.

• Сырой балл — сумма баллов респондента по пунктам (см. сырой балл)
• θ (эквейтинг) — θ, при которой ожидаемый суммарный балл модели равен сырому баллу (эквейтинг по истинному баллу), и SE(θ) (эквейтинг) — её стандартная ошибка по информации теста в этой точке. Сырой балл, которого кривая ожидаемого балла никогда не достигает (на практике наименьший и наибольший), даёт N/A
• θ (EAPsum) — среднее θ при данном сыром балле и SE(θ) (EAPsum) — её стандартная ошибка. Оба столбца показываются, если модель это допускает

Какой столбец? В семействе Раша (Раш, PCM, RSM) сырой балл несёт всю информацию о θ, и оба столбца по существу совпадают. В моделях 2PL, 3PL и градуированных ответов у двух респондентов с одинаковым сырым баллом θ может различаться, и читать следует θ (EAPsum) (см. сырой балл).

Ожидаемые баллы по измерениям #

Ожидаемые баллы по измерениям. Только для многомерной модели: ожидаемый суммарный балл при θ = −3, −2, …, 3 на каждом измерении по очереди, когда остальные зафиксированы на 0, — по строке на каждое θ и по столбцу на измерение. Круто растущий столбец соответствует измерению, к которому суммарный балл чувствителен (см. ожидаемый балл).

Результаты DIF #

Дифференциальное функционирование пунктов (DIF). По строке на каждый проверенный пункт. Над таблицей — строка с группирующей переменной, её группами с их объёмами и опорной группой, у которой латентные среднее и дисперсия зафиксированы, так что все различия выражены относительно неё (см. дифференциальное функционирование пунктов). Если группирующая переменная оставляет меньше двух групп или у модели нет наклонов и порогов для проверки, раздел сообщает об этом вместо таблицы.

• Пункт — проверяемый пункт. Знак † отмечает пункт, модель которого не сошлась, так что его проверка опирается на несошедшуюся подгонку
• Общий — критерий отношения правдоподобия для всех проверяемых параметров пункта: χ², df (число сравниваемых параметров) и p, а рядом p (скорр.), если поправка на множественные сравнения показывает исходные и скорректированные значения рядом
• Неравномерный — тот же критерий, но освобождаются только наклоны (см. неравномерный DIF). То, что общий критерий добавляет сверх него, — равномерный DIF. Выводится, если модель оценивает наклоны и что-то ещё: у модели с фиксированными наклонами (Раш, модель рейтинговой шкалы Андрича) такого разделения нет, а у модели, где параметры пунктов — одни наклоны, сверх них проверять нечего
• Размер эффекта — только при двух группах: три описанных ниже размера эффекта Мида (Meade, 2010) по ожидаемому баллу. При трёх группах и больше эти размеры эффекта приводятся в таблице попарных сравнений
• SIDS — знаковая разность ожидаемых баллов. Положительное значение означает, что при равном уровне черты пункт даёт преимущество фокальной группе
• UIDS — её беззнаковый аналог. Большой UIDS при SIDS около нуля указывает на DIF, который меняет направление по ходу черты: знаковая мера при этом взаимно погашается, а беззнаковая — нет
• ESSD — разность, нормированная на стандартное отклонение ожидаемого балла, так что её можно сравнивать между пунктами и шкалами

Примечания под таблицей называют параметры, которые сравнивал каждый критерий (их и считает df), и схему якорей: якоря не заданы, и каждый пункт закреплён на всех остальных; выбраны ваши якоря; якоря отобраны очисткой, и указано их число.

Если включены попарные сравнения, следует вторая таблица: по строке на каждый пункт и пару групп, каждая строка — на модели, заново подогнанной только к этим двум группам. Все проверки «пункт × пара» корректируются как одно семейство, и для каждой пары приводятся её размеры эффекта.

• Группы — проверяемая в строке пара. Её размеры эффекта отсчитываются со знаком от первой из двух групп

Графики #

Каждый график — отдельный раздел карточки в указанном ниже порядке, если отмечен его параметр графика и модель его допускает. Любой график можно изменить в размере и сохранить в SVG, PNG или JPG кнопками рядом с ним (см. изменение размера и экспорт графиков). Размер рисунка из нескольких панелей меняется одной ручкой. Кривые строятся по θ от −4 до 4 с расширением на единицу за наименьшее и наибольшее положение пунктов, а на многомерном рисунке каждая кривая идёт вдоль одного измерения, когда остальные зафиксированы на 0, о чём говорит примечание под рисунком.

Характеристические кривые пунктов #

Характеристические кривые пунктов. Вероятности ответов на каждый пункт в зависимости от θ (см. характеристическую кривую пункта). Если все пункты дихотомические, они наложены на одном графике: по вертикали — вероятность более высокого из двух ответов, а пунктирная линия отмечает P = 0.5. Чем круче кривая, тем сильнее дискриминирует пункт, а чем она правее, тем пункт труднее. Если хотя бы один пункт политомический, каждый пункт изображается на двух панелях. Это кривые отклика категорий — по небольшому графику на пункт с кривой на каждое значение ответа (цвет задаётся значением, так что категория сохраняет цвет во всех пунктах) — и кривые ожидаемого балла: общий график ожидаемого балла каждого пункта в его собственной шкале ответов. В сумме эти кривые дают характеристическую кривую теста. У многомерной модели запись каждого пункта в легенде называет измерение, вдоль которого идёт его кривая.

Функции информации #

Функции информации. Рисунок из одной, двух или трёх панелей (см. информацию пункта и информацию теста):

• Кривые информации — информация каждого пункта тонкой линией и информация теста толстой (у многомерной модели — по линии на измерение), а пунктиром по правой оси — стандартная ошибка θ, $1/\sqrt{I(\theta )}$
• Характеристическая кривая теста — ожидаемый суммарный балл в зависимости от θ в собственных шкалах ответов пунктов. У многомерной модели — по кривой на измерение
• Условная надёжность — кривая условной надёжности: у одномерной модели рисуется здесь, только пока снят флажок Кривая условной надёжности, а у многомерной — всегда, по кривой на измерение

Модель семейства сплайнов не имеет функции информации, поэтому заголовок раздела остаётся, а вместо рисунка примечание объясняет почему. Характеристические кривые этой модели строятся как обычно.

Как читать кривую информации. Тест измеряет точнее всего там, где информация достигает пика, а стандартная ошибка — минимума. Скрининговому тесту нужен пик на пороге отбора, тесту общего назначения — широкое плато (см. информацию теста).

Карта Райта #

Карта Райта (карта «испытуемый–пункт»). Испытуемые и пункты на одной оси θ (см. карту Райта). Слева Испытуемые — горизонтальная гистограмма оценок θ, справа Пункты — каждый пункт точкой в своём положении: это трудность, у политомического пункта — среднее порогов, а в моделях развёртывания — идеальная точка, и тогда ось подписана Черта / Идеальная точка (θ), а не Способность / Трудность (θ). Там, где подписи перекрывались бы, они разнесены и соединены со своими точками линиями. Пороги политомического пункта показаны штрихами рядом с его точкой, о чём говорит примечание под картой. Многомерная модель рисует по паре панелей на измерение, одну под другой, и в каждой — пункты, чей наибольший наклон приходится на это измерение. Штрихов порогов там нет, а примечание говорит, что положение политомического пункта усредняет его свободные члены. Модель без параметра положения пункта (у одномерной подгонки — номинальная модель и сплайны) карту не строит, и примечание объясняет почему.

Как читать карту. Пункты на уровне скопления испытуемых измеряют этих испытуемых лучше всего, а испытуемые, рядом с которыми нет пунктов, измеряются грубо (см. нацеленность теста).

Условная надёжность #

Условная надёжность. Только для одномерной модели: надёжность θ в каждой точке черты, $I(\theta )/(I(\theta )+1/{\sigma }_{\theta }^2)$, с пунктирной опорной линией на уровне 0.70, по которой видно, где на черте тест измеряет приемлемо. Тест с высокой маргинальной надёжностью всё равно может плохо измерять на краях. Флажок Кривая условной надёжности выводит кривую отдельным разделом и убирает её из информационного рисунка. У модели без функции информации (сплайны) заголовок остаётся, а на месте кривой — примечание. При неудавшемся вычислении выводится сообщение R.

Тепловая карта факторных нагрузок #

Тепловая карта факторных нагрузок. Только для многомерной модели: таблица факторных нагрузок в виде сетки, по строке на пункт и по столбцу на измерение (у разведочной модели нагрузки вращённые, как в таблице). В каждой ячейке напечатана нагрузка, а цвет отражает знак и величину: синий — положительная, красный — отрицательная, с переходом в белый около 0.

Допущения #

• Одномерность — одномерная модель предполагает, что пункты измеряют одну черту. Проверьте это предварительным анализом до подгонки. Многомерная модель вместо этого предполагает, что пункты измеряют заданные ей измерения (см. одномерность)
• Локальная независимость — после учёта черты ответы на пункты между собой не связаны. Пункты с общим стимулом, формулировкой или содержанием это допущение нарушают. Проверьте его выводом локальной зависимости (см. локальную независимость)
• Монотонность — чем выше черта, тем вероятнее высокие категории. Модели развёртывания (GGUM, идеальная точка) вместо этого предполагают одновершинную кривую. Допущение проверяет блок Монотонность предварительного анализа
• Правильная спецификация модели — выбранная модель описывает данные. Проверьте соответствие модели и соответствие пунктов и учтите сравнение моделей
• Достаточный объём выборки — на малых выборках параметры оцениваются менее точно, а более сложным моделям нужно больше респондентов (см. достаточность объёма выборки)
• Пункты направлены в одну сторону — для одномерной подгонки обратно сформулированный пункт переворачивается, если не используется модель развёртывания: отметьте его в обратных пунктах и оставьте ответы в данных такими, какими их дали респонденты. Обнаружить предлагает список, а запуск называет пункты, которые по-прежнему выглядят перевёрнутыми

Пропущенные данные #

Какие строки войдут в подгонку, решает глобальная настройка пропущенных данных. При попарном удалении (по умолчанию) подгоняются все строки, и θ каждого человека оценивается по пунктам, на которые он ответил. При построчном удалении подгоняются только строки с ответами на все пункты. При импутации пропуски заполняются до подгонки, а заполненные ответы учитываются как наблюдённые. Сводка по данным на карточке приводит объём выборки и рядом — число полных наблюдений.

В предварительном анализе блоки собственных чисел и качества ответов следуют той же настройке, а блоки Моккена всегда работают на полных наблюдениях, поскольку пакет mokken не принимает пропущенные ответы. Вывод указывает, какие блоки на чём рассчитаны.

Контрольный список для отчёта #

Метод:

• Размерность: одномерная модель, разведочная с k измерениями и методом вращения или конфирматорная с факторной структурой и указанием, коррелируют ли факторы
• IRT-модель (например, «модель градуированных ответов подогнана с помощью пакета R mirt»)
• Метод оценивания и метод оценки θ
• Число пунктов, их типы (дихотомические, политомические или смешанные) и объём выборки с числом полных наблюдений
• Как обрабатывались пропущенные данные
• Поправка p-значений для статистик соответствия пунктов, LD-X² и DIF
• Дополнительные настройки, отличающиеся от значений по умолчанию
• Программное обеспечение и использованные пакеты R

Результаты:

• Соответствие модели: M2 (M2* при политомических пунктах) с df и p, RMSEA с 90-процентным ДИ, SRMSR, TLI и CFI, а при сравнении моделей или размерностей — AIC и BIC
• Параметры пунктов со стандартными ошибками, у многомерной модели — по измерениям, с MDISC и MDIFF
• Соответствие пунктов: S-X² со скорректированным p, а также infit и outfit, где они применимы
• Распределение θ (среднее, SD, размах), у многомерной модели — по измерениям
• Надёжность и разделение: маргинальная надёжность для одномерной модели, эмпирическая надёжность и разделение испытуемых по измерениям для многомерной
• Для многомерной модели — факторные нагрузки, а при косоугольном вращении или коррелирующих факторах ещё и корреляции факторов
• Проблемные пункты: низкая дискриминация, плохое соответствие, локальная зависимость
• DIF, если он проверялся: группирующая переменная, схема якорей, скорректированные p и размеры эффекта
• Карта Райта и другие графики в виде рисунков

Воспроизводимость в R #

Каждый анализ выводит свой R-код в консоль R. IRT-анализ использует пакет mirt для подгонки моделей, вращений, параметров пунктов и испытуемых, статистик соответствия, DIF, таблицы перевода баллов и кривых на графиках. Предварительный анализ дополнительно использует mokken для шкалируемости, монотонности, IIO, непересечения, непараметрической надёжности и подбора шкал, а psych — для полихорических и смешанных корреляций в проверке одномерности. Робастное расстояние Махаланобиса вычисляется по оценке минимального определителя ковариации из MASS. Ссылки на пакеты R автоматически появляются в начале вывода. Бутстрэп Q3* зависит от параметра Зерно бутстрэпа, а случайные разбиения индивидуальной надёжности (RIR) и подвыборки MCD — от параметра Зерно воспроизводимости. Задайте оба зерна, чтобы значения повторялись от запуска к запуску. Обоснование порогов, оценок, запасных вариантов и графиков изложено в методических заметках.

Типичные ошибки #

IRT без предварительной проверки данных. Предварительный анализ выявляет нарушения одномерности, небрежных респондентов и пункты, не укладывающиеся в монотонную модель, — проблемы, при которых параметры подогнанной модели выглядят точными, но ничего не значат. Нажмите Диагностика и Моккен до первой подгонки.

3PL по умолчанию. Параметр угадывания привлекателен для тестов с выбором ответа, но его трудно оценить: при менее чем 500 респондентах он часто плохо идентифицирован и может сделать неустойчивой всю модель, поэтому проверка объёма выборки и предупреждает именно здесь. Начните с 2PL и добавляйте угадывание только при большой выборке и систематически плохом соответствии 2PL в области низких θ.

EM при высокой размерности. EM вычисляет полную квадратурную сетку по всем измерениям, поэтому начиная с трёх измерений может работать очень медленно или не сойтись. Перейдите на QMCEM или MCEM, которые интегрируют по случайным точкам, или на MHRM: он ещё быстрее и сам вычисляет стандартные ошибки параметров пунктов многомерной модели.

Чтение невращённых нагрузок. Невращённое разведочное решение обычно помещает все пункты на первое измерение, так что по его нагрузкам редко видно, какие пункты связаны между собой. Оставьте Облимин по умолчанию или выберите другое вращение, если у вас нет причины читать исходный базис подгонки. Вращение затрагивает только нагрузки, их тепловую карту и корреляции факторов.

Игнорирование соответствия пунктов. Модель может хорошо соответствовать данным в целом и всё же содержать пункты с очень плохим соответствием, а один такой пункт искажает θ всех респондентов вблизи его положения. Проверяйте S-X², infit и outfit в статистике пунктов, а не только общее соответствие модели.

Переоценка DIF. Значимый критерий DIF сам по себе не делает пункт смещённым: на больших выборках значимыми становятся и малые различия, а пункт может отражать реальное различие групп, а не артефакт тестирования. Смотрите на размеры эффекта в результатах DIF рядом с p-значением.

θ как точный балл. У каждой θ есть стандартная ошибка: два человека с θ = 0.5 и θ = 0.7 содержательно не различаются, если у обоих SE = 0.3. Рассматривайте каждую θ вместе с её SE, вставленной в набор данных рядом с ней, а о том, где на черте тест измеряет точно, судите по условной надёжности или по кривой стандартной ошибки на рисунке функций информации.

Параметрическая модель вопреки провалу Моккена. Пункты, не образующие шкалу Моккена (H < 0.3), вряд ли подойдут и для параметрической IRT-модели: плохая шкалируемость обычно означает, что пункты не измеряют один конструкт. Прежде чем подгонять одномерную параметрическую модель, рассмотрите факторный анализ или многомерную модель.