Прохождение экзамена #

Преподаватель присылает вам ссылку. В ней уже есть весь экзамен: вопросы и описание, по которому строится набор данных. Ничего не нужно скачивать или загружать, регистрироваться тоже не нужно. Всё работает в браузере, и результаты остаются на вашем компьютере.

Быстрый старт #

1. Откройте ссылку. Появится окно Введите имя.
2. Введите имя точно так, как ожидает преподаватель. Из имени строится ваш набор данных, и при другом написании данные будут другими.
3. Данные загрузятся, и справа на экране появится панель Экзамен.
4. Для каждого вопроса выполните названный в нём анализ, найдите нужное число на карточке результатов и введите его в поле вопроса. Затем нажмите внизу панели Проверить ответы: {n} — одним нажатием проверяются все введённые ответы.
5. Когда пройдено достаточно вопросов, выгрузите отчёт через меню Экспорт.

Почему ваши числа не совпадают с чужими? Ваше имя превращается в зерно генератора случайных чисел, и по этому зерну генерируются данные. У всех студентов наборы данных одинаковой структуры, но с разными значениями, поэтому то, какие переменные окажутся значимыми, зависит только от ваших данных. Списать ответы у однокурсника или найти их где-то ещё не получится. Зато ваши данные полностью воспроизводимы: преподаватель восстановит их по вашему имени и сверит с ними ваш отчёт.

Панель экзамена #

Панель расположена поверх приложения, так что работать можно, не закрывая её.

• В заголовке панели выводятся надпись Экзамен и ваш счёт в виде пройдено / всего. Щелчок по заголовку сворачивает панель, чтобы она не мешала. Повторный щелчок возвращает её.
• Ниже перечислены все вопросы, у каждого своё поле для ответа.
• Внизу панели — состояние экспорта (см. экспорт отчёта), кнопка Проверить ответы: {n} и кнопка Восстановить экзаменационные данные.

Диалоговые окна открываются поверх панели, поэтому окна Наблюдения и Переменные доступны и при открытой панели.

Ответы #

Для ответа на вопрос служит одно поле, и его вид зависит от того, что спрашивается.

Пока на вопрос нет ответа, в поле стоит — нет ответа —. Если вопрос основан на предыдущем, он остаётся пустым, пока вы не ответите на предыдущий, и в нём выводится сообщение Сначала ответьте на предыдущий вопрос, на котором основан этот.

Почему вопрос «выберите один из вариантов» не оценивается? Вопросы вроде выберите одну из только что перечисленных шкал нужны для того, чтобы следующие вопросы строились на вашем выборе. Правильного выбора здесь нет: оценивается то, что вы скажете о выбранной переменной.

Проверка ответов #

Нажмите Проверить ответы: {n}, и все введённые ответы без отметки сразу её получат: Верно или Приложение выдало другое число — ещё раз посмотрите результаты. На кнопке видно, сколько ответов будет проверено: Проверить 1 ответ, а если отметки уже стоят у всех ответов — Нечего проверять. Таблица проверяется по ячейкам, так что видно, в какой именно строке ошибка.

• Число попыток не ограничено и не учитывается. Ответ с отметкой, в том числе неверный, снова попадает в проверку, как только вы его измените. Сколько раз вы проверяли ответы, нигде не записывается, и штрафа за раннюю проверку нет.
• Заработанная отметка сохраняется. Пройденный вопрос остаётся пройденным, даже если потом вы измените настройки.
• Набор оценивается целиком. Если вопрос с флажками не пройден, значит, один из флажков стоит неверно. Не угадывайте, какой именно: вернитесь к результатам и ещё раз изучите таблицу.
• При изменении ответа сбрасывается всё, что от него зависит. Если вы измените выбор, вопросы, основанные на нём, потеряют ответы и отметки, ведь они касались другой переменной.

Вопросы, для которых нужен R, проверяются секунду-другую, и на это время появляется индикатор загрузки. На панели при этом видна надпись Проверка…, а экран блокируется, чтобы проверка не пересеклась с запущенным вами анализом. Кнопка Отмена прерывает проверку.

Вводите то, что показывает приложение #

Ответ сравнивается с истинным значением в том виде, в каком его выводит само приложение при ваших настройках точности. Поэтому вводите то, что видите на экране, и ничего больше подгонять не нужно. Если вы работаете с двумя знаками после запятой, ответ проверяется с двумя знаками, а если со значащими цифрами, то по значащим цифрам.

• Если p меньше нижней границы отображения, приложение выводит < 0.001. Такой ответ принимается: вводите его как есть.
• В качестве десятичного разделителя принимается и запятая.
• Частоты и другие точные значения должны совпасть полностью.

Пограничное p-значение уточните сами. Если вопрос зависит от того, меньше ли p, чем 0.05, а на экране ровно 0.05, откройте Настройки, повысьте точность и посмотрите на значение снова. Проверка идёт с заданной вами точностью, так что дополнительный знак — настоящий, а не уловка.

Настройки, влияющие на ваши ответы #

Экзамен оценивает выполненный вами анализ, поэтому настройки, при которых вы работаете, входят в ответ. Оцениваемое число меняют следующие настройки:

• Поправка на множественные сравнения — если вы переключились на метод Холма, ответ тоже проверяется по Холму.
• Уровень значимости и настройки точности.
• Обработка пропущенных данных — при построчном удалении карточки считаются по меньшему числу строк, и ключ ответов тоже.
• Зерно воспроизводимости — в вопросах по факторному анализу. Параллельный анализ проверяется при значении по умолчанию, 100 повторах, какое бы число ни стояло в модуле факторного анализа, поэтому это поле лучше не менять.

При некоторых настройках ответ не просто меняется: ответить на вопрос становится нельзя. Тогда панель сообщает, что нужно изменить:

• Чтобы ответить, включите отображение p-значений в настройках — p-значения полностью скрыты, если в настройке формата отображения выбран вариант none (Скрыть p-значения).
• Чтобы ответить, задайте в настройках формат отображения p-значений «Точное p-значение» — формат category выводит вместо числа пороговую метку.
• Чтобы ответить, задайте «Зерно воспроизводимости» в настройках — в некоторых вопросах генерируются случайные числа, и без заданного зерна результат менялся бы при каждой проверке.

Настройки, при которых проверялся ответ, сохраняются вместе с его отметкой и попадают в выгруженный отчёт. Так преподаватель сможет точно повторить ваши действия.

Преобразование и фильтрация данных #

Некоторые вопросы требуют сначала изменить данные: отобрать одну группу в окне Наблюдения, перекодировать обратный пункт, построить составной показатель. Делайте ровно то, что сказано в вопросе.

Ваши изменения не могут испортить ключ ответов: проверка всегда идёт по нетронутой копии исходного набора данных, сохранённой при открытии экзамена. Важно другое: верный результат должен быть на вашем экране. Если очередной ответ вдруг перестал совпадать, чаще всего виноват забытый фильтр.

Если в изменениях данных уже не разобраться, нажмите Восстановить экзаменационные данные. Исходные данные будут заново созданы по вашему имени, а все добавленные вами преобразования и фильтры отменены. Ответы и отметки при этом сохранятся. Тот же результат даёт повторное открытие экзаменационной ссылки.

Что делают правила преобразования, описано на странице о преобразовании данных.

Экспорт отчёта #

Внизу панели показано, можно ли выгружать отчёт:

• Экспорт разблокирован / Готово к экспорту — пройдено достаточно вопросов.
• Экспорт заблокирован — нужно проверить n из m вопросов / Экспорт заблокирован — нужно пройти n из m вопросов — выгрузить отчёт нельзя, пока достаточное число вопросов не будет проверено, а затем пройдено.
• До экспорта желательно проверить n из m вопросов / До экспорта желательно пройти n из m вопросов — отчёт выгрузить можно, но сначала вас попросят подтвердить экспорт.

Какое из этих правил действует на вашем экзамене, решает преподаватель. При экспорте в Word в документ добавляется приложение Лист ответов экзамена: все вопросы, ваш окончательный ответ на каждый и его отметка. В нём есть и неоцениваемые вопросы, так что видно, на каком выборе строились остальные ответы. Строка о происхождении данных в верхнем колонтитуле и короткий хеш целостности привязывают документ к вашему набору данных.

Интерпретации впишите в документ, как того требуют вопросы с письменным ответом. Панель подтверждает лишь, что анализ выполнен правильно, а рассуждения оценивает преподаватель.

Типичные ошибки #

Забытый фильтр. Если верный на вид ответ не проходит, чаще всего виноват фильтр, который остался в окне Наблюдения от предыдущего вопроса. Прежде чем сомневаться в числе, проверьте, что отфильтровано.

Ввод ожидаемого значения вместо показанного. Ответ сравнивается с тем, что выводит само приложение. Верный ответ чаще всего портит пересчёт числа вручную, например перевод в проценты или повторное округление.

Не тот процент. Для переменной с пропусками выводятся два процента: от всех строк и валидный процент (от строк с данными). В вопросе указано, какой из них нужен. Если ваш ответ близок, но не совпадает, перечитайте вопрос.

Не тот столбец в таблице надёжности. Корреляция пункт–сумма выводится в нескольких вариантах. В вопросах об обратных пунктах речь идёт о скорректированной корреляции пункт–сумма (пункт–остаток): именно по ней модуль выдаёт своё предупреждение.

Уверенность, что экзамен такой же, как у однокурсника. Это не так: вопросы те же, числа другие. Если в вопросе нужно назвать переменные со значимыми различиями, ваш ответ не совпадёт с ответом однокурсника.