Чтение результатов #

Каждый анализ добавляет свои результаты в раздел вывода внизу страницы. Здесь описано то, что у всех модулей общее: как устроены карточки, как строится вывод и на чём основаны его градации, что значит надстрочный знак у числа, стоящего у самого порога заключения, как карточки настройки и окно настроек показывают, в каких условиях рассчитан каждый результат, какие примечания во всех модулях звучат одинаково и как вынести результаты из приложения. Что означает конкретная таблица или столбец, сказано в руководстве к модулю.

Раздел вывода #

Результаты накапливаются в разделе вывода внизу страницы. В левом нижнем углу экрана появляется плавающее оглавление, по которому можно переходить от одного результата к другому.

У каждой карточки результатов есть маленькая кнопка × (видна при наведении или при фокусе с клавиатуры), которая удаляет карточку, а рядом — кнопка ⚙, открывающая настройки, с которыми получен результат. Между результатами стоят карточки настройки: они сообщают набор данных, наблюдения и настройки запуска, с которыми рассчитаны результаты под ними. Чтобы удалить всё сразу, нажмите Очистить все результаты (кнопка появляется, только когда результаты уже есть). Раздел вывода вместе с карточками настройки, список источников и оглавление вернутся в исходное состояние. Перед очисткой приложение попросит подтверждения.

Выводы и градации #

Когда интерпретация включена, таблица результатов сама описывает свои числа словами: вывод в столбце Интерпретация, значок у индекса соответствия, цвет ячейки с градацией. Все модули строят их по одним правилам, поэтому прочитанное на одной карточке читается так же и на следующей. При выключенной интерпретации выводы, градации и их легенды исчезают, а числа и примечания о том, как прошёл расчёт, остаются.

Вывод состоит не более чем из пяти частей. Они идут в постоянном порядке: первые две разделяет запятая, каждую следующую — точка с запятой (Значимое различие, A > B; от малого до большого эффекта). Часть, для которой у строки ничего нет, опускается.

• Решение — заключение критерия в терминах его гипотезы: Значимое различие, Остаточная автокорреляция сохраняется, Нет значимого тренда. Решение опирается на то же p, что и выделение значимости, то есть на скорректированное, если включена поправка. Если критерий не отвергает гипотезу, вывод так и формулирует это (Нет признаков …, … не отвергается или Нет значимого …), но никогда не утверждает, что допущение выполнено.
• Направление — какая сторона выше, A > B. Печатается, только когда знаковое сравнение отвергло гипотезу, и никогда — у общего критерия.
• Градация — величина точечной оценки по ориентирам её источника: малый эффект, сильная, Приемлемое соответствие.
• Градация по ДИ — когда доверительный интервал статистики с градацией виден на экране, вместо градации точечной оценки вывод называет градации наименьшей и наибольшей величины в интервале: от малого до большого эффекта или, если оба конца совпадают, пренебрежимо малый эффект по всему ДИ. У интервала, доходящего до значения «нет эффекта», один конец пренебрежимо мал, поэтому заключение «существенного различия нет» подкрепляет только пренебрежимо малый эффект по всему ДИ. Градация точечной оценки остаётся, когда у строки нет интервала, когда решение принимается по скорректированному p (на экране при этом остаётся нескорректированный интервал) и когда у статистики с градацией нет собственного интервала.
• Следствие — для проверки допущения: что её результат значит для выполненного анализа (Пройдено, Внимание или Не пройдено).

Пройдено, Внимание и Не пройдено. Статус проверки допущения. Пройдено означает, что проверка ничего не обнаружила. Не пройдено — что проверка отвергла гипотезу и это исключает какой-то критерий (какой именно, называет примечание рядом). Внимание — что проверка отвергла гипотезу, но выполненный анализ не считает это нарушением: это оговорка для отчёта, а не повод менять критерий. Так бывает, например, при ненормальности в группе, достаточно большой для центральной предельной теоремы, или когда отвергнутых гипотез по многим переменным не больше, чем дала бы одна случайность. Что охватывает статус каждой проверки, описано в разделе Статус.

Критерий и ДИ расходятся. Добавляется к выводу, когда решение и интервал рядом с ним опираются на разные величины и указывают в разные стороны (t Уэлча рядом с d на объединённом SD, собственный интервал отношения шансов рядом с p критерия χ², бутстрэп-интервал рядом с асимптотическим p): критерий отвергает гипотезу, а интервал доходит до отсутствия эффекта, или наоборот. Вывод называет расхождение и не встаёт ни на одну сторону. Другой доверительный уровень и односторонний критерий таким расхождением не считаются, у каждого из них своё примечание ниже.

Односторонний критерий, двусторонний интервал. Примечание, которое всегда выводится под таблицей, где критерий F или χ² стоит рядом с двусторонним интервалом η², ω², ε², R², V, w или I²: критерий односторонний, а интервал двусторонний, поэтому у значимой строки нижняя граница может доходить до 0, когда p лежит между α/2 и α. Если метод интервала в таблице ведёт себя иначе, примечание сформулировано для этого метода.

Два уровня. Когда уровень значимости и уровень доверия не согласованы (α = 0.01 рядом с 95-процентным интервалом), под таблицей, чьи выводы опираются на интервал, примечание объясняет, какой уровень за что отвечает: Значимость оценивается на уровне 1%, диапазоны эффекта — по 95% доверительному интервалу. Сами строки ни один из уровней не называют, а при выключенной интерпретации примечание исчезает вместе с выводами.

Легенды градаций. Под каждой таблицей с градациями есть легенда: граница каждой градации, источник градаций, а для меры, которая оценивается по ориентирам другой статистики через преобразование (как δ Клиффа по A Варги и Делейни), ещё и шкала, в которой напечатаны границы. Начало легенды зависит от модуля. В корреляционном анализе она открывается словами Градации силы: и отводит по строке на каждую шкалу градаций, по которой читаются ячейки, а источник закрывает строку (r, ρ: ○ < 0.1 пренебрежимо малая корреляция, …; Коэн (1988).). В сравнительном анализе первыми идут источник и мера (Градации по ориентирам Коэна (1988) для d:, Градации по ориентирам Шмидта (1997) для W:), и такая легенда стоит под каждой таблицей, где оценивается размер эффекта: под таблицей общего критерия, под длинной апостериорной таблицей и под матрицей. Границы — это напечатанные в источнике числа, и значение ровно на пороге попадает на ту сторону, куда его относит источник. Статистика, для которой ни один источник не даёт ориентиров, печатается без градации.

Шары Харви. В ячейке матрицы нет места для слова градации, поэтому градация стоит после числа в виде шара Харви: ○ ◔ ◑ ◕ ●, от пустого для нижней градации до полного для верхней, по числу градаций в правиле. Само слово появляется во всплывающей подсказке к шару. Легенда под матрицей в этом случае ставит шар перед границей и словом каждой градации, от нижней к верхней.

Формулировки, которых вывод избегает. Ни один вывод не называет допущение выполненным, соблюдённым или подтверждённым только потому, что проверка его не отвергла. Вывод не подменяет находку (Значимый косвенный эффект) механикой интервала (ДИ не включает 0), не называет модель, лучшую по информационному критерию, иначе как предпочтительной, не печатает наблюдаемую мощность и не приписывает величине вероятность (вероятно, полезный). Соответствие модели получает по значку на каждый индекс и никакого общего вывода. Причины изложены в методических примечаниях об интерпретации.

Слишком мало повторов. Если бутстрэп-интервалы карточки получены меньше чем из 1000 повторов или её перестановочные p-значения при заданном числе повторов не могут достичь уровня значимости, карточка сообщает об этом под таблицей: число выполненных повторов — всегда, а рекомендацию, до которой оно не дотягивает, — при включённой интерпретации. Приложение никогда не увеличивает заданное вами число. Карточки с этим примечанием перечислены в разделах Повторы бутстрэпа и Повторы перестановок.

Пограничный маркер #

Заключение рядом с числом («Значимо», градация соответствия, уровень надёжности, сила корреляции) получается сравнением числа с порогом, и приложение сравнивает с порогом точное значение, а не округлённое, которое вы видите. Почти всегда они совпадают. Но если точное значение отстоит от порога меньше, чем на погрешность округления, выведенное число может оказаться по другую сторону порога, и тогда к нему добавляется маленький надстрочный знак: ⁻, когда точное значение чуть меньше выведенного, и ⁺, когда чуть больше. Надёжность 0.8996 при трёх десятичных знаках выводится как 0.900⁻ с оценкой «Хорошая», а не «Отличная»: до 0.90 она немного не дотягивает. При α = 0.05 значение p = 0.0504 выводится как 0.050⁺ и незначимо. Точное значение показывает всплывающая подсказка при наведении на число. Где маркер появляется, а где не бывает никогда, сказано в описании пограничного маркера на странице настроек.

Почему по точному значению: если бы оценка ставилась по выведенному числу, заключение зависело бы от отображения. Тот же коэффициент 0.8996 при двух или трёх десятичных знаках получал бы оценку «Отличная», а при четырёх — «Хорошая», и настройка точности, то есть выбор того, сколько цифр вы хотите видеть, меняла бы заключение. Когда оценка ставится по точному значению, заключение принадлежит самому результату и не зависит от точности. Платой за это становится редкое число, у которого выведенное значение и заключение расходятся, и маркер нужен, чтобы это расхождение было объяснено прямо на экране, а не выглядело ошибкой.

Карточки настройки #

Каждый результат рассчитан в определённых условиях — это набор данных, наблюдения, дошедшие до анализа, и настройки запуска. Раздел вывода сообщает эти условия в карточках настройки — карточках с пунктирной рамкой и фоном основного цвета, которые стоят между результатами. Карточки настройки не хранятся, а выводятся из самих результатов и строятся заново при каждом добавлении, удалении или очистке результатов. Поэтому после удаления результата из середины разница между его соседями пересчитывается, а карточка настройки исчезает вместе с последним результатом, к которому относилась. Карточка, рассчитанная вне таких условий (Примечания об импорте данных, вывод или график R), не получает своей карточки настройки и не прерывает чужую.

Настройка. Карточка перед первым результатом: набор данных, наблюдения (если фильтр или удаление пропусков сократили их либо импутация заполнила ячейки) и все применимые настройки запуска.

Настройка изменена. Карточка перед более поздним результатом, условия которого отличаются от условий результата выше. Она перечисляет только изменения, каждое с новым значением. Новое выбранное зерно такой карточки не открывает (выбор принадлежит самому результату), как и смена уровня значимости: это настройка отображения (карточки, рассчитанные при прежних настройках).

Пункты карточки настройки идут четырьмя группами в таком порядке: данные, переменные, наблюдения, настройки запуска.

• Набор данных — на первой карточке настройки: файл, по которому получены результаты, и его размер, survey.csv, 212 × 40. Проект называется по файлу проекта, импорт нескольких файлов — по их именам, а данные без файла — только размером.
• Новый набор данных — файл или проект, загруженный после результата выше. Он называется так же, как в предыдущем пункте. Этот пункт заменяет группу переменных, поскольку изменились все столбцы.
• Данные преобразованы: широкий → длинный — после результата выше данные переведены из широкого формата в длинный. Пункт называет новый размер, 424 × 12, и тоже заменяет группу переменных.
• Данные преобразованы: длинный → широкий — обратное преобразование, из длинного формата в широкий, описанное так же.
• Изменены значения — столбцы, значения которых изменились после результата выше. Их переписало правило преобразования, которое добавили, изменили, удалили или перетащили на новое место, либо их правило использует столбец, переписанный таким правилом, либо анализ заново вставил столбец под тем же именем. Сравниваются только столбцы, которые были у обоих результатов, поэтому новый столбец, первая вставка или сохранение настройки пропущенных данных в этот пункт не попадают.
• Типы — столбцы, у которых изменился тип переменной, каждый с новым типом, Q3: порядковая.
• Фильтры — действующие фильтры наблюдений, соединённые по режиму совпадения, group ∈ {a, b} и 20 ≤ age ≤ 40.5, или нет, если фильтры сняты.
• Строки — число строк на пути от исходных данных к анализируемым, 212 → 180 после построчного удаления → 154 после фильтров. При построчном удалении его меняет и смена выбора переменных.
• Импутировано — ячейки, заполненные импутацией, ячеек: 318, переменных: 14.
• Настройки запуска — настройки, которые меняют то, что вычисляет анализ, каждая под своим названием: Уровень доверия, Повторы бутстрэпа, Повторы перестановок, Зерно бутстрэпа, Зерно воспроизводимости, Метод поправки p-значений, Пропущенные данные, а пока используется импутация, ещё Метод подстановки и Константа. Пустое зерно показано как случайное, своё для каждого результата, потому что каждый результат при нём выбирает собственное.

Настройки, с которыми получен этот результат. Всплывающее окно, которое открывает кнопка ⚙ на карточке, — собственная запись карточки о том, в каких условиях она рассчитана. В нём до четырёх разделов: Данные (набор данных), Переменные (тип каждой переменной карточки на момент запуска), Наблюдения и Настройки запуска со всеми применимыми настройками, где пустое зерно показано как случайное (выбрано: 482913774). Настройки, которые использовало вычисление результата, выделены, и об этом сообщает легенда. Кнопка Перейти к карточке настройки прокручивает страницу к карточке настройки, под которой стоит результат. Окно берёт сведения только из самой карточки, поэтому они верны, как бы далеко внизу раздела вывода она ни стояла. Закрывается окно клавишей Escape, щелчком вне его или повторным нажатием кнопки.

Экспорт в DOCX переносит каждую карточку настройки на её место в документе: заголовок и по строке на каждый пункт.

Карточки, рассчитанные при прежних настройках #

Настройки бывают двух видов. Большинство меняет только то, как показан результат (точность, уровни значимости и пороги, по которым выносятся заключения, стиль таблиц, язык), и после нажатия Сохранить все карточки на странице перерисовываются с новыми значениями. Несколько настроек меняют то, что вычисляет анализ: уровень доверия, число повторов бутстрэпа и перестановок, зёрна генератора, поправка p-значений и обработка пропущенных данных. Рассчитанное при них карточка сохраняет. Изменение действует со следующего запуска, его называет карточка настройки перед результатом этого запуска, а окно настроек каждой прежней карточки по-прежнему показывает, с чем она рассчитана. Строка, рассчитанная при уровне значимости (интервал (1 − 2α) критерия эквивалентности, область Джонсона — Неймана, порядок разностей, выбранный при уровне значимости для проверки допущений), сохраняет уровень, при котором выполнен запуск, и сообщает об этом. Какие настройки к какому виду относятся, перечислено в разделе что происходит при сохранении.

Почему виды настроек различаются: карточка хранит исходные результаты своего расчёта, и всё, что затрагивает настройка отображения (округление, заключения, выделение), можно заново получить из них. Поэтому карточка сразу следует за этими настройками и никогда не показывает заключение по старой настройке рядом с выделением по новой. Действие настройки расчёта из сохранённого не получить: 99-процентный интервал, новые бутстрэп-выборки, p-значения с другой поправкой или другой набор наблюдений нужно заново вычислить по данным, а данные с тех пор могли измениться. Пересчёт без вашего ведома изменил бы числа, которые вы, возможно, уже скопировали, а если бы карточка оставила старые числа без пояснений, она выдавала бы их за рассчитанные при настройке, при которой их не считали. Поэтому карточка сохраняет свои числа, а карточки настройки сообщают, к каким настройкам они относятся. Устаревшей прежняя карточка при этом не становится: раздел вывода — это журнал выполненных расчётов по порядку, и изменение указывается один раз, там, где оно вступило в силу, а не отмечается на каждой карточке выше.

Имена столбцов на прежних карточках. Карточка называет столбцы так, как они назывались при запуске. Столбец, переименованный в том же наборе данных, получает новое имя на всех карточках. Но после смены набора данных (загрузки файла или проекта, перевода в длинный или широкий формат) или после удаления столбца прежняя карточка, её карточка настройки и её окно настроек сохраняют имена, с которыми работал запуск, и никогда не подставляют столбец нового набора, стоящий на том же месте.

Примечания на карточке #

Некоторые примечания сформулированы одинаково во всех модулях, поэтому руководство к модулю только называет их и ссылается сюда.

Зерно, выбранное для этого запуска. Если вычисление карточки использовало случайные числа при пустом параметре Зерно бутстрэпа или Зерно воспроизводимости, карточка заканчивается зерном, которое выбрал запуск: Зерно бутстрэпа, выбранное для этого запуска: 482913774, Зерно воспроизводимости, выбранное для этого запуска: …. Если ввести это число в качестве зерна и запустить анализ снова, результат воспроизведётся в точности. У карточки с заданным зерном или без случайных чисел в вычислении такой строки нет. Строка остаётся при выключенной интерпретации и попадает в экспорт DOCX.

Предельное число итераций. Если итеративная подгонка (оценивание, вращение, разбиение методом k-средних) останавливается на пределе итераций, не сойдясь, карточка сообщает об этом и называет предел: Модель не сошлась за предельное число итераций (100). В таблице, сравнивающей несколько подгонок, несошедшаяся отмечена знаком †. Показанные оценки — это точка, где подгонка остановилась, и при включённой интерпретации примечание добавляет, что на них опирается и что может помочь сходимости.

N под таблицей. Если столбец N в таблице отключён, примечание под ней всё равно сообщает объём выборки: N = 212 во всей таблице. или N в этой таблице меняется от 180 до 212.

Уровень, на котором выполнен анализ. Строка, рассчитанная при уровне значимости (вывод критерия эквивалентности, область Джонсона — Неймана, параметры, отобранные скор-тестом, порядок разностей, выбранный по KPSS), вычисляется при запуске анализа, и примечание называет уровень, при котором это сделано: Область Джонсона — Неймана построена при α = 0.05 (уровень, на котором выполнен анализ). Если потом изменить уровень, остальные заключения карточки выносятся заново, а эти строки остаются при уровне запуска. Чтобы вычислить их при новом уровне, запустите анализ снова.

Ссылки на источники #

Когда анализу есть на что сослаться, под результатами появляется блок источников. У него цветной заголовок «Если вы публикуете этот анализ, пожалуйста, сошлитесь на эти работы» и два списка:

• Методы — литература о статистических методах, применённых в анализе: кто предложил каждый метод и чей алгоритм на самом деле использовало приложение
• Программное обеспечение — пакеты R, которые выполнили расчёты, каждый с той версией, что работала в этом сеансе, а также WebR и D3

Все ссылки подобраны вручную, а не сгенерированы, поэтому список появляется, только когда в нём что-то есть. Для метода, к которому источники ещё не подобраны, не выводится ничего: приложение не подставляет вместо них случайную запись о пакете. Библиотеки, у которых нет публикации для цитирования (math.js, Papa Parse, SheetJS и другие), перечислены в окне Поддержать проект. Источники копятся в течение сеанса и не исчезают при удалении отдельных карточек, потому что отражают всё, что было использовано. Блок источников есть и в оглавлении, чтобы к нему было легко перейти.

Экспорт результатов #

Таблицы и текст можно скопировать прямо из раздела вывода и вставить в свой документ. Большинство текстовых редакторов и программ для презентаций при вставке теряют часть оформления (цвета, выделение значимых результатов, границы таблиц). Содержимое и структура сохраняются, но оформление, возможно, придётся немного поправить.

Чтобы получить более аккуратный документ, нажмите Экспорт в DOCX в правом верхнем углу раздела вывода. Скачается файл Word со всеми текущими результатами и карточками настройки между ними, где графики, таблицы и оформление сохранены настолько точно, насколько это возможно. В отчёт попадает только то, что видно на странице: скрытые на экране варианты графика и столбцы таблицы в него не войдут. Кнопки группового экспорта рядом сохраняют графики отдельными файлами в ZIP-архиве.

Изменение размера и экспорт графиков #

Все графики в DataSuite устроены одинаково. Чтобы изменить размер, потяните за маленький маркер в правом нижнем углу графика и растяните или сожмите график до нужного размера. Многопанельные рисунки (например, информационные кривые в модуле IRT) меняют размер целиком, одним маркером.

Чтобы экспортировать один график, наведите на него курсор: справа появится небольшая панель с тремя кнопками — SVG, PNG и JPG. Нажмите одну из них, и график скачается отдельным файлом. На сенсорных устройствах, где наведения нет, панель видна всегда.

Какой формат выбрать? SVG — векторный формат: он остаётся чётким при любом размере и лучше всего подходит для публикации или дальнейшей правки. PNG и JPG — растровые изображения втрое крупнее графика на экране. Их удобно быстро вставить в слайды или отправить.

Чтобы сохранить все графики страницы за один раз, воспользуйтесь описанным выше групповым экспортом (ZIP) или кнопкой Экспорт в DOCX.