DataSuite 2 Документация
English Русский
На этой странице

Как описать результаты

Карточки результатов уже на экране, и остаётся превратить их в абзац, который читатель сможет проверить. На этой странице разобрано, какие числа в него входят, в каком порядке их приводят и что нужно сказать о том, как они получены. Примером служат четыре находки по кафе со страницы Выбор анализа. В основе лежит одно правило, общее для записки владельца кафе и для журнальной статьи: в отчёте должно быть всё, что нужно читателю, чтобы оценить находку и воспроизвести её, и ничего лишнего, попавшего в текст только потому, что его вывело приложение.

Два абзаца

Количественный отчёт состоит из двух частей, и каждая отвечает на свой вопрос. Метод описывает, что было сделано (данные, исправления, план исследования, критерий и настройки), чтобы человек с тем же файлом мог получить ту же карточку. Результаты сообщают, что обнаружено (оценка, её неопределённость, критерий и его вывод), чтобы читатель мог судить о находке, не видя карточки. Руководство каждого модуля заканчивается контрольным списком для отчёта, который разделён ровно на эти две половины. Разбор ниже — тот же список, только заполненный.

Метод

В абзаце «Метод» пять составляющих, и первые три от вида анализа не зависят.

Данные. Откуда они получены, сколько в них наблюдений, какие переменные и как они измерены: «200 участников программы лояльности кафе с двумя филиалами, опрошенных по электронной почте через восемь недель после смены меню. Средний чек и число визитов за восемь недель до и после смены меню взяты из кассовых данных. Из анкеты — шесть пунктов со шкалой согласия от 1 до 5, общая оценка удовлетворённости от 0 до 10, готовность рекомендовать кафе (да или нет) и время ожидания при последнем визите». Читатель, который не знает, что такое оценка, не сможет судить ни о чём, что сказано об этом столбце. Поэтому переменные описывают словами, а не именами столбцов.

Что сделано с данными. Каждый шаг со страницы о кодовой книге становится здесь отдельным предложением, потому что любой из них изменил какое-то число: «Филиал был записан кодами 1 и 2 и перекодирован в названия. У пяти участников, отказавшихся назвать возраст, он был введён как 999, и эти значения считались пропущенными. Средний чек одного участника после смены меню — это единственный заказ на кейтеринг. Это значение исключено из анализов чека (n = 199), остальные данные участника сохранены». Формулируют само правило, а не только его итог (средний чек выше 50 за период после смены меню — это уже не траты за визит), чтобы читатель мог с ним не согласиться. Затем указывают, как обработаны пропуски: «в каждом анализе использованы наблюдения, полные по его собственным переменным (попарное удаление), поэтому n меняется от анализа к анализу и приводится при каждом результате». Полный перечень того, что нужно раскрыть, дан на странице о выбросах и пропущенных данных.

План и роли переменных. Какие наблюдения сравнивались и как они связаны между собой: «Филиалы сравнивались как независимые группы. Показатели до и после смены меню сравнивались у одних и тех же участников, так что каждый участник служил контролем самому себе». Без плана читатель не поймёт, какой критерий здесь уместен, а между тем именно это предложение пропускают чаще всего.

Критерии и настройки. Названия критериев, односторонняя или двусторонняя проверка и те общие настройки приложения, от которых зависит p: «Филиалы сравнивались t-критерием Уэлча, изменение после смены меню — парным t-критерием, связи оценивались коэффициентом корреляции Пирсона r. Все критерии двусторонние, уровень значимости α = 0.05, доверительные интервалы 95%-ные. Шесть пунктов анкеты сравнивались между филиалами как одно семейство, с поправкой Холма». Настройку, оставленную по умолчанию, тоже упоминают, если она влияет на числа. Какие настройки влияют, отмечено на странице настроек.

Программы. Какая программа и какие пакеты выполнили критерии (они указаны в консоли R и в разделе «Воспроизводимость» руководства) и какие ссылки на литературу приложение собрало в карточке источников. Хватает одного предложения: «Расчёты выполнены в DataSuite 2, где статистики вычисляются средствами R (использованные пакеты перечислены в приложении к статье)».

Результаты

Каждую находку излагают одним предложением, и у этого предложения постоянный костяк: оценка в единицах самого исхода, её доверительный интервал, критерий со статистикой и числом степеней свободы, точное p, размер эффекта, объём выборки. Порядок выбран по важности: сначала читатель хочет знать, насколько велик эффект, затем — насколько надёжна оценка, а статистика критерия нужна для проверки. Что требуется от каждой части костяка, объяснено на страницах о проверке гипотез, размерах эффекта и доверительных интервалах. Ниже из этих частей собраны четыре находки по кафе.

Различие между группами. «До смены меню участники из филиала „Привокзальная“ тратили за визит больше, чем участники из филиала „Набережная“: 9.52 (SD = 4.05) против 7.91 (SD = 2.97), разность 1.61 (95% ДИ от 0.62 до 2.60), критерий Уэлча t(179.5) = −3.20, p = 0.002, d = −0.45, n = 99 и 101». В предложении есть всё, что было на карточке, а направление различия названо словами (в „Привокзальной“ больше, чем в „Набережной“), так что читателю не приходится выяснять, какую группу приложение вычитало из какой. Статистика и d сохраняют знак, с которым их вывела карточка: он определяется порядком групп в приложении. Стандартные отклонения групп приведены потому, что по ним читатель может сам пересчитать d. Интервалы для каждой группы не нужны: на вопрос отвечает интервал для разности. Незначимое различие сообщают в той же форме: «Филиалы не различались по доле участников, готовых рекомендовать кафе: 72% в „Набережной“ и 63% в „Привокзальной“, χ²(1) = 1.71, p = 0.19, V = 0.10 (95% ДИ от 0 до 0.24), n = 200. Интервал для V допускает и полное отсутствие связи, и умеренную связь». Слова не различались означают лишь, что критерий не нашёл свидетельств различия. Поэтому пишут «значимого различия нет», а не «различия нет». Насколько большим различие всё же может быть, показывает интервал.

Изменение у одних и тех же наблюдений. «После смены меню средний чек вырос в среднем на 1.09 (SD изменения 2.86, 95% ДИ от 0.69 до 1.49), парный t(198) = 5.37, p < 0.001, dz = 0.38, n = 199. Число визитов на участника выросло на 0.64 (95% ДИ от −0.003 до 1.28), t(199) = 1.96, p = 0.051, dz = 0.14, n = 200». Важнее всего правильно написать второе предложение. Пограничный результат приведён в нём точно, а интервал показывает, что данные совместимы и с отсутствием изменения, и с ростом на визит с четвертью. В нём нет фразы «число визитов не изменилось», и сама находка из отчёта не выброшена: округлить p = 0.051 до «ничего» можно, только если результат хотят скрыть. Почему так, объяснено в разделе о результате на границе.

Связь. «Общая оценка удовлетворённости коррелировала с оценкой вкуса (r = 0.55, 95% ДИ от 0.44 до 0.64, p < 0.001, n = 193) и отрицательно — со временем ожидания при последнем визите (r = −0.30, p < 0.001, n = 178). В регрессии с обоими предикторами каждый балл вкуса добавлял 0.81 балла удовлетворённости (95% ДИ от 0.60 до 1.01), а каждая минута ожидания отнимала 0.13 (от 0.05 до 0.21), R² = 0.32, F(2, 175) = 41.5, p < 0.001, n = 178». Коэффициент корреляции сам служит размером эффекта, так что второй в этом предложении не нужен. Смысл коэффициента регрессии задают единицы (баллы удовлетворённости на балл вкуса), и их нужно назвать, а не оставлять читателя разбираться с B. Если проверялось целое семейство корреляций, указывают, сколько их было и какая поправка применена. Если предикторы сравнивают между собой, в предложение об этом сравнении входит β: именно он приводит их к одной шкале.

Структура. «Три пункта о еде образовали шкалу приемлемой согласованности (α Кронбаха = 0.71, 95% ДИ от 0.63 до 0.77, ω = 0.72), а три пункта об обслуживании — чуть менее согласованную шкалу (α = 0.67, 95% ДИ от 0.58 до 0.74, ω = 0.67). Обратный пункт перед расчётом перекодирован. Разведочный факторный анализ (метод минимальных остатков, вращение облимин) выделил оба задуманных фактора. Параллельный анализ указал на два фактора. Нагрузки на фактор „Еда“ составили от 0.59 до 0.76, на фактор „Обслуживание“ — от 0.58 до 0.72 по модулю (обратный пункт нагружен отрицательно), ни одна перекрёстная нагрузка не превысила 0.20, корреляция факторов равна 0.39. Двухфакторная конфирматорная модель хорошо описала данные: χ²(8) = 6.41, p = 0.60, CFI = 1.00, RMSEA = 0.000 (90% ДИ от 0.000 до 0.071), SRMR = 0.034. Однофакторная модель — нет: Δχ²(1) = 57.7, p < 0.001». Какие индексы соответствия и какие решения (метод извлечения, вращение, правило выбора числа факторов) читателю нужно увидеть, перечислено в разделах об отчёте: на странице о латентных переменных, в руководствах по факторному анализу и по SEM и КФА.

Что читателю нужно, а что нет

Три привычки отличают отчёт, доступный проверке, от такого, которому можно только поверить.

Оценка, интервал и p — всегда все три. Само по себе p отвечает лишь на вопрос, есть ли эффект. Оценка показывает, каков он, а интервал — насколько точно он известен. Разница между филиалами кафе в 1.61 с интервалом от 0.62 до 2.60 сообщает читателю гораздо больше, чем p = 0.002. Отчёт, где приведено одно p, теряет два самых важных числа. То же относится к незначимому результату: находкой в нём служит именно интервал.

Точные числа, разумно округлённые. Значение p приводят с двумя-тремя знаками после запятой. Запись «p < 0.05» не годится, если точное значение известно, а «p < 0.001» пишут, только когда p действительно меньше. Оценки округляют до точности самого измерения (средний чек — до копейки, балл по шкале от 0 до 10 — до десятых), размеры эффекта — до сотых. Приложение выводит больше знаков, чем уместно в предложении. Округлять — дело автора, но превратить p = 0.051 в 0.05 значит не округлить, а исказить результат.

Всё, что нужно для проверки. Степени свободы при каждой статистике, объём выборки при каждом результате и примечания, которые приложение вывело под таблицей (исключённый участник, применённая поправка, точный критерий, число повторов), приводят в разделе «Метод» или в сноске. Чтобы воспроизвести анализ, читателю достаточно файла, исправлений, плана и настроек, так что их и нужно привести. Какие функции R были вызваны, сказано в разделах «Воспроизводимость» руководств, а файл проекта, сохранённый из приложения, хранит каждый сделанный выбор.

А вот трёх вещей в отчёте не нужно: интервалов для каждой группы, когда уже дан интервал для разности; всех размеров эффекта, которые предлагает приложение, если один из них выбран заранее; слова доказано, которое не подтвердит ни одна выборка. Находка — это то, что показали данные, с указанием неопределённости, а что она означает, решает читатель.

Где это встречается в DataSuite