DataSuite 2 Документация
English Русский
На этой странице

Начало работы

DataSuite 2 — статистическое приложение, которое целиком работает в браузере. Устанавливать ничего не нужно: данные не покидают ваш компьютер, а все расчёты выполняются локально, во встроенном движке R.

Будь то быстрая описательная сводка или полный конфирматорный факторный анализ, работа всегда идёт в одном порядке: загрузка данных, выбор анализа, изучение результатов. Ниже описаны основные шаги.

Как загружается приложение

DataSuite загружает модули по мере надобности: код анализа скачивается с сервера, когда вы открываете этот анализ впервые. Индикатор загрузки показывает ход скачивания каждого файла. Если соединение прервётся или файл не скачается, приложение само повторит попытку — до трёх раз, всякий раз с более долгой паузой. Если и повторные попытки не удались, рядом с каждым незагруженным файлом появится кнопка Повторить со значком ↻: нажмите её, когда связь восстановится. Кнопка Повторить все под сообщением Некоторые модули не удалось загрузить заново загружает весь модуль.

Работа без интернета: добавьте к адресу страницы ?preload=all (например, https://.../?preload=all), и все модули скачаются сразу. После этой загрузки приложение полностью работает без сети. Пакеты R, которые нужны отдельным анализам, в неё не входят. Если какой-то анализ понадобится вам без сети, заранее откройте его хотя бы раз при подключении или установите нужные пакеты вручную в консоли R командой ds_library(packageName).

Загрузка данных

Откройте раздел Загрузка и просмотр данных (при первом посещении он открыт по умолчанию). Нажмите Выбрать файл и укажите файл с данными.

Поддерживаются форматы:

  • текст с разделителями — CSV, TSV, TXT
  • электронные таблицы — XLS, XLSX, ODS
  • JSON — по строкам, по столбцам или файл проекта DataSuite, который восстанавливает весь прошлый сеанс

После импорта тип каждой переменной (непрерывная или категориальная) определяется автоматически по её содержимому. По умолчанию для анализа выбраны все переменные.

Пустые строки и столбцы: строка, пустая во всех столбцах, при импорте отбрасывается в любом формате файла, так что строки-разделители в число наблюдений не попадают. Столбец без единого значения тоже удаляется, а уведомление сообщает его имя. Всё, что заполнено хотя бы частично, сохраняется и выбирается наравне с остальными столбцами. Почти пустой столбец нередко оказывается в файле самым важным (вопрос анкеты с условным переходом, на который отвечали немногие, или редко приводимый показатель в таблице извлечения данных), поэтому приложение не пытается угадать, какие столбцы вам нужны. Если при построчном удалении такие столбцы мешают, об этом предупредит предпросмотр данных.

Ячейки из одних пробелов: такие ячейки сохраняются в точности как в файле (пробелы не обрезаются) и считаются заполненными значениями — не числами и не пропусками. Поэтому столбец, числовой во всём, кроме таких ячеек, считается категориальным, а в области результатов появляется карточка Примечания об импорте данных со списком этих столбцов. Если переменные должны были быть числовыми, проверьте исходные данные.

Совет: загрузка сохранённого файла проекта DataSuite (.json) восстанавливает всё: типы переменных (в том числе заданные вами для перекодированных и созданных правилами переменных), фильтры, правила преобразования и настройки. Сохранённые типы переменных при загрузке сверяются с данными. Если числовой тип данным больше не подходит, он сбрасывается на категориальный, а карточка Примечания об импорте данных объясняет, что изменилось. В той же карточке перечисляются переменные, которые читают правила, но в которых нет ни одного значения: так проявляется ошибка прежней версии, терявшей при сохранении исходные значения перекодированных переменных. Там же сказано, как восстановить их из исходного файла данных.

Параметры импорта таблиц

Окно Импорт таблицы открывается, когда в файле несколько листов или заголовок определяется неоднозначно, и показывает предпросмотр, который обновляется при каждом изменении настроек. Это касается не только книг XLSX и ODS, но и файлов CSV, TSV и TXT: файл с разделителями обрабатывается как книга из одного листа. Сразу, без окна, загружается только файл с одним листом, в котором однозначно найдена ровно одна строка заголовков, а первая строка не выглядит полупустой. В остальных случаях под предпросмотром перечислены причины, по которым окно открылось, по одной на строку:

  • в файле несколько листов — выберите, какие импортировать
  • неясно, сколько строк занимает заголовок, — проверьте имена переменных в предпросмотре
  • строка заголовков не найдена, и первая строка считается данными, а переменные получают сгенерированные имена (VAR0001, VAR0002 …). Файл без заголовка и файл, где заголовок состоит из одних чисел (годы, номера пунктов), при распознавании неотличимы. Если в первой строке всё-таки имена переменных, задайте в поле Строки заголовков значение 1
  • найдено несколько строк заголовков, и их ячейки объединены в имена переменных
  • первая строка похожа на название таблицы: заполненных ячеек в ней вдвое меньше, чем в следующей строке, или ещё меньше. Чтобы пропустить название над однострочным заголовком, задайте в поле Строки заголовков значение 2

Выбор листов: каждый лист показан с флажком и размерами. Отметьте один лист или несколько.

Стратегия объединения (когда выбрано несколько листов):

  • Добавить строки — листы ставятся друг под другом. Столбцы сопоставляются по заголовку без учёта регистра и лишних пробелов, а набор столбцов определяется самым широким листом.
  • Добавить столбцы — листы ставятся рядом. Если выбрать Ключевой столбец для сопоставления строк (идентификатор) (для составного ключа — + Добавить ключ), строки сопоставляются по его значениям: порядок строк берётся из листа, выбранного в поле Основной лист (по умолчанию из самого длинного), строки других листов без пары добавляются в конец, а если значения ключа в основном листе повторяются, появляется предупреждение. Без ключа строки сопоставляются по порядку, и при разном числе строк в листах тоже появляется предупреждение.

Сопоставление столбцов (появляется автоматически, если при добавлении строк столбцы листов не совпали): каждый несовпавший столбец показан с листом, из которого он взят, и выпадающим списком из трёх действий:

  • Оставить как новый столбец — столбец входит в данные, а в листах, где его нет, ячейки остаются пустыми
  • Исключить — столбец отбрасывается целиком
  • перенести в существующий столбец — выберите столбец, в который переносятся данные. Варианты разбиты на две группы: Объединить с совпавшим столбцом (столбцы общего набора) и Объединить с несовпавшим столбцом (оставшиеся без пары столбцы других листов)

Группирующая переменная: при добавлении строк флажок Добавить группирующую переменную создаёт категориальный столбец, по значениям которого видно, из какого листа взята каждая строка. Имя столбца (по умолчанию «Лист») и метки листов можно изменить.

Определение заголовков

Чтобы узнать, сколько строк занимает заголовок, приложение считает в каждом столбце идущие подряд сверху текстовые значения (пустые ячейки пропускаются), а целиком категориальные столбцы не учитывает. Затем берётся наибольшая глубина, на которую указывает хотя бы четверть оставшихся столбцов. Настоящий заголовок — это текст сразу во многих столбцах, поэтому один столбец, где первое значение данных случайно оказалось текстом («8 ч из 8» в столбце, в остальном числовом), не сдвинет весь лист на строку вниз. Строки многострочного заголовка склеиваются через « > ». Найденное значение можно изменить в поле Строки заголовков окна импорта.

Одна глубина заголовка для складываемых листов: добавляемые листы — части одной таблицы, поэтому при стратегии Добавить строки ко всем листам применяется глубина, которую показывает большинство из них (при равенстве — меньшая), а не своя для каждого листа. Значение, заданное вручную в поле Строки заголовков, действует сразу на все выбранные листы. Задайте его, если какой-то лист разделился не на той строке.

Объединённые ячейки: объединённые ячейки Excel и ODS заполняются автоматически — значение левой верхней ячейки копируется на весь диапазон. Так сохраняются многоуровневые групповые заголовки (например, название опросника над столбцами его субшкал), и значение не попадает в соседние столбцы.

Повторяющиеся имена столбцов: если после склейки у нескольких столбцов оказался одинаковый заголовок, к ним добавляется номер, например «Балл (1)», «Балл (2)». Столбцы с уникальными именами не меняются.

Очистка пустых строк и столбцов: пустые строки в начале и в конце таблицы, а также полностью пустые столбцы удаляются при импорте автоматически. Так исправляются таблицы, начинающиеся не с первой строки, а заодно убираются случайные пустые строки и лишние столбцы в конце.

Просмотр данных

Загруженные данные появляются на карточке Предварительный просмотр данных в виде таблицы с разбивкой на страницы, по столбцу на переменную. Пока файл не загружен, таблица пуста. Пропущенные значения показаны бледным текстом «(пропущено)».

  • Строк на странице — сколько строк таблицы видно на одной странице: 10 (по умолчанию), 25, 50 или 100. Страницы листаются стрелками под таблицей.

Если пропуски обрабатываются построчным удалением и оно исключило все наблюдения или оставило не больше половины, над таблицей появляется предупреждение с выбранными переменными, в которых больше всего пропусков. Снимите с них выбор или вернитесь к попарному удалению.

Выбор переменных

Нажмите кнопку Переменные в верхней панели. Когда часть переменных исключена, на кнопке виден счётчик вида «5/12».

В окне три вкладки:

  • Выбор — щёлкайте по переменным или протягивайте по ним мышью, чтобы отметить те, что участвуют в анализах. Для быстрой правки есть кнопки Выбрать все, Снять все отметки и Инвертировать выбор.
  • Типы переменных — задайте каждой переменной шкалу измерения: непрерывная, порядковая или категориальная. Щёлкните ячейку, чтобы изменить одну переменную, или протяните мышью по столбцу, чтобы задать тип сразу нескольким. Заданный вами тип сохраняется, когда правила преобразования выполняются заново, пока данные ему соответствуют — см. управление правилами.
  • Управление — переименуйте переменную, перетащите её за маркер на новое место или удалите совсем. Имя не может быть пустым и не может совпадать с именем другой переменной.

Правки на этих вкладках отложены: они копятся в окне и вступают в силу только после нажатия Применить, а Отмена или × их отбрасывают. Новое имя появляется в таблице данных, в списках переменных всех модулей анализа, в экспортируемых файлах и на карточках результатов, построенных после переименования. Карточки, которые уже на экране, сохраняют прежние имена. Новый порядок переменных становится порядком столбцов в таблице данных и во всех экспортах. Удалённый столбец исчезает из набора данных до конца сеанса, и вернуть его можно, только импортировав файл заново. Все три вида правок сохраняются в файле проекта и переносятся в следующие сеансы.

Некоторые переменные здесь нельзя переименовать или удалить. Столбец, который правило преобразования берёт на вход или создаёт, защищён, иначе правило перестанет работать. Элемент управления у такого столбца отключён, а подсказка объясняет причину. Сначала измените или удалите правило. Переставлять такой столбец можно.

Нужно ли управлять переменными? Обычно нет. Модули анализа сами берут подходящие переменные — например, для матрицы корреляций Пирсона только непрерывные. Снимать выбор с переменных стоит лишь тогда, когда они вносят шум в конкретный анализ (скажем, столбец идентификаторов в описательной статистике).

Если в переменной есть нечисловые значения, числовой тип ей не назначить, пока вы не преобразуете эти значения.

Числовой тип означает числовые значения. Как только столбец получает тип непрерывная или порядковая (при импорте, при повторной загрузке проекта, после преобразования или вручную), все значения, которые ещё хранятся как текст ("10", "20"), превращаются в настоящие числа. Так объявленный тип и хранимые данные никогда не расходятся. Это важно для дальнейшего анализа: числовой столбец, попавший в статистический движок как текст, обрабатывается как набор меток, а не как измерение. Заметное следствие — у похожих на числа идентификаторов пропадают ведущие нули: 007 превращается в 7. Импорт текстовых файлов с разделителями и электронных таблиц всегда работал так, а теперь так же работают сгенерированные данные и импорт через R. Если ведущие нули важны, оставьте столбец категориальным.

Фильтрация наблюдений

Нажмите кнопку Наблюдения, чтобы открыть окно Выбрать наблюдения и ограничить строки, которые попадают в анализы. Пока фильтр действует, на кнопке виден счётчик вида «101/200». Добавьте одно или несколько условий кнопками + Добавить категориальный фильтр и + Добавить числовой фильтр:

  • Категориальный фильтр — отметьте значения категориальной переменной, которые нужно оставить. Для быстрого выбора есть кнопки Выбрать все, Снять все отметки и Инвертировать выбор. Если в переменной есть пропуски, появляется пункт (пропущено): включите его, чтобы оставить строки с пропусками, или выключите, чтобы отбросить их.
  • Числовой фильтр — задайте условие, например Больше чем 50 или Между 10 и 20. Операторы Пропущено и Не пропущено отбирают только пустые или только непустые строки.

Как сочетаются условия, задаёт переключатель Соответствие вверху окна: всем условиям (И) (по умолчанию: строка должна пройти каждое условие) или любому условию (ИЛИ) (строка проходит, если выполнено хотя бы одно). По одной переменной можно задать несколько условий, например age > 5 и age ≠ 13 или два диапазона в режиме любому условию (ИЛИ).

Пока окно открыто, фильтры отложены и вступают в силу только после нажатия Применить фильтры. Незаполненное условие (не выбрано ни одного значения или не введено число) не даёт применить фильтры, а рядом с ним появляется подсказка, так что фильтр никогда не пропадает без предупреждения. Отмена или × отбрасывают правки, сделанные с момента открытия окна, а Очистить все фильтры удаляет все условия. После очистки нажмите Применить фильтры, чтобы она вступила в силу. Фильтры сохраняются в файле проекта, переносятся между сеансами и действуют также на таблицу данных в консоли R.

Пропуски, как бы они ни хранились. Пропуск может быть записан как пустая ячейка, null или NaN (последнее часто остаётся после неудачного преобразования по формуле). Пункт (пропущено) и операторы Пропущено / Не пропущено обрабатывают все эти варианты одинаково, поэтому «оставить пропуски» всегда означает оставить все строки с пропусками.

Нужно ИЛИ между группами или другая сложная логика? Сгруппированные условия вида «(A и B) или C» здесь не задать. Создайте в преобразовании данных индикаторную переменную (например, формулу, которая возвращает 1 или 0) и фильтруйте по ней.

Когда данные меняются: если преобразование изменило отфильтрованную переменную, условия по исчезнувшим переменным и по сменившим тип (с числового на категориальный или наоборот) отбрасываются, и об этом сообщает уведомление. Новые категории по умолчанию исключаются, а уведомление предлагает вернуться в Выбрать наблюдения. Исключение — случай, когда были выбраны все значения: тогда новые категории сохраняются автоматически.

Запуск анализа

Откройте выпадающее Меню в верхней панели и выберите модуль анализа:

У каждого модуля свои настройки, но порядок один: выберите переменные, при необходимости измените параметры и нажмите кнопку расчёта. Результаты появятся ниже, в разделе вывода.

Чтение результатов

Результаты накапливаются в разделе вывода внизу страницы. В левом нижнем углу экрана появляется плавающее оглавление, по которому можно переходить от одного результата к другому.

У каждой карточки результатов есть маленькая кнопка × (видна при наведении), которая удаляет карточку. Чтобы удалить всё сразу, нажмите Очистить все результаты (кнопка появляется, только когда результаты уже есть). Раздел вывода, список источников и оглавление вернутся в исходное состояние. Перед очисткой приложение попросит подтверждения.

Ссылки на источники

Когда анализу есть на что сослаться, под результатами появляется блок источников. У него цветной заголовок «Если вы публикуете этот анализ, пожалуйста, сошлитесь на эти работы» и два списка:

  • Методы — литература о статистических методах, применённых в анализе: кто предложил каждый метод и чей алгоритм на самом деле использовало приложение
  • Программное обеспечение — пакеты R, которые выполнили расчёты, каждый с той версией, что работала в этом сеансе, а также WebR и D3

Все ссылки подобраны вручную, а не сгенерированы, поэтому список появляется, только когда в нём что-то есть. Для метода, к которому источники ещё не подобраны, не выводится ничего: приложение не подставляет вместо них случайную запись о пакете. Библиотеки, у которых нет публикации для цитирования (math.js, Papa Parse, SheetJS и другие), перечислены в окне Поддержать проект. Источники копятся в течение сеанса и не исчезают при удалении отдельных карточек, потому что отражают всё, что было использовано. Блок источников есть и в оглавлении, чтобы к нему было легко перейти.

Экспорт результатов

Таблицы и текст можно скопировать прямо из раздела вывода и вставить в свой документ. Большинство текстовых редакторов и программ для презентаций при вставке теряют часть оформления (цвета, выделение значимых результатов, границы таблиц). Содержимое и структура сохраняются, но оформление, возможно, придётся немного поправить.

Чтобы получить более аккуратный документ, нажмите Экспорт в DOCX в правом верхнем углу раздела вывода. Скачается файл Word со всеми текущими результатами, где графики, таблицы и оформление сохранены настолько точно, насколько это возможно. Кнопки группового экспорта рядом сохраняют графики отдельными файлами в ZIP-архиве.

Изменение размера и экспорт графиков

Все графики в DataSuite устроены одинаково. Чтобы изменить размер, потяните за маленький маркер в правом нижнем углу графика и растяните или сожмите график до нужного размера. Многопанельные рисунки (например, информационные кривые в модуле IRT) меняют размер целиком, одним маркером.

Чтобы экспортировать один график, наведите на него курсор: справа появится небольшая панель с тремя кнопками — SVG, PNG и JPG. Нажмите одну из них, и график скачается отдельным файлом. На сенсорных устройствах, где наведения нет, панель видна всегда.

Какой формат выбрать? SVG — векторный формат: он остаётся чётким при любом размере и лучше всего подходит для публикации или дальнейшей правки. PNG и JPG — растровые изображения, их удобно быстро вставить в слайды или отправить.

Чтобы сохранить все графики страницы за один раз, воспользуйтесь описанным выше групповым экспортом (ZIP) или кнопкой Экспорт в DOCX.

Настройки

Нажмите кнопку Настройки (значок гаечного ключа) в верхней панели. Там задаются:

  • Режим точности — десятичные знаки или значащие цифры, причём точность задаётся отдельно для описательных статистик, статистик критериев и p-значений
  • Уровень доверия — 90%, 95%, 99% или 99.9%
  • Формат отображения p-значений — точное значение, категория (например, «p ≤ 0.05») или скрытие p-значений
  • выделение значимых p-значений — полужирным шрифтом, цветом текста или цветом фона
  • Стиль таблицы — полные границы, стиль APA, без границ, только горизонтальные линии или минимальный
  • Пропущенные данные — попарное удаление, построчное удаление или импутация (среднее, медиана, мода, константа)
  • Язык — английский, русский или китайский

После нажатия кнопки Сохранить новые настройки применяются ко всем уже выведенным и будущим результатам.

Сохранение работы

В разделе Загрузка и просмотр данных экспортируйте данные на карточке Скачать файл данных. По умолчанию сохраняется файл проекта DataSuite (.json), в котором есть всё: данные, типы переменных, фильтры, правила преобразования и настройки (но не результаты!). Загрузите этот файл позже и продолжите с того места, где остановились.

Если нужны только данные, их можно сохранить и в других форматах — CSV, Excel, ODS и не только:

  • Выберите формат файла — в каком формате кнопка Скачать сохранит рабочий набор данных с текущими именами переменных и преобразованиями. JSON (проект), формат по умолчанию, сохраняет весь сеанс, как описано выше. Остальные форматы сохраняют только данные. Текст с разделителями: CSV (через запятую), CSV-2 (через точку с запятой, для локалей с десятичной запятой, с расширением .csv), TSV (через табуляцию) и TXT (через запятую, с расширением .txt). Электронные таблицы: XLSX, более старый XLS, двоичный XLSB, ODS и HTML-таблица. Наконец, JSON в виде массива объектов-строк или по массиву на каждый столбец.

Следующие шаги