Кластерный анализ #

Модуль Кластерный анализ группирует по сходству наблюдения, переменные или сразу те и другие. В нём три режима (кластеризация наблюдений, кластеризация переменных и бикластеризация), и в каждом на выбор несколько алгоритмов. Работа идёт в три шага: выбор метода, поиск оптимального числа кластеров и полный анализ с метриками качества и графиками.

Что такое кластерный анализ? Это поиск групп похожих наблюдений, когда сами группы заранее не заданы. Сама идея объяснена в разделе о кластеризации, а что результат может утверждать и чего не может — в разделе о кластерном решении.

1. Выберите переменные: не меньше двух, числовых или, при метрике Гауэра, разных типов
2. Выберите режим кластеризации и алгоритм
3. Задайте диапазон числа кластеров и нажмите Анализ и определение k, чтобы найти лучшее число кластеров
4. Задайте k и включите нужные метрики качества и параметры вывода
5. Нажмите Запустить кластерный анализ (или Запустить анализ бикластеризации)

Требования #

Нужно выбрать не меньше двух переменных, и по умолчанию они должны быть числовыми: нечисловые переменные исключаются автоматически и перечисляются в выводе. Исключение составляет метрика Гауэра: она сравнивает категориальные и порядковые переменные напрямую и поэтому оставляет их в анализе. Переменные, которые на полных наблюдениях оказались постоянными, тоже исключаются и перечисляются отдельно. Хотя бы две выбранные переменные должны действительно меняться.

Кроме того, k должно быть меньше числа кластеризуемых объектов: в режиме переменных — меньше числа переменных, в режиме наблюдений — меньше числа полных наблюдений, причём это ограничение действует на каждое k из диапазона шага 2. Для бикластеризации нужны хотя бы два полных наблюдения и не меньше, чем запрошено бикластеров, а FABIA не может найти больше бикластеров, чем есть переменных. Значения числовых полей ограничены их минимумом и максимумом: число, введённое за пределами диапазона, исправляется, а не передаётся в R, а пустое поле означает значение по умолчанию. Исключение — два поля k на шаге 3: пустыми их оставить нельзя.

Шаг 1: метод и настройки #

Режим кластеризации #

• Режим кластеризации — что именно группируется: строки, столбцы или блоки из тех и других (кластеризация наблюдений, переменных или тех и других). От выбора зависят список алгоритмов и панели шагов 2 и 3.
• Кластеризация наблюдений — группирует строки (наблюдения) по выбранным переменным. Вопрос здесь такой: какие типы участников есть в данных?
• Кластеризация переменных — группирует столбцы, то есть ищет переменные, которые ведут себя похоже. Это альтернатива факторному анализу при поиске наборов согласованно меняющихся переменных. Переменные стандартизуются, матрица транспонируется, и мера различия вычисляется между профилями переменных по наблюдениям. Обычный выбор здесь — две корреляционные меры различия.
• Бикластеризация — группирует строки и столбцы одновременно, отыскивая подмножества наблюдений, похожих по части переменных. Нужна для структуры, которая затрагивает не все переменные (бикластер). Алгоритмы и их настройки описаны ниже.

Стандартизация #

• Стандартизировать переменные (z-оценки) — включено по умолчанию: перед расчётом расстояний каждая переменная центрируется и масштабируется, чтобы ни одна не перевешивала остальные лишь потому, что её числа крупнее (стандартизация перед кластеризацией). Выключайте стандартизацию, только если у переменных общая осмысленная шкала и их разный разброс — часть того, по чему вы хотите кластеризовать. В режиме Кластеризация переменных флажок установлен и заблокирован, поскольку корреляция определена на стандартизованных столбцах. При метрике Гауэра (смешанные типы) флажок снят и заблокирован, поскольку коэффициент Гауэра по определению делит каждую числовую переменную на её размах. Была ли стандартизация, видно на карточке результатов: в режимах наблюдений и переменных — по пометке (стандартизованные) рядом со списком переменных, в бикластеризации — по отдельной строке.

Алгоритмы кластеризации наблюдений и переменных #

• Алгоритм кластеризации — как строятся кластеры: методы k-средних и k-медоидов разбивают объекты на заданное число k кластеров, а иерархический алгоритм строит дерево и разрезает его на k частей. Все три исходят из того, что выбранные переменные имеют отношение к группировке: лишние переменные добавляют шум и ухудшают кластеры.
• К-средних — по умолчанию: относит каждое наблюдение к ближайшему центру кластера и пересчитывает центры, пока они не перестанут сдвигаться (кластеризация методом k-средних). Метод быстрый, хорошо справляется с большими данными и подходит для хорошо разделённых, примерно сферических кластеров близкого размера на непрерывных переменных. Он минимизирует внутрикластерную дисперсию, поэтому плохо выделяет вытянутые, кольцевые или сильно различающиеся по размеру кластеры. Метод работает только с евклидовым расстоянием, поэтому в режиме наблюдений поле Метрика расстояния при нём скрыто, а в режиме переменных закреплено на Евклидова. При метрике Гауэра метод недоступен. Случайные начальные точки задаются зерном воспроизводимости в разделе Настройки.
• К-медоиды (PAM) — похож на К-средних, но центрами служат реальные наблюдения, медоиды. Поэтому метод работает с любой метрикой расстояния, включая Гауэра, и устойчивее к выбросам: далёкое наблюдение не может перетянуть медоид, как перетягивает среднее. Собственных настроек, кроме метрики, у него нет.
• Иерархическая — строит дерево (дендрограмму), последовательно сливая самые похожие объекты, и разрезает его на k частей. Предположений о распределении не делает, но результат сильно зависит от параметра Метод связи. Лучше всего подходит, чтобы изучить структуру кластеров на нескольких уровнях в данных малого и среднего объёма, а также когда кластеры могут оказаться несферическими.

Какой алгоритм выбрать? К-средних — когда нужна скорость, а кластеры округлые и хорошо разделены; К-медоиды — когда важны выбросы, нужна неевклидова метрика или центрами должны быть реальные наблюдения; иерархический — чтобы изучить структуру по дереву, прежде чем задавать k. Каждый алгоритм разобран в разделе алгоритмы.

Настройки К-средних:

• Алгоритм К-средних — какой из четырёх вариантов метода в R выполняется. Все четыре минимизируют одну и ту же внутрикластерную сумму квадратов и обычно дают одинаковый результат, а различаются способом пересчёта центров.
• Хартиган — Вонг — по умолчанию: переносит отдельные наблюдения из кластера в кластер всякий раз, когда это уменьшает внутрикластерную сумму квадратов. Этот вариант рекомендуют авторы R, и только он сообщает, если не сошёлся.
• Ллойд — классический пакетный алгоритм: относит каждое наблюдение к ближайшему центру, затем пересчитывает все центры и повторяет это, пока распределение не перестанет меняться.
• Форги — та же пакетная процедура под другим названием: в R оба варианта выполняются одинаково.
• Мак-Куин — пересчитывает два затронутых центра каждый раз, когда одно наблюдение переходит в другой кластер, а не все центры после полного прохода.
• Число случайных запусков — по умолчанию 25, от 1 до 100: сколько случайных начальных наборов центров перебирается. Сохраняется запуск с наименьшей внутрикластерной суммой квадратов. Чем больше запусков, тем меньше риск неоптимального решения.
• Максимальное число итераций — по умолчанию 100, от 10 до 1000: предельное число проходов для одного запуска. Если алгоритм упёрся в этот предел, не сойдясь, на карточке появляется предупреждение с советом увеличить предел или число запусков.

Настройки иерархической кластеризации: метрика расстояния и метод связи.

• Метод связи — как расстояние между двумя кластерами вычисляется из расстояний между их наблюдениями (метод связи). От выбора метода зависит форма получающихся кластеров. Выбор сопровождают два предупреждения. Метод Уорда предполагает евклидовы расстояния, поэтому при другой метрике появляется предупреждение (метрика Минковского при p = 2 считается евклидовой). Центроидный и медианный методы не монотонны, то есть слияние может оказаться ниже объединяемой пары, поэтому при их выборе появляется предупреждение о возможных инверсиях на дендрограмме, а если инверсии действительно возникли, об этом сообщает примечание на графике.
• Уорда (D2) — по умолчанию: объединяет ту пару, слияние которой меньше всего увеличивает общую внутрикластерную дисперсию (метод Уорда). Даёт компактные кластеры примерно равного размера. Предполагает евклидовы расстояния.
• Полная связь — расстояние между кластерами равно наибольшему расстоянию между их наблюдениями (метод полной связи). Кластеры компактные, метод чувствителен к выбросам.
• Средняя связь (UPGMA) — среднее всех попарных расстояний между наблюдениями двух кластеров (метод средней связи). Кластеры умеренного размера и сбалансированные.
• Одиночная связь — наименьшее расстояние между наблюдениями двух кластеров (метод одиночной связи). Кластеры длинные, цепочечные: метод подходит для поиска вытянутых форм, но склонен к цепному эффекту.
• Центроидный (UPGMC) — расстояние между центроидами двух кластеров (центроидный метод). На дендрограмме возможны инверсии.
• Медианный (WPGMC) — как центроидный метод, но два сливаемых кластера входят с равными весами независимо от размера. Инверсии тоже возможны.
• Мак-Квитти (WPGMA) — как метод средней связи, но два сливаемых кластера входят с равными весами независимо от размера (метод Мак-Квитти).

Метрика расстояния #

• Метрика расстояния — насколько далеки два объекта по всем выбранным переменным вместе (расстояние). В режиме наблюдений список виден при алгоритмах К-медоиды (PAM) и Иерархическая. В режиме переменных он остаётся видимым и при К-средних, но недоступные этому методу пункты отключены: здесь именно метрика определяет, что значит «похожие переменные».
• Евклидова — по умолчанию: расстояние по прямой (евклидово расстояние), обычный выбор для непрерывных данных.
• Манхэттенская — сумма модулей разностей (манхэттенское расстояние). Одна большая разность влияет на неё слабее, чем на евклидову.
• Максимум (Чебышёва) — наибольшая разность по одной переменной (расстояние Чебышёва). Подходит, когда решать должно одно крупное расхождение.
• Канберра — сумма относительных разностей (расстояние Канберра). Подходит для счётных и других неотрицательных данных, где малые значения важны в пропорции. Метрика определена для значений не меньше нуля, поэтому используйте её с выключенной стандартизацией.
• Минковского — семейство, в которое входят манхэттенская и евклидова метрики (расстояние Минковского). Показатель задаётся в поле Показатель Минковского (p).
• Показатель Минковского (p) — по умолчанию 2, не меньше 1, с шагом 0.5: при p = 1 получается манхэттенская метрика, при p = 2 — евклидова, а с ростом p метрика приближается к максимуму. Для предупреждения о методе Уорда метрика при p = 2 считается евклидовой.
• 1 − r (корреляция) — единица минус корреляция двух профилей (корреляция как мера различия). В режиме переменных объединяет переменные, которые растут и падают вместе, и разводит переменные с противоположным знаком.
• 1 − |r| (абсолютная корреляция) — единица минус модуль корреляции. Объединяет переменные, которые измеряют одно и то же, независимо от направления шкалы. Обычно именно это нужно для обратных пунктов опросника. Обе корреляционные меры — привычный выбор в режиме Кластеризация переменных, но они доступны и в режиме наблюдений для К-медоидов и иерархической кластеризации. Там они сравнивают форму профиля наблюдения по переменным, а не его уровень, поэтому столбцы должны быть измерены в сопоставимых шкалах.
• Гауэра (смешанные типы) — каждая переменная оценивается в своей шкале, и оценки усредняются (коэффициент Гауэра). Это единственная метрика, которая допускает категориальные и порядковые переменные. Её выбор меняет четыре вещи, о них ниже.

Гауэр и данные смешанных типов #

Все остальные метрики здесь — расстояния между строками чисел, поэтому нечисловые переменные исключаются ещё до того, как данные попадут в R. Гауэра (смешанные типы) — исключение. Эта мера оценивает каждую переменную в её собственной шкале (числовую — по модулю разности, нормированному на размах, порядковую — по рангам, категориальную — по совпадению или несовпадению) и усредняет оценки по переменным, так что категориальная переменная участвует в кластеризации, а не выбрасывается. Выбор этой метрики меняет четыре вещи. Во-первых, категориальные и порядковые переменные остаются в анализе: они больше не значатся исключёнными, а подтип каждой переменной (интервальная, номинальная или порядковая) выводится на карточке результатов в строке Типы переменных для Гауэра. Эту строку стоит проверить: от подтипа зависит, как сравнивалась переменная, и порядковая переменная, принятая за номинальную, незаметно теряет свой порядок. Во-вторых, стандартизация выключается и блокируется по причине, описанной выше. В-третьих, К-средних становится недоступен, потому что ему нужны центроиды в евклидовом пространстве (PAM и иерархическая кластеризация работают с мерой различия напрямую и доступны как обычно), а в режиме кластеризации переменных эта метрика не предлагается. В-четвёртых, не выводятся результаты, основанные на центроидах: внутрикластерная и межкластерная СК, объяснённая дисперсия, индексы Калинского — Харабаша и Хартигана, статистика Хопкинса, критерий Дуды — Харта, статистика разрыва, график локтя и биплот кластеров. Об их отсутствии сообщает примечание на карточке. Индекс Дэвиса — Болдина остаётся, но вычисляется по медоидам кластеров, а не по средним. Силуэт, индекс Данна, кофенетическая корреляция, бутстрэп-устойчивость и консенсусное разбиение работают с мерой различия напрямую, и их это не затрагивает. Профили кластеров и медоиды там, где среднее не определено, показывают модальную категорию, а в таблице вклада переменных F-статистика и η² для категориальной переменной остаются пустыми, о чём сделана пометка.

Когда нужен коэффициент Гауэра? Когда хотя бы одна переменная для кластеризации действительно категориальная (диагноз, группа лечения, регион) и без неё смысл кластеров изменился бы. Если все переменные числовые, обычные метрики ведут себя лучше и возвращают полную таблицу метрик качества — см. коэффициент Гауэра.

Алгоритмы бикластеризации #

Бикластеризация ищет подгруппы наблюдений, похожих по части переменных, тогда как обычная кластеризация строит каждый кластер по всем переменным.

• Алгоритм бикластеризации — какой поиск выполняется на матрице «наблюдения × переменные». Plaid и спектральный алгоритм сами определяют число бикластеров, поэтому сравнения на шаге 2 для них нет, и на шаге 3 k не задаётся. Остальные три алгоритма используют заданное вами k. Plaid выбран по умолчанию: он моделирует непрерывные данные напрямую и сам определяет число бикластеров, так что подбирать порог не нужно. BiMax и алгоритму Ченга — Чёрча нужен порог, удачное значение которого зависит от данных, поэтому обращайтесь к ним, когда уже представляете себе структуру. FABIA благодаря вероятностной модели хорошо переносит зашумлённые данные, а спектральный алгоритм предназначен для данных с шахматной структурой.
• Plaid — по умолчанию: аддитивная модель, в которой каждый бикластер — «слой», наложенный на фон (модель Plaid). Число бикластеров определяет сама.
• BiMax — находит бикластеры максимального размера в бинаризованных данных (бинаризация). k задаёте вы.
• FABIA — факторный подход, находящий разреженные перекрывающиеся бикластеры (разреженные факторные бикластеры). k задаёте вы.
• Ченг и Чёрч — ищет бикластеры с малым средним квадратом остатков, то есть с высокой согласованностью. k задаёте вы.
• Спектральная — ищет шахматную структуру с помощью сингулярного разложения (шахматная структура). Число бикластеров определяет сама.

Настройки Plaid:

• Фоновый слой — подгонять ли фон по всей матрице до поиска слоёв, чтобы бикластеры описывали отклонения от фона, а не от нуля.
• Эффекты строк и столбцов — по умолчанию: фон подгоняется как общее среднее плюс эффект каждого наблюдения и каждой переменной и вычитается до подгонки первого слоя. В строке настроек на карточке результатов выбор указан под тем же названием.
• Нет — фон не подгоняется, и слои подгоняются к исходным значениям.
• Максимальное число слоёв (бикластеров) — по умолчанию 20, от 1 до 50: верхний предел при автоматическом определении.
• Удаление строк — по умолчанию 0.7, от 0 до 1: насколько строго наблюдения отсеиваются из слоя при его подгонке. Наблюдение остаётся, только если слой объясняет не меньше этой доли его вариации по переменным слоя. Увеличьте значение, чтобы отсеивать жёстче, уменьшите, чтобы оставлять и слабее связанные наблюдения.
• Удаление столбцов — по умолчанию 0.7, от 0 до 1: то же правило для переменных.

Настройки BiMax:

• Минимальное число строк — по умолчанию 2: наименьшее число наблюдений в бикластере. BiMax оставляет блок, если строк в нём не меньше этого числа. Спектральный алгоритм, у которого тот же параметр, оставляет кандидата, только если строк больше, поэтому при значении 2 его бикластеры не бывают меньше трёх строк.
• Минимальное число столбцов — по умолчанию 2: наименьшее число переменных в бикластере, с той же оговоркой: у BiMax не меньше этого числа, у спектрального алгоритма больше.
• Квантиль бинаризации — по умолчанию 0.5, от 0 до 1: каждая переменная разрезается по этому квантилю своих собственных значений, выше порога становится 1, на пороге и ниже — 0. Это квантиль, а не само значение, поэтому одна и та же настройка подходит для переменных в любых шкалах.

Настройки FABIA:

• Априорная разреженность (нагрузки) — по умолчанию 0.6, от 0 до 2: насколько сильно нагрузки со стороны наблюдений стягиваются к нулю. Чем больше значение, тем разреженнее и избирательнее бикластеры. Параметр влияет на подгонку, а не на отбор членов бикластера. За отбор отвечает Порог принадлежности.
• Априорная разреженность (факторы) — по умолчанию 0.5, от 0 до 2: то же для факторов со стороны переменных.
• Порог принадлежности — по умолчанию 0.5, от 0.1 до 2: граница, по которой непрерывные значения факторов FABIA превращаются в принадлежность к бикластеру. Чем выше порог, тем больше наблюдений и меньше переменных в каждом бикластере. При слишком низком пороге FABIA не находит ничего.
• Количество итераций — по умолчанию 500, от 100 до 2000 с шагом 100: число циклов подгонки.

Настройки алгоритма Ченга — Чёрча:

• Порог остатков (δ) — по умолчанию 0.2, от 0.01 до 1: наибольший допустимый средний квадрат остатков бикластера, выраженный в долях остатка всей матрицы. Чем меньше значение, тем более согласованными должны быть бикластеры.
• Альфа — по умолчанию 1.5, не меньше 1: коэффициент для группового удаления узлов. Строки и столбцы, у которых остаток больше остатка блока в указанное число раз, удаляются все сразу, прежде чем начнётся удаление по одному.

Настройки спектрального алгоритма:

• Число групп строк и столбцов — по умолчанию 3: и строки, и переменные делятся на это число групп, а бикластерами становятся сочетания групп, прошедшие описанные ниже фильтры размера и разброса. Максимальное значение зависит от данных: его ограничивают оба размера матрицы и два фильтра минимального размера, так что на узком наборе данных оно невелико.
• Число сингулярных векторов — по умолчанию 3: сколько измерений сингулярного разложения использовать. Значение не может превышать меньшее из чисел наблюдений и переменных.
• Метод нормализации — как матрица перемасштабируется перед разложением, чтобы сингулярные векторы отражали блочную структуру, а не суммы по строкам и столбцам.
• Логарифм — по умолчанию: матрица сдвигается так, чтобы её наименьшее значение стало равно 1, логарифмируется, после чего из неё вычитаются средние по строкам и столбцам (нормализация логарифмических взаимодействий).
• IRRC (независимое перемасштабирование) — независимое перемасштабирование строк и столбцов по Клюгеру: матрица сдвигается в неотрицательную область, и каждое значение один раз делится на квадратный корень из произведения суммы по его строке и суммы по его столбцу.
• Бистохастизация — повторяет это перемасштабирование, добиваясь матрицы, у которой суммы по всем строкам и всем столбцам одинаковы. При этом методе и при IRRC первый сингулярный вектор отражает фон и отбрасывается, поэтому значение «один сингулярный вектор» заменяется на два.
• Максимальный разброс внутри бикластера — по умолчанию 0.5, не меньше 0: наибольший разброс, при котором кандидат ещё сохраняется, в долях собственного разброса матрицы. Увеличьте значение, чтобы принималось больше бикластеров. Спектральный алгоритм сам определяет k, поэтому на деле именно этот параметр решает, сколько бикластеров будет найдено.
• Фильтры Минимальное число строк и Минимальное число столбцов работают как у BiMax, но строже: кандидат сохраняется, только если строк (или переменных) в нём больше заданного числа, так что при значении 2 не остаётся ничего меньше трёх.

Какой алгоритм бикластеризации выбрать? Plaid — когда неизвестно, сколько блоков ожидать; BiMax и алгоритм Ченга — Чёрча — когда порог можно задать, уже представляя себе структуру; FABIA — для зашумлённых данных с перекрывающимися закономерностями; спектральный — для матрицы, целиком состоящей из блоков. Каждая модель разобрана в разделе о бикластере и в следующих за ним.

Шаг 2: выбор числа кластеров #

Прежде чем запускать полный анализ, на этом шаге сравнивают решения с разным числом кластеров, чтобы выбрать k.

Число кластеров для наблюдений и переменных #

Задайте Диапазон числа кластеров для проверки и нажмите Анализ и определение k. Для каждого k из диапазона выполняется кластеризация с настройками шага 1, и решение оценивается по включённым индексам. Каждому k соответствует строка таблицы.

• Минимум — наименьшее проверяемое число, по умолчанию 2. Можно задать и 1: тогда строка k = 1 описывает данные без разбиения. В блоке Диапазон числа бикластеров для проверки это наименьшее число бикластеров, по умолчанию тоже 2.
• Максимум — наибольшее проверяемое число, по умолчанию 10. Оно должно быть меньше числа объектов (переменных в режиме переменных, полных наблюдений в режиме наблюдений). Если максимум не больше минимума, он поднимается до минимума плюс один: для сравнения нужен диапазон. В блоке Диапазон числа бикластеров для проверки это наибольшее число бикластеров, по умолчанию тоже 10.

В блоке Метрики качества каждый включённый индекс пересчитывается для каждого k из диапазона и становится столбцом сравнительной таблицы. Широкий диапазон обходится недорого, только если отключить индексы, которые вы не собираетесь смотреть. Те же четыре флажка есть и на шаге 3, где каждый индекс становится строкой таблицы метрик качества.

• Силуэтный анализ — средняя ширина силуэта: насколько объект ближе к своему кластеру, чем к ближайшему чужому, в среднем по всем объектам. Принимает значения от −1 до +1 (силуэт). Чем выше, тем лучше: от 0.50 — достаточная структура, от 0.70 — сильная. Включён по умолчанию. Столбец называется Силуэт, по нему выбирается Рекомендуемое k (силуэт), а если анализ выключить, пропадут и силуэтный график, и эта рекомендация.
• Индекс Калинского — Харабаша — отношение межкластерной вариации к внутрикластерной, каждая поделена на свои степени свободы (индекс Калинского — Харабаша). Чем выше, тем лучше. Включён по умолчанию. Столбец называется Калинский — Харабаш. Вычисляется по средним кластеров и при метрике Гауэра не выводится.
• Индекс Дэвиса — Болдина — разброс каждого кластера в сравнении с его ближайшим соседом, усреднённый по кластерам (индекс Дэвиса — Болдина). Чем ниже, тем лучше. Включён по умолчанию. Столбец называется Дэвис — Болдин. Измеряется в выбранной метрике расстояния, а при метрике Гауэра — по медоидам кластеров, а не по средним.
• Индекс Данна — наименьшее различие между двумя кластерами, делённое на наибольшее различие внутри кластера (индекс Данна). Чем выше, тем лучше. Один выделяющийся объект может сильно его сдвинуть. Выключен по умолчанию. Столбец называется Данн.

В блоке Параметры вывода рядом с таблицей можно построить до четырёх графиков:

• Показать график локтя (внутрикластерная СК) — включено по умолчанию: суммарная внутрикластерная сумма квадратов в зависимости от k. Локоть (k, наиболее удалённое от прямой через первую и последнюю точки) отмечен кольцом, а если кривая изгибается слишком слабо, вместо отметки выводится примечание (метод локтя). При метрике Гауэра не строится.
• Показать силуэтный график — включено по умолчанию и доступно, пока включён Силуэтный анализ: средняя ширина силуэта в зависимости от k. Лучшее k выделено, а направляющие на 0.25, 0.50 и 0.70 отделяют слабую, достаточную и сильную структуру.
• Вычислить статистику разрыва (медленнее) — включено по умолчанию: насколько кластеры при каждом k плотнее, чем у 100 равномерных эталонных выборок, если мерить той же мерой различия, что и при кластеризации (статистика разрыва). Добавляет столбец Разрыв, график и строку Рекомендуемое k (статистика разрыва). Полосы на графике охватывают ±1 SE, а выделено k, выбранное правилом Тибширани, — наименьшее k, разрыв которого не меньше разрыва следующего k за вычетом его стандартной ошибки. Такое k не всегда совпадает с максимумом. Если выбранное правилом k лежит вне проверенного диапазона, ничего не выделяется и выводится примечание. При метрике Гауэра не вычисляется. Если расчёт не удался, в столбце «Разрыв» стоит Н/Д, а сообщение R выводится под таблицей и на месте графика.
• Показать дендрограмму — только для иерархической кластеризации, включено по умолчанию: полное дерево с перетаскиваемой линией разреза (см. чтение дендрограммы). Дерево строится с учётом параметра Оптимизировать порядок листьев шага 3, поэтому на обоих шагах оно одинаковое.

Тенденция к кластеризации #

Тенденция к кластеризации. В режиме наблюдений карточка начинается с проверки, есть ли в данных кластеры вообще. Этот вопрос предшествует вопросу «сколько?», потому что любой алгоритм вернёт кластеры даже там, где их нет (тенденция к кластеризации). Оба критерия вычисляются в евклидовой геометрии при любой метрике, и при неевклидовой метрике об этом сообщает примечание. В режиме переменных и при метрике Гауэра ни один из критериев не выводится.

• Статистика Хопкинса — насколько объекты расположены теснее, чем равномерно разбросанные в том же диапазоне случайные точки (статистика Хопкинса). Значение от 0.75 получает интерпретацию Кластерная структура, от 0.25 до 0.75 — Слабая или неясная тенденция (случайные данные дают 0.5), ниже 0.25 — Регулярное расположение, без кластеров. p-значения у этой статистики нет.
• Дуда — Харт Je(2)/Je(1) — внутрикластерная сумма квадратов двухкластерного решения выбранного алгоритма, делённая на общую сумму квадратов (критерий Дуды — Харта), с p-значением. Если результат значим на уровне значимости, интерпретация — Два кластера лучше одного, иначе — Гипотеза об одном кластере не отвергается.
• Тенденция к кластеризации — Значение — статистика критерия: в строке Хопкинса — его отношение, в строке Дуды — Харта — Je(2)/Je(1).

Эти интерпретации выводятся в столбце Интерпретация, если она включена в настройках.

Сравнительная таблица #

Сравнение решений. По строке на каждое проверенное k и по столбцу на каждый индекс. Этот заголовок одинаков у обычной и бикластерной таблиц. Зелёным отмечено лучшее значение в столбце, а что ещё выделено, поясняет примечание под таблицей.

• k — число кластеров, которое описывает строка. Щёлкните по нему, чтобы перенести это k в поле Число кластеров (k) шага 3 (на карточке бикластеризации — в поле Число бикластеров (k)) и не набирать его заново. Новое значение подтвердит всплывающее уведомление.
• Внутрикл. СК — суммарная внутрикластерная сумма квадратов (внутрикластерный разброс). Чем она меньше, тем плотнее кластеры, но она уменьшается с каждым новым кластером, поэтому лучшее значение не отмечается.
• Объяснённая дисперсия (%) — доля общей суммы квадратов, которая приходится на различия между кластерами, а не на разброс внутри них. Она растёт с каждым новым кластером, поэтому лучшее значение тоже не отмечается.
• Наименьший кластер — число объектов в самом маленьком кластере. По нему сразу видно решение, которое лишь отщепляет горстку объектов.
• Наибольший кластер — число объектов в самом большом кластере.
• Разрыв — статистика разрыва при каждом k. Чем она выше, тем плотнее кластеры по сравнению с эталоном. Зелёная отметка стоит на k, выбранном по правилу одной стандартной ошибки, то есть совпадает с рекомендацией Рекомендуемое k (статистика разрыва), а не с максимумом столбца.
• Хартиган — индекс Хартигана, сравнивающий каждое k со следующим (правило Хартигана). Значение больше 10 выделяется жёлтым: ещё один кластер стоит добавить. В последней строке стоит Н/Д, потому что сравнивать её не с чем.

Столбцы Силуэт, Калинский — Харабаш, Дэвис — Болдин и Данн — это метрики качества, которые вы оставили включёнными. Если диапазон начинается с 1, в строке k = 1 индексы разделения показывают Н/Д: им нужно не меньше двух кластеров.

Внутрикластерная СК, объяснённая дисперсия, индексы Калинского — Харабаша и Хартигана вычисляются в евклидовой геометрии при любой выбранной метрике. Если выбрана другая метрика, под таблицей появляется примечание об этом. Сама статистика разрыва считается по выбранной мере различия, но эталонная выборка равномерна, а для 1 − r и 1 − |r| равномерная выборка не служит бесструктурной нулевой моделью. При этих двух мерах появляется второе примечание. При метрике Гауэра эти четыре столбца и столбец «Разрыв» в таблицу не выводятся вовсе: у смешанных типов нет центроида, по которому их можно вычислить.

Под таблицей выводятся рекомендации:

• Рекомендуемое k (силуэт) — k с наибольшим средним силуэтом. Выводится, пока включён Силуэтный анализ.
• Рекомендуемое k (статистика разрыва) — k, выбранное по правилу одной стандартной ошибки: наименьшее k, разрыв которого не меньше разрыва следующего k за вычетом его стандартной ошибки. Если правило выбирает k = 1, карточка вместо числа сообщает, что статистика разрыва указывает на отсутствие кластерной структуры.

Рекомендация — лишь лучшее значение в диапазоне и ничего не говорит о том, есть ли в данных структура. Поэтому, если ни одно k не достигает силуэта 0.25, под рекомендациями появляется оговорка с лучшим найденным значением.

Метрики расходятся — какой верить? Обычно так и бывает, ведь каждый индекс измеряет своё: считайте таблицу списком кандидатов и выбирайте из двух-трёх лучших k по интерпретируемости и устойчивости — см. когда индексы расходятся.

Чтение дендрограммы #

Дендрограмма на шаге 2 интерактивна. Перетаскивайте линию разреза, чтобы увидеть, как дерево делится при разных k, а затем щёлкните по линии разреза, чтобы сразу передать это k на шаг 3. Кнопка Переместить разрез к рекомендуемому k переносит разрез к рекомендации по силуэту. Кластеры нумеруются в порядке их первого появления вдоль дерева, поэтому цвета и подписи на графике совпадают с номерами во всех таблицах.

Число бикластеров #

Для алгоритмов, которым нужно заданное k (BiMax, FABIA, алгоритм Ченга — Чёрча), задайте Диапазон числа бикластеров для проверки с теми же полями Минимум и Максимум, что и выше (по умолчанию от 2 до 10), и нажмите Сравнение решений.

• Показать график объяснённой дисперсии — включено по умолчанию: доля дисперсии матрицы, которую объясняют бикластеры, в зависимости от k. Для FABIA это доля, которую объясняет её собственная факторизация.
• Показать графики когерентности (MSR и корреляция) — включено по умолчанию: два графика по k — средний квадрат остатков, усреднённый по бикластерам (чем ниже, тем согласованнее), и средняя корреляция внутри бикластера (чем выше, тем согласованнее).
• Показать график покрытия — включено по умолчанию: три линии по k — доля строк, столбцов и ячеек (в процентах), которые входят хотя бы в один бикластер.

Три более медленные диагностики по умолчанию выключены. Каждая добавляет в таблицу свои столбцы и строит свой график:

• Анализ устойчивости (бутстрэп, медленнее) — извлекает бутстрэп-выборки наблюдений, заново подгоняет бикластеризацию при каждом k и по коэффициенту Жаккара оценивает, какая часть каждого бикластера воспроизводится. Добавляет столбец Устойчивость. Если диагностика выполнялась, рекомендуемым становится самое устойчивое k.
• Диагностика F-статистики (медленнее) — F-статистики для строк и столбцов каждого бикластера, в котором не меньше двух строк и двух столбцов, с p-значениями по ресэмплингу. Добавляет столбцы Сред. F по строкам, Сред. F по столбцам, Знач. строк (%) и Знач. столбцов (%) и график с опорной линией на 80%. Эти величины только описательные и критерием значимости не являются, ведь бикластеры подбирались так, чтобы максимизировать именно эти эффекты. Об этом напоминают примечания под таблицей и на графике.
• Консенсусная оценка (медленнее) — многократно подгоняет алгоритм заново с разными зёрнами при каждом k и по коэффициенту Жаккара оценивает, насколько согласуются запуски. Добавляет столбец Консенсус. Доступна для алгоритма Ченга — Чёрча и FABIA. BiMax детерминирован и всегда согласуется сам с собой, поэтому при нём флажок скрыт. Это оценка воспроизводимости, а не новое решение: консенсусное разбиение для кластеризации наблюдений и переменных — совсем другой инструмент, у которого просто похожее название.
• Повторы бутстрэпа — по умолчанию 100, от 10 до 10 000. Поле видно, пока включена хотя бы одна из трёх диагностик. Задаёт, сколько выборок извлекают анализ устойчивости и F-статистика и сколько повторных запусков сравнивает консенсусная оценка. Устойчивость и консенсус заново подгоняют бикластеризацию на каждом повторе для каждого k из диапазона, а диагностика F-статистики выполняет ресэмплинг для каждого бикластера, найденного при каждом k. Поэтому время расчёта растёт как произведение ширины диапазона, числа найденных бикластеров и числа повторов, и прежде чем включать эти диагностики, диапазон лучше сузить. На шаге 3 есть поля с тем же названием, значением по умолчанию и диапазоном для его собственных расчётов на основе ресэмплинга: одно общее для флажков Устойчивость кластеров и Консенсусное разбиение и одно под параметром Устойчивость в сводке бикластеров.

Сравнительная таблица бикластеров #

Под тем же заголовком Сравнение решений — по строке на каждое k. Ячейка k переносит число на шаг 3, как в обычной таблице.

• Найдено — сколько бикластеров вернул алгоритм. Их может оказаться меньше k. Жёлтым отмечено число, которое алгоритм не смог набрать, и тогда строка повторяет наибольшее найденное им решение.
• Объясн. дисп. (%) — какую долю дисперсии матрицы объясняют бикластеры. Лучшее значение не отмечается: столбец отражает, какую часть матрицы покрыли блоки, поэтому его экстремум указывает на k, при котором алгоритм покрыл больше всего, а не на лучшее соответствие данным.
• Объясн. дисп. (модель, %) — тот же столбец для FABIA: он оценивает подогнанную факторизацию, а не блоки бикластеров, о чём сообщает примечание под таблицей.
• Δ Дисп. (%) — прирост объяснённой дисперсии по сравнению с предыдущим k. В первой строке прироста нет.
• Ср. MSR — средний квадрат остатков, усреднённый по бикластерам. Чем ниже, тем согласованнее бикластеры. Для бикластера меньше чем из двух строк или двух столбцов он не определён, поэтому, если подходят не все бикластеры, в ячейке указано, по скольким из них взято среднее, например 0.017 (3/4).
• Ср. r — средняя корреляция внутри бикластера. Чем выше, тем согласованнее. В отличие от MSR она не зависит от амплитуды, поэтому строки, которые меняются вместе, но в разных масштабах, всё равно получают хорошую оценку. Как и MSR, она не определена для бикластеров меньше чем из двух строк или двух столбцов и помечается так же, (3/4). Строка, постоянная на столбцах бикластера, в среднее по этому бикластеру не входит.
• Ср. перекрытие — среднее попарное сходство бикластеров по Жаккару, посчитанное по ячейкам. Значения выше 0.3 выделяются жёлтым: бикластеры во многом повторяют друг друга.
• Покрытие ячеек (%) — доля ячеек данных (в процентах), которые входят хотя бы в один бикластер.
• Устойчивость — средний бутстрэп-коэффициент Жаккара для бикластеров при данном k (флажок Анализ устойчивости (бутстрэп, медленнее)). Чем выше, тем лучше, лучшее значение отмечено зелёным.
• Сред. F по строкам — F-статистика эффекта строк, усреднённая по бикластерам (флажок Диагностика F-статистики (медленнее)). Величина только описательная.
• Сред. F по столбцам — F-статистика эффекта столбцов, усреднённая так же.
• Знач. строк (%) — доля бикластеров, у которых p-значение эффекта строк по нулевому распределению ресэмплинга ниже уровня значимости. Доля 80% и выше отмечается зелёным. Завышена по построению, поэтому только описательная.
• Знач. столбцов (%) — та же доля для эффектов столбцов.
• Консенсус — средняя согласованность повторных запусков по Жаккару при данном k (флажок Консенсусная оценка (медленнее)). Чем выше, тем лучше, лучшее значение отмечено зелёным.

Если подгонка при каком-то k полностью не удалась, строка выделяется красным, а сообщение R выводится под таблицей. Предупреждения над таблицей сообщают, если бикластеры не найдены ни при одном k, если при каждом k перекрытие превышает 0.3 и если устойчивость была запрошена, но ни при одном k её не удалось измерить.

Рекомендуемое k. Указывается под таблицей вместе с правилом, по которому оно выбрано. Если выполнялся анализ устойчивости, это самое устойчивое k, иначе — локоть объяснённой дисперсии: последнее k перед тем, как прирост объяснённой дисперсии падает ниже половины предыдущего прироста. Правило локтя применяется, только если на всём диапазоне кривая выросла хотя бы на 5 процентных пунктов. Если кривая выросла меньше или резкого падения прироста не случилось, рекомендуется наименьшее проверенное k.

Для алгоритмов, которые определяют k сами (Plaid, спектральный), шаг 2 вместо таблицы показывает информационное примечание. Для спектрального алгоритма в нём добавлено, что число бикластеров определяется параметром Максимальный разброс внутри бикластера из шага 1.

Шаг 3: полный анализ #

Введите число кластеров и нажмите Запустить кластерный анализ (или Запустить анализ бикластеризации). Долгий расчёт можно прервать кнопкой отмены на индикаторе выполнения.

Каждая карточка результатов начинается с настроек расчёта: режим, алгоритм, метрика расстояния, метод связи или параметры К-средних, была ли стандартизация, какие переменные вошли в анализ, какие исключены как нечисловые или постоянные и сколько полных наблюдений из общего числа. Затем идут предупреждения (они перечислены ниже), а после них — запрошенные разделы в том порядке, в каком они описаны здесь.

Все диагностические графики этого шага и шага 2 (локоть, силуэт, разрыв, дендрограмма, тепловая карта и остальные) можно масштабировать и сохранять по отдельности в SVG, PNG или JPG кнопками экспорта рядом с каждым из них — см. изменение размера и экспорт графиков.

Кластеризация наблюдений и переменных #

• Число кластеров (k) — по умолчанию 3, не меньше 2: на сколько кластеров разбить объекты. Поле заполняется само, если щёлкнуть по k в сравнительной таблице шага 2 или по линии разреза дендрограммы. Значение должно быть меньше числа объектов (переменных в режиме переменных, полных наблюдений в режиме наблюдений). Если значение выходит за эти пределы или поле пусто, расчёт не запускается и выводится сообщение.

В блоке Метрики качества снова появляются четыре флажка шага 2 с теми же значениями по умолчанию. Теперь каждый из них — строка таблицы метрик качества для выбранного k. К ним добавляются две диагностики на бутстрэп-выборках:

• Устойчивость кластеров (бутстрэп, Жаккар, медленнее) — по умолчанию выключено: заново кластеризует бутстрэп-выборки данных и для каждого кластера оценивает, какая его часть воспроизводится (см. таблицу устойчивости). Из всех диагностик здесь только эта проверяет, появится ли кластер снова в другой выборке, а не насколько удачно он выделен в этой (устойчивость кластеров).
• Консенсусное разбиение (ансамбль бутстрэп-выборок, медленнее) — по умолчанию выключено: строит второе разбиение по тому, как часто каждая пара объектов оказывается вместе в бутстрэп-выборках, и показывает, насколько оно согласуется с разбиением на карточке (см. раздел о консенсусе и понятие консенсусного разбиения).

Любой из этих флажков открывает поле Повторы бутстрэпа: по умолчанию 100, от 10 до 10 000. Обе диагностики используют одни и те же бутстрэп-выборки, так что вместе они обходятся не дороже, чем одна. Обе зависят от параметра Зерно бутстрэпа в разделе Настройки.

В блоке Параметры вывода:

• Профили кластеров (средние по переменным) — по умолчанию включено: среднее каждой переменной в каждом кластере рядом с её общим средним, в исходной шкале. Обычно именно по этой таблице понятно, что собой представляют кластеры. При метрике Гауэра у категориальной переменной среднего нет, поэтому в её ячейках стоит модальная категория, а раздел называется Профили кластеров (средние переменных и модальные категории). В режиме переменных недоступно.
• Размеры и распределение кластеров — по умолчанию включено: таблица Размеры кластеров, где для каждого кластера указаны число объектов (n), их доля (%) и, если силуэт вычислялся, средний силуэт кластера.
• Внутрикластерная сумма квадратов — по умолчанию включено: внутрикластерная сумма квадратов каждого кластера и её доля в общей, со строкой Итого. Так видно, какие кластеры плотные, а какие рыхлые. При метрике Гауэра не выводится.
• Межкластерная сумма квадратов — по умолчанию выключено: сумма квадратов, приходящаяся на различия между кластерами, и Объяснённая дисперсия, её доля в общей сумме (в процентах), то есть какую часть разброса объясняет разбиение. При метрике Гауэра не выводится.
• Центры кластеров (медоиды) — по умолчанию выключено, доступно для К-медоиды (PAM) в режиме наблюдений. Выводит раздел Медоиды кластеров: медоид каждого кластера, то есть представляющее его реальное наблюдение, со значениями в исходной шкале рядом с общим средним (при метрике Гауэра — с общим средним или модальной категорией, столбец Общий), и строку Наблюдения-медоиды с номерами наблюдений.
• Силуэтный график — по умолчанию выключено: по столбику на объект, длина столбика — ширина силуэта, столбики сгруппированы по кластерам (силуэт). Столбик ниже нуля означает, что объект ближе к другому кластеру, чем к своему. При наведении на столбик показываются объект, его ширина силуэта и ближайший чужой кластер. В режиме переменных график называется График силуэтов переменных.
• График многомерного шкалирования — по умолчанию выключено: объекты, размещённые на плоскости по мере различия этого расчёта, с точками, окрашенными по кластерам (см. многомерное шкалирование и что показывает МШ).
• Шкалирование — виден, пока включён график МШ: каким методом ординации строится график.
• Классическое (метрическое) — по умолчанию. Воспроизводит сами различия через спектральное разложение: точно, быстро, без итераций.
• Неметрическое (Краскала) — сохраняет только порядок различий, минимизируя стресс. Подходит для меры различия, в которой ранги значат больше масштаба, например для Гауэра или порядковых данных. Работает заметно медленнее.
• Биплот кластеров — по умолчанию выключено: наблюдения на плоскости первых двух главных компонент, а каждая переменная кластеризации — стрелка. Так разделение кластеров можно связать с переменными, которые его создают (см. биплот кластеров и как читать биплот). В режиме переменных недоступно. При метрике Гауэра раздел при установленном флажке всё равно появляется, с примечанием о том, почему график не построен.

В блоке Параметры иерархической кластеризации (виден при алгоритме Иерархическая):

• Дендрограмма — по умолчанию включено: дерево, разрезанное на k кластеров, с ветвями, окрашенными по кластерам (дендрограмма). В режиме переменных листья дерева — переменные, а раздел называется Дендрограмма переменных.
• Оптимизировать порядок листьев — по умолчанию выключено, виден, пока включена Дендрограмма: поворачивает ветви так, чтобы соседние листья были настолько похожи, насколько позволяет дерево. Поиск точный, поэтому на нескольких сотнях объектов заметно замедляет расчёт, а при методе одиночной связи — ещё сильнее.

В блоке Дополнительные параметры (в режиме наблюдений):

• Вклад переменных в кластеризацию — по умолчанию выключено: по строке на переменную со столбцами F-статистика, df (между, внутри) и η². Таблица показывает, какие переменные сильнее всего разделяют кластеры (столбцы). F-статистика только описательная: кластеры построены по этим же переменным, поэтому она завышена по построению и критерием значимости не является, о чём напоминает примечание под таблицей.

Метрики качества кластеризации #

Метрики качества кластеризации. По строке на метрику: её значение и, если включена интерпретация, словесная оценка. Индекс Калинского — Харабаша, Индекс Дэвиса — Болдина и Индекс Данна описаны на шаге 2 и для выбранного k читаются так же.

• Средняя ширина силуэта — средний силуэт по всем объектам, от −1 до +1 (силуэт). Выводится, пока включён Силуэтный анализ. Интерпретация: Сильная структура от 0.70, Достаточная структура от 0.50, Слабая структура от 0.25, ниже — Нет устойчивой структуры.
• Кофенетическая корреляция — только для иерархической кластеризации, выводится всегда: корреляция между исходными различиями и высотами, на которых дерево впервые объединяет каждую пару. Показывает, насколько точно дерево воспроизводит данные (кофенетическая корреляция). Значения от 0.75 обычно считаются признаком хорошего соответствия. Корреляция оценивает дерево, а не разрез, поэтому флажка у неё нет и от k она не зависит.

При метрике Гауэра примечание под таблицей сообщает, что суммы квадратов и индекс Калинского — Харабаша не выводятся, а индекс Дэвиса — Болдина вычисляется по медоидам. При любой другой неевклидовой метрике примечание напоминает, что суммы квадратов и индекс Калинского — Харабаша по-прежнему вычисляются в евклидовой геометрии.

Устойчивость кластеров #

Устойчивость кластеров (бутстрэп, Жаккар). По строке на кластер. В каждом повторе объекты извлекаются заново и кластеризуются с теми же настройками, и каждому исходному кластеру подбирается самый похожий новый по коэффициенту Жаккара — доле общих элементов двух множеств. Примечание под таблицей напоминает оба порога и число повторов.

• Средний Жаккар — среднее по повторам сходство кластера с его лучшим соответствием. Именно эта величина и служит оценкой устойчивости кластера.
• Восстановлено — в скольких повторах кластер вернулся с коэффициентом Жаккара 0.75 и выше.
• Распалось — в скольких повторах коэффициент был 0.5 и ниже. Здесь считаются повторы, поэтому у столбца свой, более строгий смысл, чем у среднего.
• Оценено повторов — в скольких повторах получилось решение, с которым можно сопоставить кластер. Повтор, в котором подгонка не удалась, не учитывается.
• Интерпретация — при включённой интерпретации среднее оценивается по шкале Хеннига: Высокоустойчивый от 0.85, Устойчивый от 0.75, Указывает на закономерность, но принадлежность сомнительна от 0.60, ниже — Не заслуживает доверия. Предупреждение над карточкой сообщает, сколько кластеров оказались ниже 0.60.

Кластер с высоким силуэтом и низким средним Жаккаром хорошо выделен в этой выборке, но в другой вряд ли повторится.

Консенсусное разбиение #

Консенсусное разбиение (ансамбль бутстрэп-выборок). Результаты по бутстрэп-выборкам сводятся в матрицу коассоциаций: для каждой пары объектов — доля повторов, в которых они попали в один кластер. Эта матрица сама разрезается на k кластеров, и раздел показывает, как полученное консенсусное разбиение соотносится с разбиением на карточке.

• Согласованность с приведённым решением (скорректированный индекс Рэнда) — насколько точно консенсусное разбиение воспроизводит приведённое: 1 при полном совпадении, около 0 при случайном согласии. При включённой интерпретации: Отличная согласованность от 0.90, Хорошая согласованность от 0.80, Умеренная согласованность от 0.65, ниже — Слабая согласованность. Если значение ниже 0.65, предупреждение над карточкой сообщает, что границы кластеров держатся на одной этой подгонке.
• Неоднозначные пары (PAC) — доля пар с коассоциацией между 0.1 и 0.9, то есть пар, которые ансамбль не держал надёжно ни вместе, ни порознь. Чем меньше, тем лучше: около нуля судьба каждой пары решена однозначно.
• Средняя коассоциация — в таблице по кластерам, рядом с размером консенсусного кластера (n): средняя коассоциация пар внутри кластера. Она близка к 1, если его объекты держались вместе почти во всех бутстрэп-выборках. У кластера из одного объекта средней коассоциации нет.
• Приведённое решение (строки) против консенсусного разбиения (столбцы) — таблица сопряжённости двух разбиений. Каждый консенсусный кластер получает номер приведённого кластера, с которым сильнее всего пересекается. Поэтому на диагонали стоят объекты, одинаково сгруппированные обоими разбиениями, а в выделенных ячейках вне диагонали — объекты, отнесённые ансамблем к другому кластеру.

Низкая согласованность не значит, что консенсусное разбиение верно, а приведённое ошибочно: оба — разрезы одних и тех же данных. Она говорит о том, что данные не задают группировку однозначно, и это повод сообщать решение с оговорками, а не заменять его другим.

Размеры, профили и суммы квадратов #

• Ср. силуэт — в таблице Размеры кластеров: средняя ширина силуэта объектов самого кластера. Общее среднее её скрывает, а здесь слабый кластер виден, даже когда общий показатель ещё выглядит приемлемо.
• Кластер — в таблицах устойчивости, консенсуса и размеров: кластер, который описывает строка, с тем же номером, что во всех таблицах и графиках карточки.
• Переменная — в таблицах профилей, медоидов, вклада и бикластеров: переменная, которую описывает строка, под её отображаемым именем.
• Кластер {n} — в таблицах профилей и медоидов: среднее кластера (или значение медоида) по каждой переменной. Сравнивайте его со столбцом Общий, чтобы увидеть, чем кластер выделяется. Названия, которые вы даёте кластерам, — ваша интерпретация, а не свойство данных.
• Общий — значение по всей выборке для каждой переменной (среднее, а при метрике Гауэра для категориальной переменной — модальная категория) в таблицах профилей, медоидов и профилей бикластеров. В таблице медоидов, если все переменные числовые, столбец называется Общее среднее.
• Наблюдения-медоиды — номера наблюдений-медоидов по кластерам.
• Внутрикластерная сумма квадратов — Внутрикл. СК. Для каждого кластера — сумма квадратов отклонений от его центроида. В строке Итого — сумма по всем кластерам.
• Внутрикластерная сумма квадратов — % от общего. Доля каждого кластера в общей внутрикластерной сумме квадратов.

Обе суммы квадратов вычисляются в евклидовой геометрии при любой выбранной метрике и по матрице анализа, то есть по стандартизованным значениям, если стандартизация включена, а не в исходной шкале таблицы профилей. Какой случай имеет место, указывает примечание под таблицами. В режиме переменных примечание добавляет, что квадраты считаются по транспонированной матрице, где каждая переменная — точка в пространстве наблюдений.

Вклад переменных #

В таблице средние кластеров сравниваются по каждой переменной в её исходной шкале, по строке на переменную.

• Вклад переменных в кластеризацию — F-статистика. Отношение межкластерной вариации переменной к внутрикластерной, каждая поделена на свои степени свободы. Чем больше значение, тем сильнее кластеры различаются по этой переменной.
• df (между, внутри) — k − 1 и число полных наблюдений минус k. Во всех строках они одинаковы.
• η² — эта-квадрат, доля дисперсии переменной, которую объясняет принадлежность к кластеру (η²). Около 0.60 кластеры резко различаются по переменной, около 0.05 она их почти не разделяет.

При метрике Гауэра в ячейках F-статистики и η² для категориальной переменной стоит –, поскольку обе величины сравнивают средние. Как такая переменная разделяет кластеры, видно по таблице профилей.

Многомерное шкалирование #

График берёт меру различия, уже построенную в расчёте (ту же матрицу, по которой строятся дерево, медоиды и индексы качества), и располагает объекты на плоскости так, чтобы расстояния между точками воспроизводили её настолько точно, насколько позволяют два измерения. По нему видно, разделены ли кластеры в самих данных или только в таблице разбиения. Метод задаётся в поле Шкалирование, а не выбирается по метрике расстояния, поэтому любой из двух методов можно применить к любому расчёту.

Соответствие данным, которое оптимизирует метод, указано в примечании под графиком. Для классического шкалирования это доля структуры различий, которую передают два измерения, для неметрического — стресс-1 Краскала с его градацией: отлично при 0.025 и ниже, хорошо при 0.05, удовлетворительно при 0.1, плохо при больших значениях. Смотрите на соответствие данным раньше, чем на картинку: если два измерения передают 40% структуры или стресс равен 0.2, точки, близкие на экране, не обязательно близки в данных.

Точки окрашены по кластерам расчёта, и при наведении на точку показывается её название. Подписи расставляются начиная с самых удалённых от центра, не больше 40. Подписи, которые перекрывались бы, не выводятся, а примечание сообщает, сколько подписей нарисовано. В режиме переменных точки — это переменные. Ни один из методов нельзя прервать после запуска, поэтому при числе объектов больше 1000 вместо графика выводится сообщение об этом.

Биплот кластеров #

График МШ показывает, что кластеры разделяются, а биплот — какие переменные их разделяют. Наблюдения изображаются на плоскости первых двух главных компонент матрицы, по которой шла кластеризация, и окрашиваются по кластерам, а каждая переменная кластеризации — стрелка в сторону её роста.

Стрелка, направленная в область кластера, соответствует переменной, высокой в этом кластере. Две стрелки под острым углом несут почти одну и ту же информацию, две под прямым углом почти не связаны. Длинную стрелку две компоненты на экране представляют хорошо, короткую — плохо, поэтому направление короткой стрелки — самое ненадёжное, что есть на графике. В подписях осей указана доля дисперсии каждой компоненты, Компонента 1 ({share}%), и всё, что не вошло в эти две доли, на картинке отсутствует.

Из вариантов масштабирования Габриэля используется тот, что сохраняет расстояния, и примечание на графике это указывает: расстояния между наблюдениями — те, на которые их разводят компоненты, а длины стрелок сопоставимы между собой, но не с осями. Ещё одно примечание появляется, если кластеризация шла по неевклидовой мере различия (проекция всегда евклидова) и если облако из более чем 5000 наблюдений прорежено внутри каждого кластера. Перекрывающиеся подписи стрелок не выводятся, их число указано в примечании. При наведении на стрелку показывается название переменной.

Особенности кластеризации переменных #

В режиме кластеризации переменных матрица данных стандартизуется и транспонируется, так что кластеризуемыми объектами становятся переменные. Поэтому при настройках по умолчанию сильно коррелирующие переменные попадают в один кластер, а корреляционные меры различия делают эту связь явной и позволяют не учитывать направление шкалы. Чем это отличается от группировки переменных факторным анализом, объясняется в разделе кластеризация наблюдений, переменных или тех и других.

• Распределение переменных по кластерам — по строке на кластер: его номер, входящие в него Переменные и их Количество. Эта таблица заменяет таблицу профилей, которой в режиме переменных нет.
• Распределение переменных по кластерам — Переменные. Имена переменных, входящих в кластер.
• Распределение переменных по кластерам — Количество. Сколько переменных в кластере.

Предупреждения считают переменные, а не наблюдения, и к ним добавляется ещё одно — о кластере из единственной переменной. На дендрограмме переменные, слившиеся на малой высоте, наиболее похожи, а переменная, присоединившаяся поздно, явно не относится ни к одной группе. На силуэтном графике при наведении на столбик показывается имя переменной.

Бикластеризация #

• Число бикластеров (k) — по умолчанию 3, не меньше 1: сколько бикластеров ищут BiMax, FABIA и алгоритм Ченга — Чёрча. Поле заполняется, если щёлкнуть по k в сравнительной таблице бикластеров шага 2. Для Plaid и спектрального алгоритма поле скрыто: они определяют число бикластеров сами. Значение меньше 1, пустое поле, число бикластеров больше числа полных наблюдений, а для FABIA — больше числа переменных не принимаются, и выводится сообщение.

В блоке Параметры вывода:

• Сводная таблица бикластеров — по умолчанию включено: раздел Сводка по бикластерам, по строке на бикластер со столбцами Строки, Столбцы и Размер (строки × столбцы), средним значением, MSR и MSR / MSR матрицы.
• Устойчивость (бутстрэп, Жаккар, медленнее) — по умолчанию выключено, подпараметр сводной таблицы: заново подгоняет бикластеризацию на каждой бутстрэп-выборке наблюдений и добавляет столбец Устойчивость. Открывает собственное поле Повторы бутстрэпа: по умолчанию 100, от 10 до 10 000.
• Таблицы принадлежности (строки и столбцы) — по умолчанию включено. Таблица Принадлежность наблюдений содержит по строке на наблюдение с отметкой ✓ под каждым бикластером (BC1, BC2, …), в который оно входит, и Количество таких бикластеров. Таблица Принадлежность переменных устроена так же для переменных. Наблюдение или переменная может входить в несколько бикластеров или ни в один.
• Профили бикластеров (средние по переменным) — по умолчанию включено: среднее каждой переменной в каждом бикластере (Бикластер {n}) в исходной шкале рядом с общим средним. Если переменная не входит в бикластер, в его столбце стоит –.
• Когерентность по бикластерам — по умолчанию включено: по строке на бикластер с его MSR, MSR / MSR матрицы, Ср. r и двумя дисперсиями. Таблица показывает, насколько согласован каждый блок. У бикластера меньше чем из двух строк или двух столбцов во всех ячейках стоит –.
• Анализ перекрытий — по умолчанию выключено, строится только при двух и более бикластерах: раздел Анализ перекрытия (индекс Жаккара) с тремя матрицами сходства Жаккара «бикластер × бикластер» — перекрытием строк, столбцов и ячеек.
• Визуализация тепловой карты — по умолчанию включено: Тепловая карта, то есть матрица анализа в цвете, где ячейки каждого бикластера обведены его цветом (см. тепловую карту).
• Дендрограмма строк — по умолчанию включено, видно, пока включена тепловая карта: упорядочивает строки тепловой карты по дереву наблюдений и рисует это дерево рядом с ними.
• Дендрограмма столбцов — по умолчанию включено: то же для переменных, дерево рисуется над столбцами.

Обзор бикластеризации #

Обзор. Первый раздел любой карточки бикластеризации: какую часть матрицы объясняют бикластеры. В настройках над ним добавлены Размер матрицы, число полных наблюдений из общего и Найдено бикластеров. Если не найдено ни одного бикластера, карточка всё равно выводится, с этими настройками и предупреждением, чтобы было понятно, что менять дальше.

• Обзор — Объяснённая дисперсия. Доля дисперсии матрицы (в процентах), которую объясняют бикластеры. Для FABIA, как сказано в примечании, это доля, которую объясняет её собственная факторизация. Определение то же, что у столбца Объясн. дисп. (модель, %) сравнительной таблицы.
• Покрытие строк — доля наблюдений (в процентах), которые входят хотя бы в один бикластер.
• Покрытие столбцов — то же для переменных.
• Покрытие ячеек — то же для ячеек матрицы. Низкое покрытие ячеек означает, что бикластеры описывают лишь небольшую часть данных: структура разреженная или k слишком мало. Покрытие строк и столбцов показывает, не остались ли какие-то наблюдения или переменные совсем в стороне.

Таблицы бикластеров #

• Бикластер — бикластер, который описывает строка или столбец, с номером в том порядке, в каком их вернул алгоритм. Это строка сводной таблицы и таблицы когерентности, столбец BC1, BC2, … в таблицах принадлежности, строка и столбец в матрицах перекрытия.
• Сводка по бикластерам — Строки. Сколько наблюдений в бикластере.
• Сводка по бикластерам — Столбцы. Сколько переменных охватывает бикластер.
• Сводка по бикластерам — Размер. Число ячеек бикластера, строки × столбцы.
• Сводка по бикластерам — Среднее значение. Среднее ячеек бикластера в матрице анализа. Если в расчёте была стандартизация, столбец называется Среднее значение (z) и сопровождается примечанием, потому что в профилях бикластеров средние даны в исходной шкале.
• MSR — средний квадрат остатков бикластера. Чем ниже, тем согласованнее бикластер. Для бикластера меньше чем из двух строк или двух столбцов не определён и показан как –.
• MSR / MSR матрицы — MSR бикластера, делённый на MSR всей матрицы: значение ниже 1 означает, что блок согласованнее матрицы в целом. Собственной шкалы у MSR нет, поэтому смотреть нужно именно на это отношение.
• Принадлежность наблюдений — Наблюдение. Номер строки наблюдения в наборе данных.
• Принадлежность наблюдений — Количество. Во сколько бикластеров входит наблюдение (0, если ни в один).
• Принадлежность переменных — Количество. Во сколько бикластеров входит переменная.
• Бикластер {n} — в профилях бикластеров: среднее каждой переменной внутри этого бикластера в исходной шкале. Если переменная в бикластер не входит, стоит –.
• Сводка по бикластерам — Устойчивость. Средний по бутстрэп-выборкам коэффициент Жаккара между бикластером и его лучшим соответствием. Неудачная переподгонка даёт 0. Чем выше, тем лучше. При включённой интерпретации столбец Интерпретация оценивает значение по шкале устойчивости кластеров.
• Когерентность по бикластерам — Ср. r. Средняя корреляция по всем парам строк бикластера на его столбцах (корреляция внутри бикластера). Чем выше, тем согласованнее, и в отличие от MSR она не зависит от разницы в амплитуде между строками. Строка с одним и тем же значением на всех столбцах бикластера ни с чем не коррелирует и не учитывается. Сколько таких строк, показывает число в скобках, (-2). Если изменчивых строк осталось меньше двух, r для бикластера не вычисляется.
• Дисперсия средних по строкам — насколько строки бикластера различаются по уровню на его столбцах, то есть эффект строк внутри блока.
• Дисперсия средних по столбцам — то же для столбцов.
• Перекрытие строк — для каждой пары бикластеров коэффициент Жаккара для их наборов наблюдений. На диагонали стоит 1.
• Перекрытие столбцов — то же для наборов переменных.
• Перекрытие ячеек — то же для наборов ячеек. Именно эту величину сравнительная таблица показывает как Ср. перекрытие. Два бикластера могут делить большинство строк и большинство столбцов и всё же почти не пересекаться как блоки, о чём напоминает примечание под матрицей.

Тепловая карта #

Тепловая карта изображает матрицу анализа ячейку за ячейкой на расходящейся цветовой шкале: с центром в нуле, если в расчёте была стандартизация, и по наблюдаемому размаху в противном случае. Легенда поясняет шкалу и цвета бикластеров. При наведении на ячейку показываются её строка, столбец, значение и все бикластеры, в которые она входит. Если строк больше 320, они прореживаются равномерно, и примечание сообщает, сколько строк из общего числа показано. Пока строки прорежены, дендрограмма строк скрыта, потому что её листья не совпали бы с нарисованными строками. Если нарисовано больше 8000 ячеек, подсказки для отдельных ячеек отключаются, о чём тоже сообщает примечание.

Предупреждения #

Анализ предупреждает о результатах, которые могут оказаться проблемными.

Кластеризация наблюдений и переменных:

• Метод К-средних не сошёлся — достигнут предел итераций. Увеличьте его или число случайных запусков
• Несбалансированные кластеры — одно предупреждение на три признака одной проблемы: в наименьшем кластере меньше 5% наблюдений, в нём меньше 10 наблюдений или наибольший кластер больше наименьшего более чем в 10 раз. В предупреждении указаны размер и доля наименьшего кластера и отношение наибольшего к наименьшему.
• Низкий силуэт — ниже 0.25 («нет устойчивой структуры») или от 0.25 до 0.50 («слабая структура»)
• Много отрицательных силуэтов — у более чем 10% наблюдений (в режиме переменных — переменных) силуэт отрицателен, то есть они, вероятно, попали не в тот кластер
• Невоспроизводимые кластеры — при включённой устойчивости: сколько кластеров получили по бутстрэп-выборкам средний коэффициент Жаккара ниже 0.6
• Расхождение с консенсусом — при включённом консенсусном разбиении: скорректированный индекс Рэнда ниже 0.65
• Кластеры из одной переменной (режим переменных) — кластер из единственной переменной может не иметь смысла

Бикластеризация:

• Найдено меньше бикластеров, чем запрошено — алгоритм вернул меньше k бикластеров
• Вырожденные бикластеры — в некоторых меньше двух строк или двух столбцов, поэтому для них не определены ни MSR, ни Ср. r
• Сильное перекрытие — в среднем бикластеры делят больше 30% ячеек, то есть во многом повторяют одну и ту же структуру
• Слишком низкое покрытие — меньше 25% ячеек входят хотя бы в один бикластер
• Слишком высокое покрытие — покрыто больше 90% ячеек, то есть бикластеры описывают матрицу целиком, а не локальную структуру

У карточки сравнения на шаге 2 свои предупреждения: бикластеры не найдены ни при одном k из диапазона, при каждом k перекрытие больше 0.3 или устойчивость была запрошена, но её нигде не удалось измерить. В последнем случае рекомендуемое k без дополнительных пояснений выбирается по правилу объяснённой дисперсии.

Добавление результатов в набор данных #

• Добавить принадлежность к кластерам в набор данных — кнопка внизу карточки кластеризации наблюдений: добавляет категориальную переменную с номером кластера каждого наблюдения. Имя переменной составлено из алгоритма и k (Cluster_kmeans_k3, Cluster_pam_k3, Cluster_hierarchical_k3). Наблюдения, исключённые из-за пропусков, получают пропущенное значение.
• Добавить принадлежность к бикластерам в набор данных — кнопка внизу карточки бикластеризации: добавляет по переменной на каждый бикластер (BC1_k3, BC2_k3, …) со значением 1 для наблюдений этого бикластера и 0 для остальных.

Добавленные переменные можно использовать в других анализах: как группирующие переменные для сравнений, как предикторы в регрессии или как групповые переменные при проверке измерительной инвариантности.

Пропущенные данные #

Кластерный анализ работает только с полными наблюдениями: наблюдение, у которого пропущено значение любой переменной расчёта, исключается из всех шагов (критериев тенденции, сравнения, кластеризации и всех диагностик). Так происходит при любом методе, заданном глобальной настройкой пропущенных данных, поскольку попарное удаление здесь не предусмотрено. В расчёт входят только сохранённые переменные, поэтому нечисловая переменная, исключённая при обычной метрике, наблюдений не отбрасывает, а при метрике Гауэра пропуск в категориальной переменной — отбрасывает. Если в настройке выбрано построчное удаление, наблюдения с пропуском в любой переменной, выбранной в диалоге переменных, уже удалены, и этот отбор не мягче собственного отбора модуля. При импутации пропуски заполнены ещё до модуля, и ничего не отбрасывается. В настройках каждой карточки указано число полных наблюдений из общего, а исключённое наблюдение при добавлении принадлежности в набор данных получает пропущенное значение (см. построчное удаление). Если пропусков много, лучше снять выбор с плохо заполненных переменных, чем кластеризовать небольшой остаток. Импутация сохраняет все наблюдения ценой, которая описана в настройке.

Контрольный список для отчёта #

Что стоит включить в описание результатов кластерного анализа:

Метод:

• Режим кластеризации (наблюдения, переменные или бикластеризация)
• Алгоритм (К-средних, К-медоиды (PAM), иерархическая кластеризация или конкретный алгоритм бикластеризации), а для К-средних — вариант алгоритма и число случайных запусков
• Метрика расстояния (для К-медоидов и иерархической кластеризации: метод К-средних всегда использует евклидову) и, для иерархической кластеризации, метод связи
• При метрике Гауэра — с каким подтипом вошла каждая переменная: это указано в строке настроек на карточке, и порядковую переменную, принятую за номинальную, лучше заметить до публикации
• Была ли стандартизация (и почему, например из-за разных шкал измерения)
• Как выбиралось число кластеров: какие метрики учитывались (силуэт, статистика разрыва, локоть, дендрограмма) и как разрешались противоречия между ними
• Объём выборки и число переменных: число полных наблюдений из общего и исключённые переменные
• Как обрабатывались пропущенные данные
• Оба зерна из раздела Настройки, если вы заявляете расчёт как воспроизводимый

Результаты:

• Тенденция к кластеризации (статистика Хопкинса, критерий Дуды — Харта), если вы приводите её как предварительную проверку (она есть только в режиме наблюдений и не при метрике Гауэра)
• Число кластеров и их размеры
• Метрики качества: как минимум средняя ширина силуэта, желательно также индексы Калинского — Харабаша (не при метрике Гауэра) и Дэвиса — Болдина
• Бутстрэп-устойчивость каждого кластера с числом повторов, если диагностика выполнялась
• Скорректированный индекс Рэнда и PAC консенсусного разбиения с числом повторов, если оно строилось
• Профили кластеров (средние переменных по кластерам) — основа интерпретации
• Объяснённая дисперсия (межкластерная СК в процентах от общей) — при метрике Гауэра она не выводится
• Если приводится график МШ, — метод шкалирования и соответствие данным (доля структуры для классического, стресс-1 для неметрического), потому что без них график не истолковать
• Если приводится биплот кластеров, — доля дисперсии по каждой оси и то, что использовано сохраняющее расстояния масштабирование Габриэля: при другом масштабировании длина стрелки означает другое
• Все предупреждения на карточке: несбалансированные кластеры, низкий силуэт или много отрицательных силуэтов, невоспроизводимые кластеры, расхождение с консенсусом

Для бикластеризации: укажите алгоритм, число найденных бикластеров, объяснённую дисперсию, покрытие ячеек и согласованность — и MSR, и Ср. r, поскольку они отвечают на разные вопросы. Приведите таблицу принадлежности или тепловую карту, а также устойчивость бикластеров, если она вычислялась.

Воспроизводимость #

Каждый анализ выводит свой R-код в консоль R, где команды можно просмотреть, скопировать и запустить заново. Кластерный анализ использует функции базового R (kmeans, hclust, cmdscale для классического шкалирования и prcomp для биплота) и пакет cluster (PAM, силуэт и daisy для меры различия Гауэра). Неметрическое шкалирование выполняет MASS::isoMDS. Статистику разрыва и оптимальный порядок листьев модуль вычисляет в R сам, поэтому они учитывают выбранную метрику расстояния. Бикластеризация использует пакет biclust, а для FABIA — ещё и fabia. Ссылки на литературу автоматически появляются в начале раздела результатов и соответствуют тому, что было сделано в расчёте: загруженным пакетам, алгоритму, методу связи и метрике, а также индексам, диагностикам и методам построения графиков, если они вычислялись. Этот список можно использовать как литературу к разделу «Методы». Кластеризация, эталонные выборки для статистик Хопкинса и разрыва и алгоритмы бикластеризации зависят от параметра Зерно воспроизводимости (по умолчанию 42). Бутстрэп-диагностики (устойчивость кластеров, консенсусное разбиение, устойчивость бикластеров и консенсусная оценка бикластеров) зависят от параметра Зерно бутстрэпа, которое по умолчанию пусто, так что одно зерно можно менять независимо от другого. Пустое зерно даёт новую случайную последовательность при каждом запуске. Обоснование ограничений модуля, отказов, запасных вариантов и аргументов пакетов изложено в методических заметках.

Типичные ошибки #

Кластерный анализ по природе разведочный: кластеры он найдёт всегда, есть в них смысл или нет. Помните о следующем.

Кластеры находятся всегда, даже в случайных данных. Метод k-средних разобьёт случайный шум на k групп и невозмутимо выдаст центры кластеров. О том, что «кластеры» могут не отражать реальной структуры, говорят статистика Хопкинса около 0.5, низкий силуэт (ниже 0.25), кластеры со средним коэффициентом Жаккара ниже 0.6 при бутстрэпе или консенсусное разбиение, которое группирует те же наблюдения иначе. Прежде чем истолковывать результаты, проверьте тенденцию к кластеризации и метрики качества.

Результат зависит от метода. К-средних, К-медоиды (PAM) и иерархическая кластеризация могут по-разному разбить одни и те же данные. То же относится к разным методам связи в иерархической кластеризации и к разным метрикам расстояния. Если кластеры появляются только при одном определённом сочетании настроек, они, возможно, неустойчивы. Попробуйте несколько подходов и ищите то, что повторяется.

Лишние переменные вредят. Когда переменных много, расстояния начинают определяться шумом, и каждое наблюдение кажется одинаково далёким от всех остальных («проклятие размерности»). Если переменных, скажем, 50, имеет смысл сначала сократить их число с помощью факторного анализа или АГК и кластеризовать уже оценки факторов или компонент.

Не проверяйте различия кластеров по тем переменным, по которым они построены. Допустим, испытуемые разбиты на кластеры по баллам тревожности и депрессии, а затем t-критерий проверяет, различаются ли кластеры по тревожности. Конечно, различаются: вы сами сделали их различными. Проверять различия кластеров по переменным, из которых они построены, — порочный круг. Поэтому в таблице вклада переменных F-статистика помечена как чисто описательная. Сравнивайте кластеры по внешним переменным, не участвовавшим в кластеризации: например, постройте кластеры по пунктам личностного опросника, а затем проверьте, различаются ли они по эффективности работы.

Кластеры могут быть произвольными разрезами континуума. Не во всех данных есть естественные группы. Баллы депрессии могут плавно меняться от низких к высоким, а не распадаться на кластеры «депрессивных» и «недепрессивных». Принудительное деление на два кластера создаёт искусственную границу. Известный пример такого спора — типология личности. Исследователи выделяли по оценкам «Большой пятёрки» типы вроде «жизнестойких», «сверхконтролирующих» и «недоконтролирующих», однако сами факторы «Большой пятёрки» распределены непрерывно и нормально, и «типы» могут оказаться просто областями непрерывного пространства, а не естественными категориями. Посмотрите, показывает ли силуэтный график чёткое разделение или размытое перекрытие.

Названия кластеров — это интерпретация. Здесь та же оговорка, что и при именовании факторов: назвать кластер «Жизнестойкие отличники», потому что по нескольким положительным чертам у него баллы выше среднего, — ваше истолкование. Приводите фактические средние профилей, чтобы читатели могли судить сами.

Решение привязано к выборке. Кластерная структура чувствительна к составу выборки, и решение из трёх кластеров, полученное на ваших данных, может не повториться в другой совокупности. Запустите диагностику устойчивости кластеров, а по возможности разделите данные пополам и проверьте, получаются ли в обеих половинах одни и те же кластеры.